マルチモーダルAIとビデオ理解がメディアに革命をもたらす理由

このブログ記事は、すばらしい MASV チームのメンバーである Ankit Verma 氏（製品マーケティングマネージャー）および Jim Donnelly 氏（編集長）との共同執筆によるものです！

‍

人工知能（AI）が今やいたるところに存在すると言っても過言ではありません。最近では、どこを見渡しても何らかのAIの新しい形や応用例を目にします。ビデオや映画制作の世界ほど、それが顕著に現れている場所はありません。

プリプロダクションにおける脚本執筆やロケハンから、ポストプロダクションにおけるオブジェクト除去やブレ補正にいたるまで、AIと機械学習（ML）の普及は本物です。そしてそれは良いことです。単調な作業に費やす時間が減ることで、M&E（メディア＆エンターテインメント）のプロフェッショナルはコストを削減し、貴重な時間をより価値のあるタスクに充てることができます。

しかし、おそらく最も革新的で強力な方法の1つとして、AIの力がビデオの世界に革命をもたらしているのが、ビデオ理解（Video Understanding）技術です。

‍

ビデオ理解とは何か？

ビデオ理解モデルは、ビデオコンテンツを分析・解釈・理解し、映像全体のコンテキスト（文脈）が理解できるような形で情報を抽出します。

これは単にフレームごとにオブジェクトを特定したり、音声コンポーネントを解析したりするだけではありません。AIを搭載したビデオ理解は、自然言語をビデオ内のアクションにマッピングします。これを行うには、アクティビティ認識やオブジェクト検出といったさまざまなビデオ理解タスクを実行し、映像、音声、発話要素を処理および理解することで、この非常に流動的なメディアを通じて伝えられているニュアンスを把握する必要があります。

また、ビデオデータの理解に特化して訓練されていない、ChatGPTなどの大規模言語モデル（LLM）とも異なります。

簡単に言えば、AIのビデオ理解モデルは人間と同じようにビデオを理解します。

これは大きな挑戦ですが、私たちは熱意を持って取り組んでいます。

‍

M&Eにおけるビデオ理解の応用

ディープビデオ理解の背景にある技術に飛び込む前に、ビデオ理解がM&Eのプロフェッショナルやビデオコンテンツクリエイターの仕事を具体的にどのように効率化できるかを見ていきましょう。

‍

ビデオ検索

ペタバイト規模の膨大なデータ収集の中から、自然言語でその視覚的要素を説明するだけで、特定のビデオを見つけられることを想像してみてください。あるいは、スポーツリーグやクラブとして、AIビデオ理解モデルに特定の選手のすべてのゴールシーンのハイライト映像をわずか数秒でまとめるよう依頼することを想像してみてください。

AIビデオ理解を使えば、これらすべてのことが可能になります。

一方、従来のビデオ検索には、そのアプローチと実行において深刻な限界があります。主にキーワードマッチングに頼ってビデオをインデックス化して取得するため、視覚的・聴覚的な手がかりを通じてビデオをより深く理解する「マルチモーダルAI技術」を活用していません。

最新のビデオ理解モデルは、画像、音、発話、画面上のテキストなど、利用可能なすべてのデータタイプを同時に統合することで、これらの要素間の複雑な関係を捉え、よりニュアンスに富んだ人間らしい解釈を提供します。

その結果、クラウドオブジェクトストレージからのビデオ検索と取得が大幅に高速化され、はるかに正確になります。時間がかかり非効率的な手動のタグ付けの代わりに、ビデオ編集者は自然言語を使用して、膨大なメディアアーカイブを迅速かつ正確に検索し、そうしなければ気づかれなかったであろうビデオの瞬間や隠れた名シーンを発掘できます。

Twelve Labsの Search API は、1時間のビデオをインデックス化するのに約15分しかかからず、インデックス化されたビデオを100以上の言語でセマンティックに検索可能にします。

‍

ビデオ分類

AI搭載のビデオ理解により、ビデオを事前定義されたクラスやトピックに自動的に分類できます。Twelve LabsのClassify APIを使用すると、コンテンツのセマンティック機能、オブジェクト、アクション、その他の要素を分析して、ビデオをスポーツ、ニュース、エンターテインメント、ドキュメンタリーなどに整理できます。

当社のモデルは特定のシーンを分類することもでき、広告やコンテンツモデレーションに関する実用的なアプリケーションを強化できます。たとえば、この技術は文脈に基づいて、武器が含まれるシーンを教育的、ドラマチック、または暴力的として識別できます。

これにより、クリエイターやビデオプラットフォームが恩恵を受けるだけでなく、ユーザーの関心や好みに基づいてより正確な推奨を提供することで、ユーザーエクスペリエンスが向上します。また、編集やアーカイブなどの目的でアイテムを素早く見つけて記録する必要があるポストプロダクションのプロフェッショナルにも役立ちます。

Twelve Labsの技術内で使用されるすべてのビデオには標準のメタデータが含まれていますが、ユーザーはビデオにカスタムメタデータを追加して、より詳細な情報やコンテキスト固有の情報を提供することもできます。

監視やセキュリティからスポーツ分析、コンテンツモデレーションからコンテキスト広告にいたるまで、ビデオ理解はビデオ分類を完全に覆す可能性を秘めています。

‍

ビデオ解説

ビデオ理解は、数秒で生成される詳細な説明を通じて、ビデオデータセットを自動的に要約できます。この技術は、長いビデオを最も重要なコンテンツを捉えた簡潔な表現に凝縮することで、理解度とエンゲージメントを向上させます。

このような迅速で詳細な要約は、記述的なメタデータや要約を使ってメディアを充実させる際に大きな助けとなります。特に、身体的な障害や認知的な障害により、ビデオがあまり理想的なメディアではない人々にとって有用です。

メディア＆エンターテインメント業界では、ビデオ解説と要約を使用して、映画、テレビ番組、その他のビデオコンテンツのプレビューや予告編を作成できます。これらのプレビューは、コンテンツの簡潔な概要を提供し、視聴者がフルビデオを視聴するかどうかを判断するのに役立ちます。そして、ユーザーエクスペリエンスを向上させるものはすべて素晴らしいものです。

Twelve Labsの Generate API スイート は、ビデオに基づいてテキストを生成します。さまざまな要件を満たすように調整された3つの特徴的なエンドポイントを提供しています。各エンドポイントは、異なるニーズに対応するために、特定のレベルの柔軟性とカスタマイズ性を備えて設計されています。

• Gist API は、タイトル、トピック、関連するハッシュタグのリストなどの簡潔なテキスト出力を生成できます。

• Summary API は、ビデオの要約、チャプター、ハイライトを生成するように設計されています。

• カスタマイズされた出力のために、Generate API を使用すると、ユーザーは箇条書きからレポート、さらにはビデオのコンテンツに基づいたクリエイティブな歌詞にいたるまで、特定の形式やスタイルをプロンプトで指定できます。

‍

ビデオ理解を支えるテクノロジー

「世界のデータの80%はビデオコンテンツに閉じ込められているため、AIはそれを理解できません」と、Twelve LabsのCEOである Jae Lee は MASV とのインタビューで説明しました。「私たちはそれを解き放つ鍵を作っています。」

‍

実際、ニューラルネットワークとMLを使用してデジタル画像を理解するレガシーなコンピュータビジョン（CV）モデルは、ビデオ内のコンテキストを理解することに常に苦労してきました。CVモデルはオブジェクトや動作を特定するのは得意ですが、それらの関係性を特定するのは不得意です。これは、最近までAIを使用してビデオコンテンツを正確に分析する能力を制限していたギャップでした。

Twelve Labsの創設ソリューションアーキテクトである Travis Couture は、この問題を「コンテンツ（内容）対コンテキスト（文脈）」と表現しました。

「従来のアプローチは、ビデオコンテンツを解決しやすい問題に分解することでした。これは通常、個々の画像としてフレームごとに分析し、オーディオチャンネルを個別に抽出して書き起こしを行うことを意味します。これら2つのプロセスが完了したら、すべてを再び統合して結果を組み合わせます。」

‍

「それを（分解して再構築）行うと、コンテンツは得られてもコンテキストは得られません。そしてビデオにおいて、コンテキストこそがすべてです。」

‍

「Twelve Labsの目標は、その従来のコンピュータビジョンのアプローチから脱却し、ビデオ理解の領域に移行することです。それは、人間のようにビデオを処理することを意味します。つまり、すべてを一緒に、一度に処理するのです。」

‍

マルチモーダルビデオ理解

ビデオは動的で、重層的で、流動的です。分解して個別に分析すると、全体像には到達しない要素の組み合わせです。これこそが、Twelve Labsが解決した問題です。しかし、私たちはどのようにしてそれを実現したのでしょうか？

それは、マルチモーダルAIを採用することによってです。

この文脈における「モーダリティ（モダリティ）」という用語は、イベントを体験する方法を指します。ビデオでは、現実世界と同様に、複数のモダリティ（聴覚、視覚、時間、言語など）が存在します。

‍

「それらのモダリティを個別に分析し、元通りにつなぎ合わせようとしても」と、Twelve Labsの共同創設者兼ビジネス開発責任者である Soyoung Lee は説明します。「全体的な理解とコンテキストを達成することは決してできません。」

‍

Twelve Labsのマルチモーダルアプローチにより、人間がビデオを解釈する方法を再現するモデルを構築することができました。「当社の Marengo ビデオ基盤モデルは、知覚情報、セマンティック情報、コンテキスト情報を生成モデルの Pegasus に供給し、人間が知覚から処理、論理へと進むプロセスを模倣しています」と説明されました。

人間の脳が膨大な量の情報を絶えず受信し、解釈し、整理しているように、Twelve LabsのマルチモーダルAIは、複数の刺激をコヒーレントな（一貫した）理解へと合成することに他なりません。時間、オブジェクト、発話、テキスト、人物、アクションなどの変数に関するデータをビデオから抽出し、そのデータをベクトル（数学的表現）に合成します。

これを実現するために、アクション認識やアクション検出、パターン認識、オブジェクト検出、シーン理解などのタスクを採用しています。

包括的なビデオ理解の応用範囲はM&Eやそれ以外の分野でも非常に広いため、Twelve Labsは、ユーザーがビデオ理解技術を探索・テストできるサンドボックス環境（Playground と呼ばれる）を提供しています。また、充実したドキュメントを提供し、わずか数回のAPI呼び出しでビデオ理解機能をプラットフォームに組み込める堅牢なAPIを提供しています。

‍

MASVとTwelve Labsでクラウド内のAIビデオワークフローを有効に

2023年12月現在、世界中で毎日約 3億2,877万テラバイト のデータが作成されており、ビデオはその53.27%を占めており、さらに増加しています。ビデオへのこの劇的かつ継続的なシフトこそが、Twelve Labsのビデオ理解技術がこれほど重要である理由です。

MASVも、ビデオのすでに巨大であり成長し続ける可能性を理解しています。彼らの摩擦のない高速な大容量ファイル転送サービスは、自動化され安全なファイルアップローダーを使用して、自動化および保護されたファイルアップローダーを介して、Amazon S3 を含むAI処理用の一般的なクラウド環境に巨大なデータセットを取り込むことができます。これにより、ビデオやその他の大規模データセットを伴うAIワークフローをサポートするためのコンテンツ取り込みが簡素化されます。

MASVはすでに、一般的なメディアアセット管理システムやクラウドストレージとのシームレスな統合、および仮想的にハンズフリーでのコンテンツ取り込みを可能にするノーコードのファイル転送自動化を提供しています。

ユーザーは、転送されたファイルをユーザーのS3インスタンスに自動的にアップロードするようにMASVを設定し、Twelve Labsを使用して、アーカイブ/コンテンツ検索やビデオ要約などのAIビデオ理解タスクを迅速に処理できます。

MASVとTwelve Labsを試してみたいですか？今すぐ無料で MASVにサインアップ して、20GBの無料データを手に入れて試してみてください。同時に、Twelve LabsのPlayground環境に サインアップ して、10時間の無料ビデオクレジットを取得し、ビデオ理解の力が何をもたらすかを体験してください。