Twelve Labs、MindsDB、Slackを使って強力なビデオ要約ツールを構築する

このチュートリアルは、MindsDBの素晴らしいチームであるZoran Pandovski（シニアフルスタックエンジニア）、Martyna Slawinska（ソフトウェアエンジニア兼テクニカルライター）、そしてMinura Punchihewa（データインテグレーションエンジニア）との共同執筆です！

‍

はじめに

近年、機械学習モデルは驚異的な進歩を遂げています。しかし、デベロッパーにとって、これらのモデルをアプリケーションに統合して提供することは、依然として課題となる場合があります。動画理解のための Twelve Labs の最先端基盤モデルと、カスタム AI を構築するための MindsDB のプラットフォームを組み合わせることで、強力な機械学習アプリの構築がいかに容易になるかを紹介するチュートリアルをお届けできることを嬉しく思います。動画はインターネット上のいたるところに存在しますが、テキストとは異なり、解析、要約、理解が困難です。以下のチュートリアルでは、これらすべてを実行できるツールを構築できます。

Twelve Labs は、自然言語のプロンプトを理解し、動画コンテンツから人間のようなテキストを生成できる、強力なマルチモーダル基盤モデルへのアクセスを提供します。MindsDB は、カスタマイズされた AI ソリューションを構築するために、機械学習モデルやデータソースへのアクセスを可能にします。これら二つのテクノロジーを組み合わせることで、デベロッパーの可能性は大きく広がります。

テキストの生成、コンテンツの分類、または動画内の特定の瞬間の検索など、どのような目的であっても、この統合によって、あらゆるデベロッパーが Twelve Labs の機能を利用できるようになります。このチュートリアルが、強力な機械学習アプリを構築する上での情報提供として役立つことを願っています。

このチュートリアルを通じて、MindsDB での Twelve Labs 統合の設定方法、MindsDB 内での Twelve Labs モデルのデプロイ方法（Twelve Labs の要約タスクを使用します）、そして定期的に動画の要約をお知らせとして投稿する Slack ボットを介したフロー全体の自動化方法について学びます。

このチュートリアルを完了する頃には、MindsDB と Twelve Labs の強みを活かして、簡潔な動画要約を作成し、Slack チャンネルにお知らせとして投稿する Slack ボットが完成していることでしょう。

それでは始めて、この統合がもたらす無限の可能性を探っていきましょう。

‍

事前準備

• Docker経由でMindsDBをローカルにインストールします。

• Twelve Labs モデル用の API キーを取得します。

‍

MindsDBのインストール

MindsDB の Docker コンテナを実行するには、次のコマンドを実行します。

docker run -p 47334:47334 -p 47335:47335 --name mdb mindsdb/mindsdb

MindsDB コンテナの実行中に、次のコマンドを実行してそのシェルにアクセスします。

docker exec -it mdb sh

Docker コンテナ内で、次のコマンドを使用して TwelveLabs および Slack 統合のための追加の依存関係をインストールします。

pip install mindsdb[twelve_labs] mindsdb[slack]

インストール後、ブラウザを使用して http://127.0.0.1:47334 で MindsDB のウェブインターフェースにアクセスできます。

‍

Twelve Labs の API キーを取得する

Twelve Labs の API キーを取得するには、ダッシュボードページにログインし、API キーを見つけて「コピー」アイコンを選択し、クリップボードにコピーします。

Twelve Labs は、アプリケーションに設定を渡すために環境変数を使用することを推奨しています。しかし、このチュートリアルでは、以下で示すように、ML エンジンを作成する際に API キーをパラメータとして MindsDB に提供することができます。

‍

MindsDB から Twelve Labs モデルをデプロイして使用する

Twelve Labs エンジンの設定

要約タスクに進む前に、MindsDB と Twelve Labs の間の接続を確立する必要があります。これには、Twelve Labs API を利用する機械学習（ML）エンジンを作成することが含まれます。この統合を開始するには、API キーをコピーし、次の SQL コマンドを実行して Twelve Labs エンジンを作成します。

CREATE ML_ENGINE twelve_labs_engine
FROM twelve_labs
USING
 twelve_labs_api_key = '<YOUR_API_KEY>';

‍

Twelve Labs モデルのデプロイ

ML エンジンの準備ができたら、次のフェーズでは、要約タスクを処理するためのモデルを作成します。

CREATE MODEL mindsdb.demo_day_model
PREDICT result_summary
USING
 engine = 'twelve_labs_engine',
 task = "summarization",
 engine_id = 'pegasus1',
 index_name = 'index_1',
 index_options = ['visual', 'conversation'],
 video_urls = ['https://mindsdb.s3.eu-north-1.amazonaws.com/demo_day.mp4'],
 summarization_type = 'summary',
 prompt = 'Explore MindsDBs latest updates! Discover innovative features enhancing your analytics experience. Understand how these improvements bring precision and efficiency to your work, reflecting our commitment to forefront technology. Learn about integrating these new capabilities seamlessly.'

USING ステートメントで指定したパラメータは次のとおりです。

• engine: 使用する ML エンジンの名前。この場合は、前に作成した 'twelve_labs_engine' です。

• task: モデルによって実行されるタスクの名前。

• engine_id: 使用する Twelve Labs エンジンの ID。要約タスクには 'pegasus1' を指定する必要があることに注意してください。

• index_name: 使用するインデックスの名前。インデックスが存在しない場合は、自動的に作成されます。

• index_options: 処理される、動画内の情報タイプのリスト。'pegasus1' エンジンは 'visual' と 'conversation' のみをサポートすることに注意してください。

• video_files: 動画へのローカルパスのリスト。

• summarization_type: 実行する要約のタイプ。この場合は 'summary' です。

• prompt: 要約タスクにコンテキストを提供し、要約のトーンをお知らせのスタイルに変更します。

なお、動画のサイズによっては、インデックスの作成と動画データ（動画埋め込みとメタデータ）の保存に時間がかかる場合があります。上記のコマンドが実行されたら、次の describe ステートメントを実行して、モデルのステータスを確認できます。

DESCRIBE mindsdb.demo_day_model

すべてが正常に動作していれば、STATUS 列に「complete」と表示されます。エラーが発生した場合は、エラーに関する詳細な情報が含まれている ERROR 列を確認してください。

動画から要約を生成する前に、video_id を知る必要があります。それを取得するために、モデル indexed_videos に対して DESCRIBE ステートメントを実行します。

DESCRIBE mindsdb.demo_day_model.indexed_videos;

返された結果セットに video_id が含まれているはずです。ID をコピーし、モデルにクエリを実行して、動画のキーポイントを取得します。

‍

Twelve Labs モデルによって生成された要約を取得する

動画 ID を使用して、要約を抽出できるようになりました。

SELECT * FROM mindsdb.demo_day_model
WHERE video_id = '65e88e6f48db9fa780cb466f'

これで、result_id および video_id と並んで、実際の要約テキストを含む result_summary 列が表示されるはずです。

素晴らしいですね。わずか数行の SQL ステートメントで、動画の明確な要約を取得することができました。これをさらに一歩進めて、Slack チャンネルに要約を投稿する Slack ボットを作成しましょう。

‍

Slackとの接続

MindsDB を Slack ワークスペースに接続する前に、MindsDB Slack ドキュメントに従ってトークンを生成してください。

トークンを取得したら、次のコマンドを実行します。

CREATE DATABASE demo_day_bot
WITH
ENGINE = 'slack',
PARAMETERS =  {
    "token": "xoxb-2347-21112-csuae1231" 
};

次に、Slack チャンネルにウェルカムメッセージを投稿して、統合を確認します。

INSERT INTO demo_day_bot.channels (channel, text)
VALUES("announcements, "Welcome from MindsDB and Twelve Labs");

これで、お知らせ（announcements）チャンネルに上記のメッセージが表示されるはずです。

それが動作することを確認できたら、Twelve Labs モデルを使用して、チャンネルに要約を投稿できます。

INSERT INTO demo_day_bot.channels (channel, text)
SELECT "announcements" as channel, result_summary as text 
FROM mindsdb.demo_day_model 
WHERE video_id='65e7396748db9fa780cb4575'

このクエリは、demo_day_model を呼び出し、要約テキストを取得して、demo_day_bot を使用してお知らせチャンネルに投稿します。

‍

まとめ

おめでとうございます！このチュートリアルを完了したことで、MindsDB と Twelve Labs の強みを活かし、簡潔な動画要約を Slack チャンネルにお知らせとして配信する Slack ボットの作成に成功しました。

学んだ内容は以下の通りです：

1. MindsDB のインストールと設定

2. Twelve Labs API キーの取得

3. MindsDB での Twelve Labs エンジンの設定

4. MindsDB での Twelve Labs 要約モデルのデプロイ

5. SQL クエリを介した Twelve Labs モデルを使用した動画要約の生成

6. 要約ワークフローと Slack を連携させた自動投稿

完全な GitHub リポジトリはこちらで見つけることができます：https://github.com/mindsdb/mindsdb/tree/staging/mindsdb/integrations/handlers/twelve_labs_handler

この統合は、MindsDB の AI-SQL 機能を活用することで、アプリケーション内で Twelve Labs の最先端基盤モデルをいかに簡単に利用できるかを示しています。わずか数行の SQL で、最先端の動画理解にアクセスし、便利な Slack ボットにシームレスに組み込むことができました。

MindsDB と Twelve Labs の可能性をさらに探るには、以下の追加リソースをチェックしてください。

• MindsDBドキュメント - MindsDB の機能とケイパビリティについて詳しく学ぶ

• Twelve Labsドキュメント - Twelve Labs の動画理解サービスについて深く掘り下げる

• MindsDBブログ - さらなるユースケースやチュートリアルを見つける

• Twelve Labsブログ および Discord - マルチモーダル AI の最新情報を入手する

さらに強力な動画 AI アプリケーションを構築するために、他の Twelve Labs モデルや MindsDB 統合をぜひお試しください。可能性は無限大です！

ご質問やフィードバックがございましたら、MindsDB および Twelve Labs コミュニティにお気軽にお問い合わせください。ハッピービルディング！