VideoDBとTwelveLabsでリアルタイムの動画理解を実現する

人力による監視はコストがかかり、心身を消耗させ、スケールしない

ベビーモニターから倉庫のカメラ、果てしない監視カメラの映像にいたるまで、多くの組織はいまだに人間の目に頼ってライブ映像を監視しています。これはコストがかかり、退屈で、ミスの起こりやすいアプローチです。疲労は避けられず、精度は低下し、規模の拡大はシステムの強化ではなく人員の増員を意味します。AI主導の時代において、監視は手動で行われるべきではなく、ミスが起こりやすく、ボトルネックになるようなものであってはなりません。

荷物が盗まれた瞬間、赤ちゃんがベビーベッドからよじ登ろうとした瞬間、洪水のリスクが発生した瞬間、あるいは医師が患者の重大な事象を知る必要がある瞬間など、すべてをリアルタイムで即座にアラートとして受け取ることを想像してみてください。これこそが、VideoDBのリアルタイムインフラストラクチャによって実現され、今回 ネイティブに統合された TwelveLabsと当社の最も高度なビデオ理解モデル Pegasus 1.2の約束です。

この統合に向けたコラボレーションにおいて、VideoDBチーム（Ashutosh Trivedi、Ashish Choithani、Om Gate、Nischay Joshi）に多大なる感謝を申し上げます！

ライブビデオから即時のアクションへ

リアルタイムのビデオ分析は、単なる「あれば便利」な機能ではなく、変革をもたらす能力です：

• 安全性とセキュリティ： 事後対応型のセキュリティから、緊急時やセキュリティ侵害時の事前予防的で、潜在的に人命を救うアラートへと移行します。

• 企業の生産性： 受動的なビデオアーカイブを、対話型で検索可能なナレッジへと変換し、コラボレーションと洞察を解き放ちます。

• コンテンツプラットフォーム： 自動タグ付け、チャプター分け、高精度なモデレーションを可能にし、より優れたユーザーエクスペリエリエンスを提供します。

しかし、これまでは 技術的なハードル により、ほとんどの開発チームがこの可能性を解き放つことができませんでした。

課題：ビデオAIの構築は難しい

本格的なビデオ理解を構築しようとしたことがある人なら、次のようなお決まりの頭痛の種をご存じでしょう：

• APIの乱立： 無数のクレデンシャル、レート制限、バラバラのSDKの管理。

• スケーリングの悩み： リソースを大量に消費するGPUワークロードにより、信頼性の高いスケーリングが困難に。

• レイテンシーのボトルネック： ストレージ、AI、アプリケーションのレイテンシーをやりくりすることで、真のリアルタイム利用が損なわれます。

これらの課題は、アイデアが形になりそうなまさにその瞬間に、イノベーションを失速させることがよくあります。

VideoDB + TwelveLabs：開発者のシンプルさと、企業のパワー

VideoDB は、まさにこれらの障害を取り除くために構築されました。開発者は、ビデオデータ管理のためのAIファーストのプラットフォームを利用できます：シームレスな取り込み、カスタマイズ可能なインデックス、マルチストリーム処理、高度なイベントアラートをすべて、単一の統合APIの背後で実現します。そして何よりも、新しいネイティブな TwelveLabs 統合により、世界で最も高度な ビデオ理解AI が、VideoDB内に完全に埋め込まれ、すぐに利用可能になります。

追加のアカウントは不要です。追加のAPIキーも不要です。統合の頭痛の種は一切ありません。

既存のワークフローで最先端のビデオ理解に即座にアクセスするには、モデル（twelvelabs-pegasus-1.2）を指定するだけです。

実世界のユースケース：稼働するビデオAI

🌊 突発的洪水の検知

洪水が発生しやすい川底を監視しているカメラを想像してみてください。VideoDBのTwelveLabsを使用すると、トラブルの極小の兆候を 継続的に 捉えることができます。Pegasusが水位の上昇を検出した瞬間、VideoDBのアラートシステムが、人命を救う対応を自動的にトリガーします。

サンプルノートブックを開く

👶 ベビーベッドの監視

親には穏やかで心配のない睡眠をとる権利があります。TwelveLabsを活用したリアルタイム監視により、赤ちゃんが這い出ようとしたり、緊急の注意が必要になったりした場合に、即座に知ることができます。VideoDB + TwelveLabsは、刻一刻と変化する安心を意味します。

サンプルノートブックを開く

仕組み：1行で実現する高度なビデオ理解

VideoDBのTwelveLabs Pegasusを使用すると、ビデオストリームのインデックス作成は簡単です。突発的洪水検知のノートブックでは、以下のようになります：

from videodb import SceneExtractionType

# Your stream object
flood_stream = ... 

# Index scenes using TwelveLabs' Pegasus model
flood_scene_index = flood_stream.index_scenes(
    extraction_type=SceneExtractionType.time_based,
    extraction_config={
        "time": 10,
        "frame_count": 6,
    },
    # This prompt guides the AI to look for events of interest:
    prompt="Monitor the dry riverbed and surrounding area. If moving water is detected across the land, identify it as a flash flood and describe the scene.",
    # Unlock the full power of TwelveLabs video intelligence here:
    model_name="twelvelabs-pegasus-1.2",
    name="Flash_Flood_Detection_Index"
)

print("Scene Index ID:", flood_scene_index.rtstream_index_id)

• model_name: "twelvelabs-pegasus-1.2" を使用して、Pegasusのビデオ理解を即座に導入できます。

• extraction_type: 時間ベース、シーンベース、またはカスタム分析から選択します。

• prompt: AIに指示してユースケースに焦点を当て、実用的な出力を生成します。

ベビーベッドの監視ノートブックでも、別の例を確認できます：

from videodb import SceneExtractionType

# Your stream object
crib_stream = ... 

# Index scenes using TwelveLabs' Pegasus model
crib_scene_index = crib_stream.index_scenes(
    extraction_type=SceneExtractionType.time_based,
    extraction_config={
        "time": 10,
        "frame_count": 6,
    },
    prompt="Describe the activity of the baby kept inside a baby crib. Notice if baby climbs out, is stading up in the crib or attempts to escape.",
    name="Baby_Crib_Index",
    model_name="twelvelabs-pegasus-1.2"
)

crib_index_id = crib_scene_index.rtstream_index_id
print("Scene Index ID:", crib_index_id)

これにより、摩擦や余分な手順なしに、TwelveLabsインテリジェンスのシームレスで即時の統合が解き放たれます。

構築を始める準備はできましたか？

• 今日から始めましょう：

  • VideoDBのドキュメント + TwelveLabsのドキュメント を参照する

  • この詳細なREADME を読む

  • TwelveLabs開発者ハブ に参加して、自分で構築したものを共有しましょう！

• ご不明な点がある場合や、プロジェクトを紹介したい場合は、 当社のDiscord までご連絡ください！

あなたが何を作り上げるかを見るのが待ちきれません！