モデルをミッションへ：エアギャップ環境におけるTwelveLabsのデプロイ

切断されても、劣化しない

ビデオデータは、現代のオペレーションにおいて最も豊かでありながら、同時に最も扱いづらいシグナルの1つです。映像が急増するにつれて、オペレーターはノイズや膨大な量の中に埋もれた、重要なインサイトを見失うリスクに晒されています。また、このデータを格納するネットワークは、データを実用的なものにするためのツールから断絶されています。

安全性の低いソリューションや機能を縮小したソリューションによって、お客様がミッション遂行能力を犠牲にすることを私たちは望みません。だからこそ、TwelveLabsスタックの完全にエアギャップ（物理的孤立）された展開方法を導入しました。

商用SaaSで稼働しているものと同じMarengoおよびPegasusモデルを、インターネットに接続されていない環境（オフライン環境）でビデオの要約、分析、検索に使用できるようになりました。お客様は、同じAPIコントラクト、推論ワークフロー、製品の動作を、それらが最も必要とされる場所に直接持ち込むことができます。

図1: エアギャップ構築により、安全な環境内でTwelveLabsの機能を利用可能に保ちつつ、パブリックインターネットへの依存を排除します。

設計段階からのオフライン対応

エアギャップ構成は、単に商用製品を移植しただけのものではありません。お客様に信頼性が高く、ポータブルなプラットフォームを提供するために、設計の初期段階から「オフラインファースト」の原則に基づいて構築されています。

いかなる場所でもネットワーク接続は不要。外部の依存関係、サービス、設定は一切使用されません。これにより、通常はアクセス不可能な制限された環境での運用が可能になります。

既存のインフラストラクチャ上で動作。環境内にあらかじめプロビジョニングされているクラスターやGPUに、組み込みの自動化機能を使ってデプロイします。調達やプロビジョニングを行うことなく、より迅速に稼働を開始できます。

最も安全なエンクレーブに対応する堅牢性。FIPS（連邦情報処理規格）に準拠した署名済みイメージ、顧客側IdP統合、およびローカル監視ツールが同梱されています。既存のセキュリティ体制にそのまま組み込むことができるため、審査の負担やランタイムの攻撃対象領域（アタックサーフェス）を最小限に抑えられます。

技術的な仕組み

図2: 隔離されたKubernetesネームスペース内で、製品、ストレージ、キューイング、およびモデル推論サービスが稼働する、自己完結型のTwelveLabsデプロイ。

これらはTwelveLabsのコンポーネントです：

• GUIエクスプローラー（プレイグラウンド） - ビデオコレクションの探索、モデル機能のテスト、およびアドホックな分析を行うためのWeb UI。

• APIバックエンド - ユーザー認証、コンテンツストレージ、ジョブライフサイクル、および再生用のビデオ処理（HLS、サムネイル）を処理するRESTful API。

• 推論サービス - 推論のために生のマルチメディアコンテンツを前処理し、モデルの実行をオーケストレートするモデルサービングレイヤー。

• 埋め込みモデル (Marengo) - 検索およびリトリーバル（テキスト、画像、エンティティによる検索）のためのマルチモーダルベクトル埋め込み（Embedding）を生成します。

• 分析モデル (Pegasus) - マルチメディアコンテンツを推論し、回答、要約、メッセージ、および時間ベースのメタデータを生成します。

サポートするインフラストラクチャ（自己ホスト型、交換可能、市販のデフォルト設定）：

• イングレスルーター - インバウンドリクエストのルーティングとTLSを処理します。

• IdP - OIDCまたはSAMLを介して、お客様のアイデンティティプロバイダーに対して発信者を認証します。

• ベクトルストレージ - マルチモーダル検索およびリトリーバルのための埋め込み（Embedding）。

• 生コンテンツストレージ - ビデオ処理および再生用のS3互換ストレージ。

• メタデータストレージ - ジョブのライフサイクルおよび処理された出力（書き起こし、分析など）。

• ジョブキュー - 非同期の推論実行からAPIをデカップリング（分離）します。

正常に動作することを確認する方法

私たちが直面した最も重要な課題は、お客様の環境のハードウェア上で実行した際に、TwelveLabsの商用製品と同等の品質とパフォーマンスを維持することでした。これを実現するため、すべてのリリースを制御する3つのレベルのテストを実装しました。

• 商用版との整合性（パリティ）。 デプロイの成否は、そのテストスイートにかかっています。すべてのリリースは、商用製品と同じテストセットおよび合格基準に対して、同じ評価および回帰テスト（レグレッションテスト）スイートを実行します。SaaSのベースラインに対して性能が低下（退行）したリリースは出荷されません。

• 比例する顧客POC。 お客様のワークロードはTシャツサイズ（S/M/L）に分類され、これによって想定されるインジェストスループット、検索・分析のレイテンシ、同時実行制限、および負荷時のリソース使用率が定義されます。本番稼働へのデプロイ前に、比例したハードウェアとデータボリュームを使用したテスト実行によって、これらをお客様の環境で検証します。

• 代表的なコンテンツに対する検証。 TwelveLabsモデルのユースケースは、主題、目的、シグナル品質、話題性など、お客様によって大きく異なります。私たちは各お客様と緊密に連携し、デプロイ初日から確実に実用できるようにするための代表的な検証セットを作成します。

タフな現場での運用

図3: データのすぐ近くでビデオインテリジェンスを実行する必要がある、接続が制限された環境の例。

このアーキテクチャは、信頼性の高い機密システム、接続性の低いネットワーク、オンプレミスのエンクレーブなど、幅広いオフライン環境で動作します。ミッションワークロードは、最も効果的なデータのすぐ傍らで実行されます：

• マルチソース、マルチチャネルFMV。 同時配信される数時間、数日、数年分に及ぶフルモーションビデオ（FMV）からの検出と分析。すべてのフレームを目視することなく、関心のある瞬間や時間の経過に伴う関連性を浮き彫りにします。

• 広域地理空間画像。 高解像度の頭上画像に基づいたオブジェクト識別と時空間推論。車両、構造物、または活動パターンの特徴を数秒で発見します。

• フォワードデプロイ（前方展開）されたエッジデバイス。 遠隔地や孤立した環境でのローカルなクローズドサーキット検索。シングルGPUノードがある場所ならどこでも対応可能です。

はじめに

エアギャップ構成を使い始めるには、Kubernetesクラスターと、少なくとも1つのCUDA対応の24GB以上のGPUが必要です。

データの引き寄せ（データグラビティ）は制限をもたらす力です。その傍にAIを配置することで、それは強力な乗数へと変わります。

切断された環境へのAIの導入をご検討中ですか？アーキテクチャについて詳しくお話しさせてください。gov@twelvelabs.io までお気軽にお問い合わせください。