TwelveLabs MCP 서버로 여러분의 에이전트에 비디오 인텔리전스를 더해보세요

나를 대신해 동영상을 시청하고 이해할 수 있는 AI 비서가 있다면 어떨까요? 30분짜리 회의 녹화본을 몇 초 만에 요약하거나, 수시간 분량의 영상 내에서 원하는 특정 순간을 바로 찾아내는 AI 비서는 어떨까요? 새로운 TwelveLabs Model Context Protocol (MCP) 서버를 통해 이제 그것이 가능해졌습니다.

우리는 비디오 이해 플랫폼과 AI 비서를 연결하는 가교 역할을 하는 TwelveLabs MCP 서버의 출시를 기쁜 마음으로 발표합니다. 이 서버는 오픈 Model Context Protocol 표준을 기반으로 구축되었으며, Anthropic의 Claude와 같은 대형 언어 모델(LLM) 에이전트가 TwelveLabs의 강력한 비디오 검색 및 분석 기능에 직접 접근할 수 있도록 돕는 범용 어댑터 역할을 합니다. 실제 활용에 있어서는 간단한 자연어 프롬프트만으로, 여러분이 선택한 AI 애플리케이션이 표준화된 인터페이스를 통해 우리의 도구를 호출하고 비디오 인덱싱, 관련 장면 찾기, 요약 생성 등을 수행할 수 있음을 의미합니다.

Claude 데스크톱 앱, Cursor나 Windsurf 같은 IDE 비서, 혹은 맞춤형 AI 에이전트 등 어떤 것을 사용하더라도 TwelveLabs MCP 서버는 매끄러운 통합을 지원합니다. 더 이상 별도의 API 호출이나 연결 코드를 작성할 필요 없이, 당사의 MCP 서버를 실행하고 사용 중인 AI 환경에 연결하기만 하면 됩니다. 이 서버는 TwelveLabs의 기능을 대표하는 리소스, 도구 및 프롬프트 제품군을 제공하여, MCP를 지원하는 모든 클라이언트가 별도의 설정 없이 바로 감지하고 사용할 수 있도록 합니다. (실제로 당사는 이미 Claude Desktop, Cursor, Goose 등 널리 사용되는 클라이언트들과의 호환성을 검증했습니다) 이번 게시물에서는 TwelveLabs MCP 서버가 무엇인지 설명하고, 이를 통해 수행할 수 있는 신선한 기능들을 소개하며, 시작하는 방법을 단계별로 안내해 드리겠습니다.

TwelveLabs MCP 서버란 무엇인가요?

TwelveLabs MCP 서버는 당사의 비디오 이해 기능(인덱싱, 시맨틱 검색, 분석, 임베딩)을 표준화된 MCP 도구, 리소스 및 프롬프트로 노출하는 패키지형 서버입니다. 이를 통해 Claude Desktop과 같이 MCP를 지원하는 모든 클라이언트가 별도의 연동 코드를 구축하지 않고도 해당 기능을 바로 사용할 수 있습니다.

사용을 시작하려면 설치 가이드를 통해 서버를 설치하고 구성하면 됩니다. 서버가 연결되면 AI 비서는 런타임에 TwelveLabs의 도구를 인식하고 이를 결정론적으로 호출할 수 있습니다. 예를 들어, "이 라이브러리에서 4쿼터 3점슛 장면을 모두 찾아줘" 또는 "이 비디오를 3문장으로 요약해줘"와 같은 명령에 대해 클라이언트가 이해할 수 있는 정형화된 형태로 결과를 반환합니다.

활용 사례 및 가능성

이를 통해 무엇을 할 수 있을까요? 요약하자면, AI 에이전트를 위한 다양하고 강력한 비디오 이해 활용 사례가 열립니다. 다음은 TwelveLabs MCP 서버를 통해 구현할 수 있는 몇 가지 시나리오입니다.

• 하나의 도구로서의 시맨틱 비디오 검색: AI 에이전트에게 “이 2시간짜리 웨비나에서 발표자가 최종 차트를 보여주는 부분을 찾아줘”라고 요청하고 정확한 타임스탬프를 받아보는 모습을 상상해 보세요. MCP 서버는 당사의 시맨틱 비디오 검색 엔진을 자연어로 호출할 수 있는 도구로 제공합니다. 이를 통해 “비디오 검색”이 모든 LLM 에이전트에게 기본 기능으로 내장되어, 에이전트가 백그라운드에서 동작하는 당사의 Marengo 임베딩 모델의 힘을 빌려 설명과 일치하는 장면이나 순간을 비디오 인덱스에서 샅샅이 찾아내도록 할 수 있습니다.

• 자동 비디오 요약 및 Q&A: AI 비서에게 비디오를 요약하거나 비디오 콘텐츠에 관한 질문에 즉각 답하도록 요청할 수 있습니다. MCP 서버는 당사의 Pegasus 비디오 언어 모델을 간편한 호출 방식으로 패키징합니다. 에이전트는 이를 호출하여 긴 비디오의 핵심 요약을 얻거나, 프롬프트에 비디오 ID를 입력하여 Q&A를 진행할 수 있습니다. MCP는 동적 컨텍스트가 포함된 정형화된 프롬프트를 지원하므로, 에이전트는 비디오의 메타데이터를 리소스로 가져와 프롬프트에 포함함으로써 더 정확한 답변을 도출할 수 있습니다. 즉, AI가 사람이 하는 것처럼 비디오를 "시청"하고 내용을 파악하여 단 몇 초 만에 여러분에게 모든 것을 설명해 줄 수 있습니다.

• 연쇄적인 비디오 분석 (RAG 워크플로우): 진짜 놀라운 경험은 도구들을 연쇄적으로 결합할 때 일어납니다. 예를 들어, 에이전트가 먼저 검색 도구를 호출하여 (사용자의 쿼리를 백그라운드 기반으로) 관련 비디오 클립을 검색한 다음, 그 클립들을 분석 도구에 태워 상세한 답변이나 보고서를 생성하도록 할 수 있습니다. 이것이 바로 비디오를 위한 검색 증강 생성(Retrieval-Augmented Generation, RAG)이며, 에이전트가 당사의 검색과 분석 기능을 순차적으로 조율하는 방식입니다. MCP를 사용하면 이러한 다단계 워크플로우가 매끄럽게 흐릅니다. 에이전트는 TwelveLabs 도구를 알아서 올바른 순서로 사용하므로, “이 제품이 등장하는 모든 장면을 찾은 다음, 해당 장면들의 하이라이트 요약본을 만들어줘”와 같은 복잡한 작업도 자율적으로 수행할 수 있습니다. 이전에는 API를 직접 코딩하고 이어 붙여야 했던 작업을 이제 MCP 기반 AI가 스스로 처리합니다.

• 인터랙티브 비디오 어시스턴트: MCP 서버는 AI 비서와 실시간으로 연동되므로 진정한 양방향 비디오 워크플로우를 구축할 수 있습니다. 예를 들어 에이전트가 사용자에게 의견을 묻고(“이 클립 중에서 어떤 것을 더 자세히 알아보고 싶으신가요?”), TwelveLabs 도구를 통해 추가 정보를 가져와 대화를 이어갈 수 있습니다. 미디어 및 뉴스(속보 비디오 요약)부터 스포츠(경기 하이라이트 발췌 및 취합), 보안(이벤트 발생 여부 감시를 위한 CCTV 영상 스캔) 등에 이르기까지 활용 분야는 무궁무진합니다. 일관된 인터페이스 덕분에 개발자는 백그라운드에서 실행되는 복잡한 비디오 처리 과정에 신경 쓸 필요 없이 '내 기분에 맞는 영상을 찾아주는 개인 비디오 DJ 에이전트'와 같은 창의적인 아이디어를 손쉽게 실험해 볼 수 있습니다.

Claude Desktop 구동 모습

TwelveLabs MCP 서버를 경험하는 가장 흥미로운 방법 중 하나는 Anthropic의 강력한 대화형 AI 데스크톱 클라이언트인 Claude Desktop을 사용하는 것입니다. 당사는 내부 테스트 과정에서 로컬에서 실행 중인 TwelveLabs MCP 서버에 Claude Desktop을 연결해 보았고, Claude가 즉각적으로 강력한 비디오 기능을 장착하는 모습을 확인했습니다.

서버를 시작하고 Claude Desktop에 연결 정보를 입력하자, 앱은 (MCP의 내장 탐색 기능 덕분에) 사용 가능한 도구들을 자동으로 감지했습니다. 자세한 내용은 아래의 데모 녹화 영상을 통해 확인해 보세요. 내부적으로 Claude는 MCP 인터페이스를 활용하여 인덱스 내 비디오 목록 나열, 시맨틱 쿼리 기반의 특정 클립 검색, 그리고 지정된 특정 비디오의 콘텐츠 분석 수행과 같은 TwelveLabs 도구를 성공적으로 호출했습니다.

이 사례는 비디오 이해 기능을 AI 워크플로우에 통합하는 것이 얼마나 간단해졌는지 잘 보여줍니다. 몇 번의 클릭만으로 Claude는 자연어를 사용하여 비디오를 검색하고 분석할 수 있는 능력을 갖추게 되었습니다. 별도의 사용자 정의 플러그인이나 까다로운 프롬프트 엔지니어링 없이, 오직 MCP 서버가 그 간극을 메워준 덕분입니다. 이는 Claude에만 국한되지 않습니다. TwelveLabs MCP 서버를 Cursor(비디오 데이터를 다루는 AI 지원 코딩용)나 MCP 클라이언트 SDK를 사용하는 자체 Python 스크립트와 같은 다른 MCP 호환 플랫폼에도 자유롭게 연결할 수 있습니다. 도구들이 동일한 프로토콜을 공유할 때 AI와 비디오 애플리케이션이 만들어낼 가능성은 무한합니다.

TwelveLabs MCP 서버 시작하기

소스 코드를 직접 내려받지 않고도 바로 시작하려면 다음 단계를 따르세요.

1. 설치 가이드 열기 👉 https://mcp.twelvelabs.io/try?openInstructions=true. 이 가이드는 선호하는 MCP 클라이언트에 서버를 추가하는 과정을 단계별로 안내합니다.

2. TwelveLabs API 키 준비하기: TwelveLabs 계정에 로그인하여 API 키를 복사합니다. 서버가 사용자를 대신해 TwelveLabs API를 안전하게 호출할 수 있도록 설정 과정에서 이 키를 붙여넣게 됩니다.

3. MCP 클라이언트 선택하기: 가이드에는 클라이언트별 단계(서버 추가 위치, API 키 구성 방법, 도구 호출 승인 방법 등)가 포함되어 있습니다.

4. 연결 및 확인: 클라이언트에 TwelveLabs MCP 서버를 추가한 후, 도구(Tools)가 정상적으로 표시되는지 확인합니다. 대부분의 클라이언트는 도구 목록/레지스트리 UI를 제공합니다.

5. 첫 워크플로우 실행하기: 아이디어가 필요하다면 아래 Windsurf IDE를 활용한 데모를 참고해 보세요.

한 가지 짚고 넘어갈 점은, 견고한 도구 호출 에러 메시지가 제공될 때 에러를 감지한 에이전트가 스스로 문제를 복구할 수 있다는 사실입니다. 실제 프로덕션 환경을 구성할 때는 Alpic의 지능형 MCP 에러 핸들링 가이드가 훌륭한 참고서가 될 것입니다.

결론 및 향후 계획

TwelveLabs MCP 서버의 출시는 AI 개발자와 서비스 빌더들에게 있어 흥미진진한 진전입니다. 사상 처음으로, 복잡하게 API를 엮고 커스텀 코드를 짜지 않고도 단순히 도구함에 표준화된 도구를 추가하는 것만으로 AI 에이전트에 비디오를 볼 수 있는 눈을 제공할 수 있게 되었습니다. 우리는 이것이 회의 녹화본을 완벽히 이해하는 똑똑한 가상 비서부터 비디오 맥락을 결과물에 버무리는 창의적인 생성형 에이전트에 이르기까지, 새로운 멀티모달 애플리케이션의 물결을 일으킬 것이라 제안합니다.

다시 말해 당사의 MCP 서버는 SDK의 비대화나 맞춤형 통합 코드 없이도 비디오 인텔리전스를 AI 워크플로우 내에서 주요한 역량으로 동작하도록 만듭니다. 설치 즉시 사용 가능한 단독 서버 형태로 배포되므로, 실무 팀은 몇 분 만에 널리 쓰이는 MCP 클라이언트에 연결하여 바로 결과물을 빌드할 수 있습니다.

• 미디어 및 뉴스: 즉각적인 요약 및 하이라이트 생성

• 스포츠: 원하는 순간 검색 및 컴필레이션 제작

• 마케팅: 로고/특정 순간 감지 및 소셜 미디어용 컷 편집

👉 지금 시작하기

설치 가이드를 참고하여 TwelveLabs MCP 서버를 클라이언트에 추가하세요: https://mcp.twelvelabs.io/try?openInstructions=true

API 공식 문서를 확인하세요: https://docs.twelvelabs.io/docs/advanced/model-context-protocol

직접 MCP 서버를 만들어보고 싶은 개발자라면, Alpic에서 무료 베타로 제공하는 호스팅 서버 배포를 고려해 보세요: https://app.alpic.ai/