미디어 및 엔터테인먼트 분야 멀티모달 AI 해커톤을 소개합니다

요약 및 핵심 톺아보기

• 2024년 6월 8일~9일 양일간 캘리포니아주 로스앤젤레스에서 개최되는 미디어 및 엔터테인먼트 분야 멀티모달 AI 해커톤(Multimodal AI in Media & Entertainment Hackathon)은 Twelve Labs와 FBRC.ai가 공동 주최하여, AI 분야의 우수한 인재들과 미디어·엔터테인먼트 분야의 혁신적인 크리에이터들을 한자리에 모읍니다.

• 100명 이상의 AI 엔지니어, 데이터 사이언턴트, 엔터테인먼트 업계 전문가들이 참가할 예정이며, 이번 행사는 미디어 및 엔터테인먼트 산업 내 멀티모달 AI의 최첨단 활용 사례를 탐색해 볼 수 있는 특별한 스페이스가 될 것입니다.

• 참가자들은 직접 흥미진진한 프로젝트를 구축하고, 업계 리더들과 네트워킹하며, 멋진 상금을 두고 경쟁할 기회를 가집니다.

• 이번 해커톤은 비디오 편집, 하이라이트 릴 자동 생성, 스포츠 기자회견 요약 등 실제 프로덕션 수준의 워크플로우를 혁신할 AI 기반 솔루션 개발에 중점을 둡니다.

미디어 및 엔터테인먼트 산업 속 멀티모달 AI의 흥미진진한 세계

멀티모달 AI는 콘텐츠 제작, 제작 공정, 그리고 사용자 인게이지먼트 방식에 완전히 새로운 가능성을 열어주며 미디어 및 엔터테인먼트 산업을 혁신하고 있습니다. 텍스트, 이미지, 오디오, 비디오 등 다양한 데이터 타입을 통합적으로 학습함으로써, 멀티모달 AI 시스템은 인간처럼 맥락의 미묘한 차이까지 이해하고 콘텐츠를 생성할 수 있습니다. 이 기술은 기획 단계의 시나리오 작성 및 로케이션 헌팅부터 후반 작업(Post-production)에서의 객체 제거(Object removal) 및 화면 흔들림 보정(Scene stabilization)에 이르기까지 모든 과정을 지원하며, 창작 프로세스를 한층 더 정교하고 효율적으로 진화시킵니다.

멀티모달 AI가 가장 빛을 발하는 핵심 영역 중 하나는 바로 비디오 이해(Video Understanding)입니다. 멀티모달 파운데이션 모델은 비디오 콘텐츠를 직접 분석하고 해석하여 더 깊이 있는 인사이트와 정확한 검색 및 추천 결과를 제공합니다. 예를 들어, Twelve Labs의 기술을 활용하면 디지털 자산을 자동으로 검색 및 분류하고, 후반 작업 워크플로우를 간소화하며, 개인화된 콘텐츠 추천을 통해 사용자 참여를 크게 끌어올릴 수 있습니다. 이처럼 강력한 멀티모달 AI를 도입함으로써 M&E 기업은 시청자에게 더욱 몰입감 있고 인터랙티브한 경험을 선사하고, 궁극적으로 리텐션과 만족도를 극대화할 수 있습니다.

‍

로스앤젤레스에 피어나는 새로운 AI 생태계

실리콘밸리의 기술력과 할리우드의 창의성이 만나는 접점에 위치한 로스앤젤레스는 AI 혁신의 중심지로 빠르게 급부상하고 있습니다. LA의 활기찬 AI 커뮤니티는 AI 기술 기반 M&E의 미래를 함께 개척해 나가는 연구원, 엔지니어, 예술가, 그리고 빌더들로 구성되어 있습니다. 스타트업부터 빅테크 기업, 선도적인 연구 기관이 유기적으로 연결된 탄탄한 생태계를 바탕으로, 로스앤젤레스는 전 세계 AI 개발 및 응용 기술을 선도해 나갈 준비를 마쳤습니다.

‍

Twelve Labs와 FBRC.ai 소개

Twelve Labs의 혁신적인 솔루션들은 비디오 제작 및 관리의 모든 단계를 조율할 수 있도록 설계되었습니다. 자산 관리, 후반 작업 워크플로우 최적화, 사용자 맞춤 추천, 맥락 기반 광고(Contextual advertising) 등 다양한 비즈니스 시나리오를 지원합니다. 구체적으로, Twelve Labs의 Search API를 활용하면 방대한 비디오 라이브러리 내에서 원하는 특정 순간을 순식간에 찾아낼 수 있으며, Classify API는 비디오를 사전 정의한 카테고리로 매끄럽게 분류하고, Generate API는 입력된 비디오를 바탕으로 자연스러운 텍스트 설명을 생성해 냅니다. 이에 더해 새롭게 공개된 Embed API와 자연어 대화형 비디오 에이전트인 Jockey는 M&E 분야의 사용자 경험과 운영 효율성을 완전히 새로운 차원으로 끌어 올리고 있습니다.

이번 해커톤의 공동 주최사인 FBRC.ai는 엔터테인먼트 산업에 특화된 AI 기반 솔루션을 전문적으로 빌딩하는 벤처 스튜디오입니다. AI LA 커뮤니티에서 출발한 FBRC.ai는 뛰어난 AI 기술 혁신이 미디어 및 엔터테인먼트 레이블과 실무 현장에 안정적으로 안착할 수 있도록 교량 역할을 맡고 있습니다. 초기 단계의 AI 스타트업이 겪는 제품 개발, 영업, 비즈니스 스케일업 과정의 난제들을 해결할 수 있도록 리소스를 아끼지 않고 지원하는 동시에, AI 빌더와 크리에이터들이 어우러지는 강력한 커뮤니티 생태계를 육성합니다. FBRC.ai는 무엇보다 윤리적이고 책임감 있는 AI 기술 개발을 지향하며, 스토리텔러와 창작자들이 멀티모달 AI를 도구 삼아 보다 감각적이고 몰입감 넘치는 인터랙티브 콘텐츠를 세상에 내놓을 수 있도록 돕습니다.

M&E 분야에서의 Twelve Labs 활용 사례

자산 관리 (Asset Management): 방대한 영상 아카이브를 텍스트 검색만으로 탐색 가능하게 만들어, 자산 활용의 패러다임을 바꿉니다. 이전에는 제대로 쓰이지 못하고 묻혀 있던 미디어 라이브러리 내 비디오를 자동으로 찾아내어 분류하고 빠르게 검색 패스가 가능해지므로, 미디어 기업은 자산을 효율적으로 유지 관리하는 동시에 새로운 수익화 경로를 개척할 수 있습니다.

후반 작업 워크플로우 (Post-Production Workflows): 미디어 제작 현장에서의 편집 공정을 훨씬 효율적으로 개선합니다. 세계 최고 수준의 비디오 이해 파운데이션 모델을 기반으로, 전체 촬영본 중 딱 맞는 컷을 단번에 식별해 냅니다. 수동 검색과 데이터 정리 작업 시간을 획기적으로 덜어내므로, 편집자들은 모니터링 노가다 대신 온전히 독창적이고 예술적인 시퀀스를 매만지는 창작 영역에 리소스를 조준할 수 있습니다. 영화, 드라마, 혹은 독립 디지털 채널까지 두루 적용되어 전체 작업 속도를 극적으로 단축합니다.

사용자 경험 극대화 (User Engagement): 유저의 리텐션을 유지하고 커뮤니티 파이를 확장해야 하는 미디어 플랫폼에게 높은 수준의 인게이지먼트 확보는 필수적입니다. Twelve Labs의 비디오 임베딩 모델이 생성하는 풍부한 멀티모달 임베딩 데이터를 사용하면 차원이 다른 시맨틱 검색과 개인화 추천이 완성됩니다. 유저의 탐색 여정에 딱 맞춰 제시되는 비디오 콘텐츠는 서비스 체류 시간을 자연스럽게 늘려줍니다.

맥락 맥칭 광고 (Contextual Advertising): 비디오 콘텐츠 내부의 흐름을 심층 이해하여, 흐름을 끊지 않으면서도 시각적 주목도가 가장 최적화되는 광고 스팟을 정확하게 식별합니다. 타깃 오디언스에게 이질감 없는 맥락 광고를 전달함으로써 광고 효율(ROI)은 크게 올라가고, 미디어 플랫폼은 정교한 타겟팅 설정을 통해 광고 수익을 극대화할 수 있습니다.

‍

해커톤 챌린지 상세 및 부문

이번 해커톤은 아래의 흥미진진한 4가지 과제로 채워집니다:

1. Johnny Harris 협업 비디오 에디팅 챌린지: 저널리스트 해리스(Johnny Harris)의 스위스 지하 벙커 미공개 영상 리소스와 대본을 직접 분석하여 대본 요건에 맞춰 적합한 비디오 클립 검색과 몽타주 시퀀스 조립 단계를 자동화하는 AI 기반 편집 도구를 빌딩합니다. 작업 효율을 혁신적으로 끌어올리는 차세대 워크플로우를 제시하는 것을 목표로 합니다.

2. Drew Binsky 하이라이트 자동 생성 솔루션: 세계를 여행하는 크리에이터 드루 빈스키(Drew Binsky)의 미가공 다큐멘터리 클립들을 분석해, 가장 흥미진진한 하이라이트 릴을 스스로 자동 생성하는 AI 도구를 구축합니다. 수십 시간에 달하는 비디오 소스에서 하이라이트 지점을 완벽하게 추출하여 신속하게 매력적인 편집본을 만들 수 있게 돕는 시스템을 구현하는 것이 핵심 과제입니다.

3. 스포츠 프레스 컨퍼런스 자동 요약 & 하이라이트 솔루션: 다양한 스포츠 경기가 끝난 후 진행되는 실제 기자회견 영상을 자연어로 압축 요약하고 하이라이트를 추출하는 AI 툴을 빌딩합니다. 사용자들이 긴 호흡의 전체 영상을 다 돌려보지 않고도 인터뷰의 핵심 뼈대와 위트 있는 순간들을 쉽고 직관적으로 파악할 수 있도록 힘을 보탭니다.

4. AWS 기반 비디오 Q&A Chatbot (With RAG): 검색 증강 생성(RAG) 파이프라인 아키텍처를 도입하여, 영화 및 드라마 공식 트레일러 데이터베이스를 빠삭하게 이해하고 있는 대화형 모바일 AI 챗봇을 설계합니다. 사용자가 관심 있어 하는 최신 개봉 예정작 정보에 대해 위트 있고 깊이 있는 맥락으로 대답하는 우수한 Q&A 사용자 모듈 개발을 검증합니다.

‍

해커톤 참가자를 위한 강력한 개발 지원군

이번 M&E 멀티모달 AI 해커톤 참가자 분들이 아이디어를 거침없이 구현하고 최고의 시제품을 만드실 수 있도록 Twelve Labs의 든든한 기술 자산을 전격 공유합니다. 이를 위해 종합 상세 API 기술 문서, 친절한 가이드 튜토리얼, 그리고 간편하게 개발을 돕는 언어별 SDK가 고루 아웃풋 빌딩을 지원합니다.

• 해당 테크 가이드에는 Twelve Labs 기술의 핵심인 Search API, Classify API, Generate API 활용법과 더불어, 현재 일부 제한된 빌더 파트너에게만 프라이빗 베타로 제공 중인 새로운 Embed API 접근 권한을 포함하고 있습니다.

• 또한 참가자 한정으로 Twelve Labs의 고유 API 제품군과 LangGraph 구조로 빌딩된 맞춤 대화형 라이브 비디오 에이전트 소프트웨어인 Jockey를 사전에 활용해 보실 수 있는 놀라운 경험이 주어집니다. 외부 대형 언어 모델(LLM)과 영리하게 상호작용하여 진보한 비디오 처리가 가능한 툴을 가장 먼저 만져보세요.

이번 행사는 Twelve Labs 외에도 클라우드 파트너 생태계를 지원하는 AWS는 물론 고성능 AI 추론 엔진 플랫폼 Fireworks가 스폰서로 참여합니다. 자세한 기업 정보 및 현업 리더로 구성된 심사위원 목록은 상시 업데이트되는 해커톤 메인 공식 랜딩 페이지에서 확인하세요.

‍

참가 신청 안내

지금 바로 공식 등록 링크인 https://lu.ma/12labshack 에 접속해 여러분의 도전을 등록하고 엔터테인먼트의 내일을 장식해 보세요! 참가 선착순 등록 제한이 존재하므로 빠른 신청을 권장합니다. 오는 2024년 6월 8일~9일 양일간 캘리포니아주 로스앤젤레스 벌어지는 현장에서 기다리겠습니다.