Twelve Labs와 함께하는 더 빠른 영화 제작

빠르게 돌아가는 영화 제작 현장에서 시간은 곧 생명입니다. 가장 많은 노동력이 소모되는 작업 중 하나는 매일 촬영된 가공되지 않은 미편집본인 '데일리(dailies, 일일 촬영분)'를 관리하는 일입니다. 이러한 데일리를 정리하는 작업은 시간도 오래 걸리고 꽤나 지루합니다. 기존의 제작 팀은 수 시간 분량의 영상을 일일이 수작업으로 검토하며 로케이션, 인물, 액션 등의 기준에 따라 씬을 분류하고 빈(bin)에 정리하곤 했습니다. 이러한 수동 방식은 전체 제작 파이프라인을 지연시키고, 최종 편집본에 넣을 최상의 테이크를 선택하는 등의 중요한 의사결정을 늦추게 만듭니다.

Twelve Labs는 비디오 콘텐츠를 깊고 맥락 있는 수준에서 이해하는 고성능 AI 모델을 개발하고 있습니다. 이 모델들을 기존 워크플로우에 통합하면 원본 영상의 분류와 1차 편집 과정을 자동화하여, 가공되지 않은 데일리에서 편집 가능한 타임라인 단계까지 훨씬 더 빠르게 도달할 수 있습니다.

Marengo

저희의 멀티모달 비디오 이해 모델인 Marengo는 새로 수집되는 데일리를 자동으로 인덱싱하고 분석하는 강력한 도구로 활용됩니다. Marengo는 시각, 청각 및 맥락적 요소를 종합적으로 분석하여, 개발자가 놀라운 정확도로 영상을 분류할 수 있는 솔루션을 구축할 수 있도록 지원합니다.

Marengo를 활용하면 로케이션, 등장인물, 액션 같은 기준에 따라 씬을 미리 정의된 빈으로 자동 분류하는 애플리케이션을 빌드할 수 있습니다. 예를 들어 가상의 중세 서사극인 왕좌의 게임(Game of Thrones)의 경우, 영상들이 '전투 시퀀스', '왕좌의 방 대화', '야외 씬' 같은 빈으로 자동 분류될 수 있습니다.

이러한 자동화 덕분에 편집자와 감독은 필요한 영상에 신속하게 접근할 수 있어, 직접 영상을 수동으로 정리하고 특정 테이크를 찾아 헤매는 시간을 줄일 수 있습니다.

Pegasus

저희의 생성형 모델인 Pegasus는 분류된 빈에 있는 각 동영상에 대한 요약, 챕터 구성, 주요 하이라이트를 생성하여 검토 프로세스를 한 단계 더 업그레이드합니다. 예를 들어, Pegasus는 '전투 시퀀스' 빈 내의 모든 테이크에 대한 간략한 개요를 생성하여 특정 검투 씬이나 감정이 고조되는 클로즈업 같은 핵심 순간들을 짚어낼 수 있습니다.

이를 통해 감독은 수 시간 분량의 영상을 처음부터 끝까지 볼 필요 없이 데일리를 빠르게 검토하고, 중요한 장면에 집중하며, 즉각 피드백을 전달할 수 있습니다. 또한 AI가 이미 영상을 정리하고 우선순위를 정해 두었기 때문에 편집자도 러프 컷(rough cut) 작업을 훨씬 일찍 시작할 수 있습니다.

Jockey

Jockey 단계에 들어서면 작업이 정말 흥미진진해집니다. Jockey는 Twelve Labs의 강력한 비디오 이해 API와 LangGraph의 유연한 프레임워크를 바탕으로 구축된 오픈소스 대화형 비디오 에이전트로, 우리의 모델들이 어떻게 혁신적인 솔루션으로 거듭날 수 있는지 직접 보여줍니다.

Jockey를 사용하면 자연어 프롬프트를 통해 비디오 콘텐츠와 직접 상호작용할 수 있습니다. 원하는 씬이나 시퀀스를 설명하기만 하면 Jockey가 러프 컷을 구성해 주며, 이를 EDL 파일 형태로 타임라인에 직접 임포트할 수 있습니다. 

Jockey는 오픈소스 프로젝트이므로 각 제작 환경의 본질적인 요구사항에 맞게 커스텀하고 확장할 수 있어, Twelve Labs 모델 기반 솔루션이 가진 유연성을 극명하게 보여줍니다.

Twelve Labs는 창의성이 영화 제작의 핵심임을 잘 알고 있습니다. 저희의 AI 모델은 창작 과정을 대체하는 것이 아니라 돕기 위해 설계되었습니다. 데일리 관리라는 지루한 과정을 자동화함으로써, Twelve Labs는 감독, 편집자 및 기타 크리에이터들이 더 나은 이야기를 만드는 데 완전히 몰두할 수 있도록 시간을 벌어줍니다.

AI는 창의적인 결정을 내리지 않습니다. 대신 한층 체계적이고 효율적인 워크플로우를 제공함으로써 창작 프로세스를 보완하고 촉진할 뿐입니다. 결과적으로 제작 파이프라인은 빨라지고 효율성은 높아지며, 창작자의 비전과 예술성은 고스란히 온전히 지켜집니다.

반지의 제왕(Lord of the Rings)과 같은 대규모 판타지 영화를 작업하고 있다고 가정해 보겠습니다. 매일 제작 팀은 광활한 전쟁터부터 내밀한 대화 씬까지 다양한 로케이션에서 촬영된 수 시간 분량의 데일리를 쏟아냅니다.

• 씬 분류: Marengo가 이러한 씬들을 ‘오크 전투’, ‘숲속 매복’, ‘회의’ 등의 빈으로 자동 분류합니다.

• 폴더 정리: ‘오크 전투’ 빈 내부에서 영상은 ‘검술 액션’이나 ‘궁수 샷’과 같은 구체적인 액션 시퀀스에 맞춰 한 번 더 세분화되어 정리됩니다.

• 검토 프로세스: Pegasus가 각 비디오의 핵심 순간을 요약한 하이라이트 릴을 생성하여, 감독이 다음 편집 단계를 진행하기에 가장 좋은 테이크를 신속하게 검토하고 승인할 수 있도록 돕습니다.

Twelve Labs를 도입함으로써 제작 팀은 수 시간의 수작업을 줄이고, 내러티브를 정교화하며 시각적 스토리텔링을 한 단계 끌어올리는 데 집중할 수 있습니다. 최종 결과물은 창작의 퀄리티를 타협하지 않으면서도 제작 기간을 획기적으로 단축합니다.

Twelve Labs는 단순한 AI 모델링 기업을 넘어, 여러분의 창작 여정을 함께하는 파트너입니다. 반복적이고 단순한 작업을 자동화하고 가장 핵심적인 부분을 강화함으로써, 저희 AI 기술은 창작자들이 편집실에 더 빨리 도달하고, 예술적 비전을 보호하며, 우수한 품질의 콘텐츠를 더 빠르게 생산할 수 있도록 돕습니다. 대형 판타지 대서사시부터 독립 단편 드라마까지, Twelve Labs는 프로덕션의 마법이 효율적으로 발현할 수 있도록 만듭니다.

AI가 예술성에 날개를 달아주는 곳, Twelve Labs와 함께 영화 제작의 미래를 직접 경험해 보세요.