내가 투웰브랩스(TwelveLabs)에 합류한 이유

AI의 다음 개척지는 기계가 우리처럼 세상을 이해하도록 돕는 것입니다. 바로 이것이 제가 엔지니어링 부사장(VP of Engineering)으로 TwelveLabs에 합류한 이유입니다.

세상의 숨겨진 데이터셋

비디오는 전 세계 디지털 데이터의 90%를 차지하지만, 대부분은 스토리지에 그대로 방치되어 사실상 보이지 않는 상태로 남아 있습니다. 미디어 아카이브부터 자율주행, 기업의 지식 자산에 이르기까지 수많은 조직이 끝없는 영상을 수집하고 있지만, 이 데이터셋을 구조화된 정보나 지식으로 변환할 수 있는 도구가 부족한 실정입니다.

우리는 대규모 텍스트를 처리하는 법은 익혔지만, 비디오는 다차원적인 특성과 낮은 정보 밀도 때문에 대규모 처리가 몇 단계 더 복잡합니다. 비디오는 시간에 걸쳐 공간, 오디오, 그리고 시각적 맥락을 결합합니다. 인류의 지능은 이를 자연스럽게 처리하도록 진화했지만(우리 기억의 가장 초기 형태는 단어가 아니라 움직이는 그림입니다), AI 모델에게 이 도약은 훨씬 더 복잡한 과제입니다.

이것이 저를 TwelveLabs로 이끈 원동력입니다.

저는 하루에 수십억 건의 요청을 처리하는 대규모 분산 시스템을 구축할 기회가 있었습니다. 밀리초 단위가 중요한 인프라, 예측 불가능한 워크로드 속에서 탄력성과 핵심 업무 효율성을 요구하는 플랫폼들을 다루어 왔습니다. 대규모 머신러닝이 어떻게 산업을 혁신할 수 있는지 직접 목격하기도 했지만, 동시에 인프라가 규모에 맞게 설계되지 않았을 때 복잡성이 얼마나 빠르게 걸림돌이 되는지 역시 경험했습니다.

이러한 경험을 통해 저는 AI의 획기적인 발전에는 더 나은 모델 이상의 것이 필요하다는 확신을 얻었습니다. 탁월한 엔지니어링 성능, 시스템 수준의 사고, 그리고 사용성에 대한 집요한 집중이 요구됩니다. 이것이 바로 제가 TwelveLabs에 열광하는 이유입니다. 최첨단 멀티모달 및 추론 AI 연구를 프로덕션급 엔지니어링과 결합하여, 비디오 이해가 단순한 데모에 그치지 않고 기업, 정부, 개발자, 창작자 모두가 매일 사용하는 도구가 되도록 만드는 기회이기 때문입니다.

미래를 위한 연구 프레임워크

TwelveLabs에서 우리는 멀티모달 정보의 근간을 재정의하고 있습니다.

• Marengo(마렝고)는 당사의 멀티모달 비디오 인코더로, 시각적 디테일, 움직임, 음성, 화면 속 텍스트 등 비디오의 다양한 측면을 포착하는 멀티 벡터 임베딩 아키텍처를 개척하여 검색 및 리트리벌 정확도에서 혁신적인 성과를 거두었습니다.

• Pegasus(페가수스)는 당사의 산업용 비디오 언어 모델로, 긴 비디오에 대한 최첨단 시계열 추론을 제공하며 낮은 지연 시간과 높은 정확도로 몇 시간 분량의 영상까지 확장 가능합니다. 현실 세계의 비디오를 이해하려면 시간에 따른 원인과 결과를 연결하는 능력이 필수적이기 때문에 이는 매우 중요합니다.

• 그리고 이제 에이전틱 비디오 인텔리전스 프레임워크인 Jockey(조키)를 통해, 우리는 인지와 추론을 연결하여 AI 시스템이 분석을 넘어 인간과 협업하고 인사이트와 창의적인 결과물을 도출할 수 있도록 지원하고 있습니다.

이러한 시스템이 결합되어 비디오를 검색 가능하고, 탐색 가능하며, 실행 가능한 상태로 만듭니다. 이는 콘텐츠 발견과 미디어 워크플로에서부터 안전, 보안, 그리고 과학적 연구에 이르기까지 모든 분야의 기반이 됩니다.

대규모 엔지니어링

이제 우리의 과제는 이 지능을 글로벌 규모로 확장할 수 있는 AI 및 분산 시스템 인프라를 구축하는 것입니다. 지연 시간, 비용, 내결함성의 균형을 맞추는 지능형 시스템 설계 경험을 바탕으로, 저는 TwelveLabs의 다음 단계를 구상하고 있습니다. 개발자 친화적이고 기업에서 바로 사용할 수 있는 환경을 유지하면서, 페타바이트급 비디오를 실시간으로 수집, 이해, 추론할 수 있는 시스템 아키텍처를 설계하는 것입니다.

이는 프론티어 AI의 과학과 시스템 모두를 함께 형성할 수 있는 흔치 않은 기회입니다.

제가 세대를 선도하는 기업으로 성장할 것이라 확신하는 TwelveLabs에 합류하여 이재윤 대표, 이재성 공동창업자, 이소영 피플 리더, 김윤 AI 연구 팀장을 비롯한 인재들과 함께하게 되어 큰 영광입니다. 우리는 AI가 단순히 읽는 것을 넘어, 마침내 우리 주변의 시각적 세상을 진정으로 보고 이해하는 새로운 시대의 기로에 서 있습니다.

채용 중입니다!

TwelveLabs는 변곡점에 서 있습니다. 

파운데이션 모델 연구 및 엔지니어링, 대규모 비전 문제 해결, 혹은 분산 시스템 엔지니어링에 가슴이 뛰신다면 언제든 연락을 기다리겠습니다. twelvelabs.io/careers에서 열려 있는 포지션을 확인해 보세요. 열려 있는 역할 중 딱 맞는 자리가 없더라도 Twelve Labs가 여러분이 찾던 곳이라는 생각이 드신다면, LinkedIn을 통해 편하게 메시지를 보내주시기 바랍니다.