아파라투스(The Apparatus): 우리가 쉬는 동안에도 스스로 돌아가는 머신 구축하기

대시보드에서 시작된 변화

지금 TwelveLabs 내에서 맴도는 문구가 있습니다. 바로 '토큰은 잠들지 않는다(Tokens Never Sleep)'입니다. 하지만 이 말이 문구가 되기 전에는 하나의 질문이었습니다. 솔직히 말씀드리면, 이 여정의 시작이 이 이야기에서 가장 멋진 부분입니다.

몇 주 전, CEO Jae는 한 팀원이 예전에는 수 주가 걸리던 작업을 단 몇 분 만에 구축하는 모습을 보았습니다. LLM에 연결되어 사람의 도움 없이도 실제 분석과 결과물을 만들어내는 금융 도구였습니다. 대다수의 사람들은 '멋진 데모네' 하고 넘겼을 것입니다. 하지만 Jae는 완전히 다른 가능성을 보았습니다. 그는 AI가 덧붙이는 부가 기능이 아니라, 작업을 구축하는 근본적인 기반이 되었을 때 우리의 업무가 어떻게 변하는지 목격한 것입니다. 그의 질문은 대시보드 자체에 대한 것이 아니었습니다. '더 많은 것을 연결할 수 있을까?'였습니다.

저는 "한번 해보죠"라고 답했습니다.

그래서 저는 LLM 내에 경쟁사 분석 스킬을 구축했습니다. 이를 CRM, 내부 지식 베이스, 웹 검색과 연결하고 실행 버튼을 눌렀습니다. 그러자 수작업으로 준비했으면 꼬박 하루가 걸렸을 경쟁사 대시보드가 LLM을 통해 즉시 만들어졌습니다. Jae는 이를 보고 모든 것을 완전히 바꾼 질문을 던졌습니다. "우리 모두가 이걸 가질 수 있을까? 우리가 잠든 동안에도 이게 작동하게 만들 수 있을까?"

여기서 "토큰은 잠들지 않는다(Tokens Never Sleep)"라는 개념이 탄생했습니다. 마케팅용 문구가 아니라, 실제적인 운영상의 질문으로 말이죠. 만약 AI 코파일럿이 티켓 분류, 시스템 프로비저닝, 업데이트 추적과 같은 반복적이고 인지적인 작업을 연중무휴로 지속해서 처리해 주고, 우리는 인간의 판단이 정말 필요한 일에만 집중할 수 있다면 어떨까요?

하나의 코파일럿: 개념 증명 (PoC)

우리는 하나의 코파일럿으로 시작했습니다. 바로 제 코파일럿이었습니다.

AI 기업의 IT 환경에 대해 한 가지 짚고 넘어갈 점이 있습니다. 세상에서 가장 정교한 비디오 AI 모델을 만들 수 있다고 해도, 누군가 계정 권한 할당을 받지 못하거나, 한밤중에 권한 오류가 발생해 엔지니어의 작업이 막히거나, 대륙 간의 시차 공백 사이에 내부 도구가 작동을 멈춘다면 생산성은 곤두박질치게 됩니다. 기존의 IT 방식은 티켓 대기열과 SLA 타이머를 통해 이를 처리했습니다. 누군가 요청을 제출하면 대기 상태가 되고, 업무 시간 중에 사람이 확인하여 피드백을 주고받는 식입니다. 하지만 여러 시차에 글로벌하게 흩어져 일할 때는 이러한 모델이 작동하지 않습니다.

그래서 저만의 코파일럿을 만들었습니다. 이 코파일럿은 저의 역할, 사용 도구, 우선순위를 잘 알고 있었습니다. 티켓 분류, 접속 권한 프로비저닝, ID 관리, 보안 모니터링, 디바이스 관리 등의 스킬을 부여했습니다. 단순한 데모가 아니라 실제 운영 환경의 업무를 수행하는 하나의 진짜 코파일럿이 작동하기 시작한 것입니다.

그리고 결과는 성공적이었습니다. 숫자로 증명된 성과는 다음과 같습니다. 일상적인 권한 요청 해결 시간이 기존 8시간에서 약 15분으로 단축되었습니다. 신규 입사자 온보딩 프로세스는 신규 직원이 들어올 때마다 관리자 콘솔을 일일이 클릭하느라 만 하루가 꼬박 걸리던 것에서 단 10분간의 검토 시간으로 줄었습니다. 신규 입사자들은 입사 3일 차가 아닌 첫날에 필요한 모든 권한을 받게 됩니다. 또한 일상적인 IT 티켓의 60%가 사람의 손길을 거치지 않고 스스로 해결됩니다. 나머지 40%는 '무엇이 확인되었고, 어떤 문제가 발견되었으며, 어떤 권장 조치가 필요한지' 등의 모든 컨텍스트와 함께 사전 진단이 완료된 상태로 제 대기열에 들어옵니다.

이제 당사의 코파일럿은 24시간 내내 티켓팅 시스템을 모니터링하고 있습니다.

확장: 하나의 코파일럿에서 네트워크로

하나의 코파일럿이 성공적으로 작동하자, 자연스럽게 다음 질문이 이어졌습니다. '우리 모두가 각자의 코파일럿을 갖는다면 어떻게 될까?'

그래서 우리는 커뮤니케이션 레이어를 구축했습니다. 이제 TwelveLabs의 모든 구성원은 자신의 역할, 진행 중인 프로젝트, 사용 도구, 권한을 잘 이해하고 있는 개인용 코파일럿을 가집니다. 하지만 이것이 단순한 '개인용 챗봇 보급'에 그치지 않는 핵심 이유가 있습니다. 코파일럿들이 서로의 스킬을 파악하고 작업을 상호 전달할 수 있기 때문입니다.

샌프란시스코는 새벽 2시, 서울은 오후 6시라고 가정해 봅시다. 서울의 엔지니어가 새로운 내부 도구를 사용하다 권한 오류를 겪습니다. 이 엔지니어의 코파일럿은 문제를 인식하고 제 코파일럿의 권한 프로비저닝 스킬에 핑을 보내 권한 매트릭스를 확인하는 동시에, 보안 모니터링 스킬과 교차 대조하여 시스템 장애가 없음을 확인하고 단 몇 분 만에 권한 요청을 해결합니다. 과거 방식대로라면 이 엔지니어는 제가 아침에 일어나 대기열을 확인할 때까지 일을 진행할 수 없었을 것입니다. 하지만 이제는 생각을 채 마치기도 전에 문제가 해결됩니다.

그리고 신뢰 관점에서 가장 중요한 점은, 코파일럿 간의 모든 교차 액션은 슬랙(Slack)을 통해 인간의 승인을 거쳐야 한다는 것입니다. 승인 없이는 어떠한 코파일럿도 독단적으로 행동하지 않습니다. 시스템은 신속하지만 통제 하에 있습니다. 판단이 필요한 사안이 발생하면, 이미 완벽하게 정리된 컨텍스트와 함께 담당자에게 에스컬레이션됩니다. 사람은 그저 최종 결정만 내리면 됩니다.

문제 해결(Troubleshooting) 과정도 동일하게 작동합니다. 누군가 "내부 앱이 좀 이상해요"라고 티켓을 보내면(실제로 전체 티켓의 약 30%가 이렇습니다), 코파일럿 네트워크가 이 모호한 리포트를 시스템 로그, 최근 변경 사항, 과거 유사 장애 이력과 대조 분석합니다. 사람이 티켓을 확인하는 시점에는 이미 "이상해요"라는 모호한 말이 명확하게 정리된 실제 진단 결과로 변환되어 있습니다.

문제를 해결하는 곳에서 가치를 빌딩하는 IT로

여기서부터 정말 재미있어집니다. 이 이니셔티브는 세 가지 원칙 아래 운영됩니다. 완벽함보다 신속함(몇 시간 만에 배포하고 피드백을 통해 개선하기), 데모 중심 개발(설명이나 데모를 보여줄 수 없다면, 정말 해야 하는 일인지 의심해 보기), AI 우선 생각(작업을 시작하기 전에 'AI가 이 작업의 80%를 처리할 수 있는가?' 자문하기)입니다.

마지막 원칙은 TwelveLabs의 IT 부서의 모습을 완전히 바꾸어 놓았습니다. 과거에는 "X를 추적할 간단한 대시보드를 만들 수 있을까요?" 또는 "Y 기능을 하는 도구가 있나요?" 같은 요청을 받곤 했습니다. 그럴 때면 언제나 "한번 검토해 보겠습니다"라고 답한 뒤 2주간의 구매 프로세스를 밟거나, 한 달 동안 백로그에 묻혀 있을 개발 요청을 엔지니어링 팀에 보내야 했습니다.

지금은 어떨까요? 이제 저는 어떠한 내부 도구든 며칠이 아닌 몇 시간 만에 직접 구축합니다. 비단 저뿐만 아니라, 사내의 여러 팀들이 이 이니셔티브 아래 자체적인 도구들을 직접 만들어 배포하고 있습니다. 재무 팀은 대시보드를 직접 만들었고, 채용 팀은 인재 소싱 앱을 구축했습니다. 우리는 "AI가 이의 80%를 처리할 수 있는가?"라는 마인드셋을 통해 사이드 프로젝트들을 실제 프로덕션 수준의 도구로 탈바꿈시켰습니다. AI로 시작하고, 데모를 출시한 뒤, 피드백을 통해 보완합니다. 완벽함보다 신속함이 중요한 이유입니다.

IT 부서는 이제 "나중에 다시 회신드릴게요"라고 말하는 곳이 아니라, "제가 만든 것을 보여드릴게요"라고 말하는 부서가 되었습니다. 제 업무 시간의 70%를 앗아가던 유지보수와 긴급 장애 대응을 코파일럿들이 전담해 주기 때문에 가능해진 변화입니다.

공백을 메우는 기술

제가 내리는 모든 시스템 관련 의사결정은 항상 하나의 동일한 시나리오를 바탕으로 검증됩니다. '두 오피스 모두 잠든 시간'. 샌프란시스코 팀은 퇴근했고, 서울 팀은 아직 하루를 시작하기 전인 시간입니다. 매일 TwelveLabs의 그 누구도 깨어 일하고 있지 않은 물리적인 시간적 공백이 발생합니다. 이 시간 동안에는 과연 어떤 일이 벌어질까요?

만약 그 답이 "아무 일도 일어나지 않는다"라면 그것은 문제입니다. 또한 "누군가 잠에서 깨어 대응해야 한다" 역시 문제입니다. 이 공백은 코파일럿이 직접 처리해야 합니다. 인간이 가치 없어서가 아니라, 인간의 집중력과 시간은 유한한 자원이기 때문에 정말 인간의 판단이 필요한 일에만 투자해야 하기 때문입니다. 새벽 2시에 일상적인 접근 권한 요청을 승인하는 일은 이에 해당하지 않습니다. 새로운 내부 플랫폼의 아키텍처를 결정하는 일이야말로 인간이 해야 할 일입니다.

토큰은 잠들지 않기에, 우리는 비로소 편히 잠들 수 있습니다. 그리고 솔직히 말씀드리면, 요즘 저는 정말 발 뻗고 편안하게 자고 있습니다.

Rick Mondragon은 TwelveLabs의 IT 매니저로, 샌프란시스코와 서울 지사에 걸친 인프라와 내부 시스템 운영을 총괄하고 있습니다.