XGEN-JING은 왜 ‘1인칭 인터랙티브 경험 모델’이라고 부를까?

요약 보기

XGEN 팀이 소개하는 XGEN-JING의 핵심은, 사람이 장면 바깥에서 영상을 구경하는 게 아니라 장면 안에 들어가 있는 것처럼 경험을 만든다는 데 있어요. 이 저장소 설명에 따르면, 모델은 사용자가 준 행동, 참고 이미지, 그리고 지금까지의 관찰 기록을 바탕으로 1인칭 시점의 비디오와 오디오를 생성해요. 그래서 목표가 단순한 영상 합성이 아니라, 걸어가고, 물건과 상호작용하고, 대화까지 이어지는 ‘경험’을 만드는 쪽에 놓여 있다고 이해하면 됩니다. 여기서 ‘egocentric’라는 말도 어려워 보이지만, 맥락상 카메라가 바깥 관찰자가 아니라 사용자 자신의 눈처럼 움직이는 시점을 뜻한다고 받아들이면 돼요.

이 모델이 하려는 일을 감으로 잡으려면, 1인칭 탐험 게임에서 키보드로 몸을 움직이고 시선을 돌리는 장면을 떠올리면 쉬워요. 다만 여기서는 미리 만들어진 맵을 재생하는 게 아니라, 텍스트 지시와 참고 이미지, 이전 장면 기록을 바탕으로 비디오와 오디오를 함께 만들어 낸다는 점이 달라요. 저장소 설명은 세 가지를 앞에 세워요. 첫째, 카메라를 조작하며 일상 공간이나 상상 속 세계를 둘러볼 수 있다는 점. 둘째, 텍스트로 사물 상호작용과 캐릭터 대화를 유도할 수 있다는 점. 셋째, 인물·사물·장면 이미지를 조합해 같은 출발점에서 다른 행동을 시험해 볼 수 있다는 점이에요. 즉, ‘무엇을 볼지’만이 아니라 ‘어떻게 행동할지’까지 입력으로 넣는 구조라고 볼 수 있어요.

다만 지금 공개된 범위를 넓게 상상하면 안 돼요. 이 릴리스에서 실제로 제공된다고 밝힌 것은 네 단계 양방향 추론, 예제 케이스, 그리고 프롬프트 스킬이에요. 반면 인과 모델과 기술 보고서는 아직 곧 공개 예정이라고만 되어 있어요. 그래서 ‘왜 네 단계인지’, ‘양방향이 내부적으로 어떻게 작동하는지’, ‘인과 모델이 무엇을 추가하는지’ 같은 기술적 메커니즘은 이 문서만으로는 확인할 수 없어요. 저장소 설명은 가능 범위를 보여 주지만, 이론적 설명까지 끝난 상태는 아니라는 뜻입니다.

실제로 써 보려면 준비 조건이 꽤 무거운 편이에요. 문서는 Python 3.12와 호환되는 CUDA 환경을 요구하고, 데모는 H100 GPU 여섯 장에서 검증됐다고 밝혀요. 역할도 나뉘어 있어서 텍스트 인코더용 하나, 비디오·오디오 VAE용 하나, 그리고 시퀀스 병렬화를 쓰는 DiT용 네 장으로 설명돼 있어요. 쉽게 말하면, 그냥 아무 환경에서 가볍게 실행되는 예제라기보다 특정 하드웨어와 버전 조합에 맞춰 검증된 데모에 가깝습니다. 게다가 SGLang은 별도 설치가 필요하고, Diffusers 버전 고정도 유지하라고 적혀 있어요. 이런 안내는 ‘설치만 하면 어디서나 된다’가 아니라, 맞는 부품을 정확히 끼워야 돌아가는 조립식 시스템에 가깝다는 신호예요.

모델 구성도 한 덩어리라기보다 여러 요소를 조합하는 방식으로 보입니다. 설명에 따르면 JING Flash는 MiniMax-H3 Ref2VA와 FlashGen 위에 구축됐고, 데모는 Hugging Face에서 JING-Flash-v1 변환기 가중치를 불러와요. 반면 텍스트 인코더, 토크나이저, 프로세서, 비디오·오디오 VAE, 스케줄러는 Diffusers 형식의 MiniMax-H3에서 가져온다고 되어 있어요. 즉, XGEN-JING이 모든 부품을 처음부터 단독으로 제공한다기보다, 기존 공개 모델과 인프라 위에 자기 추론 구성과 데모 흐름을 얹는 구조로 읽는 편이 정확해요. 필요한 파일은 첫 실행 때 자동으로 내려받고 캐시에 재사용하므로, 수동으로 가중치 폴더를 맞춰 넣는 과정은 필수는 아니라고 안내합니다.

입력 형식은 의외로 꽤 구체적이에요. 문서는 예제 JSON에서 각 케이스가 참고 이미지와 프롬프트·컨트롤의 순서를 함께 가진다고 설명해요. 예를 들어 어떤 프롬프트를 여러 번 반복할 때, 그 반복 횟수만큼 컨트롤 항목도 하나씩 맞춰 넣어야 해요. 이동은 w, s, a, d로 앞뒤좌우를, i와 k는 위아래 시선, j와 l은 좌우 회전을 담당해요. 한 칸에서 여러 키를 합칠 수도 있고, 서로 반대되는 키는 상쇄되며, 빈 문자열이면 아무 키도 누르지 않은 상태가 돼요. 이런 설명을 보면 이 시스템은 ‘긴 글 한 번 넣고 끝’이 아니라, 짧은 시간 조각마다 움직임을 세세하게 지정하는 방식에 가깝습니다. 문서에는 기본 레이아웃에서 총 프레임 수가 반복 합계에 따라 계산된다는 공식까지 적혀 있어서, 출력 길이도 사용자가 어느 정도 예측할 수 있게 해 둔 셈이에요.

참고 이미지를 쓰는 방식도 중요해요. 문서는 인물, 사물, 장면 이미지를 조합해 하나의 경험을 구성할 수 있다고 말하고, 참고 이미지는 순서가 있으며 최대 다섯 장까지 다룬다고 안내해요. 다만 각 이미지를 프롬프트 안에서 정확히 어떤 표기로 가리키는지는 이 발췌문에서 또렷하게 보이지 않아요. 그래서 우리가 분명히 말할 수 있는 건 ‘순서 있는 참고 이미지 집합을 조건으로 사용한다’는 점까지예요. 세부 표기 규칙은 원문 저장소의 예제 파일을 직접 봐야 확실해집니다.

프롬프트 스킬은 이 저장소가 단순히 모델만 던져 놓은 게 아니라, 입력 케이스를 만드는 절차까지 보조하려 한다는 점을 보여 줘요. 설명에 따르면 이야깃거리와 참고 이미지를 받아서, 데모에 바로 넘길 수 있는 검증된 JSON 케이스 파일로 바꿔 주는 도구예요. 별도 가이드가 있고, 설정 가능한 Chat Completions API를 지원한다고 되어 있습니다. 다시 말해 사용자가 처음부터 반복 횟수와 키 입력 시퀀스를 손으로 짜기 어렵다면, 이야기 수준의 입력을 더 실행 가능한 케이스 형식으로 내려주는 보조층이 있는 셈이에요.

마지막으로 이 프로젝트의 위치를 보면, 독립 왕국처럼 서 있기보다 여러 공개 자산 위에 얹힌 조합형 프로젝트에 가깝습니다. 개발팀은 MiniMax-H3, FlashGen, Diffusers, SGLang, FlashAttention, 그리고 WBench에 감사를 표하고 있어요. 라이선스도 XGEN-JING 코드와 모델 가중치가 MiniMax H3 Community License Agreement 아래 배포되며, 서드파티 구성요소는 각자 원래 라이선스를 유지한다고 명시합니다. 즉, 사용자는 ‘이 저장소 하나만 보면 끝’이 아니라, 기반 모델과 인프라, 라이선스 경계를 함께 봐야 해요.