mallo

Jev-Omni는 어떤 일을 하도록 만든 모델이고, 어디까지 믿어야 할까요?

요약 듣기

0:006:20

말로 앱 받기 원문 보기huggingface.co
요약 보기

Jev-Omni를 한마디로 잡아보면, 글을 길게 생성하는 챗봇이라기보다 '선택지 중 무엇이 맞는지 확률로 채점하는 분류기'에 가까워요. 텍스트뿐 아니라 이미지, 오디오, 비디오까지 받고, 사용자가 질문과 선택지를 주면 각 선택지의 확률을 돌려준다고 소개돼 있어요. 여기서 중요한 점은, 왜 그렇게 판단했는지 설명문을 써 주는 모델이 아니라는 거예요. 그러니까 에세이를 쓰는 학생이 아니라, 답안지의 보기마다 가능성을 적어 주는 채점기처럼 쓰는 도구라고 이해하면 쉬워요. 또 원문은 이 모델이 예/아니오, 보기 선택, 점수형 질문처럼 '형식이 정해진 결정'에 맞춰 설계됐다고 덧붙여요.

이 배경을 알아두면 '왜 설명 대신 확률만 주지?'라는 점도 연결돼요. 원문에 따르면 Jev-Omni는 Gemma 4 12B IT를 바탕으로 만들었고, 3만 개 질문으로 파인튜닝했다고 해요. 즉, 아무 대화나 자유롭게 길게 이어 가는 성격보다, 이미 주어진 상태와 질문, 선택지를 보고 결정을 분류하는 쪽으로 추가 학습을 준 셈이에요. 그래서 사용 예시도 매우 단순해요. 상태 문장을 넣고, 질문을 넣고, 보기 리스트를 넣으면 결과를 받는 방식이죠. 멀티모달 입력도 같은 틀 안에 들어가서, 파일 경로와 모달리티를 지정하면 이미지·오디오·비디오를 같은 식의 '결정 문제'로 처리하게 되어 있어요.

성능 표는 이 모델이 어디에서 강점을 보인다고 작성자가 주장하는지 보여줘요. DecisionBench Medium과 JevBench에서는 정확도가 80%대 후반으로 제시되고, MMAU와 MVBench에서도 수치가 공개돼 있어요. 다만 이 숫자를 읽을 때는 벤치마크마다 성격이 다르고, 표에 정확도와 마이크로 정확도가 함께 있다는 점을 구분해서 봐야 해요. 원문은 특히 시나리오나 그룹을 같은 비중으로 평균낸 수치가 있다는 점도 밝혀요. 즉, '전체 문제를 한데 모아 세는 방식'과 '묶음마다 균등하게 보는 방식'이 섞여 있으니, 숫자 하나만 보고 모든 상황에서 같다고 받아들이면 곤란해요. 작성자가 말하려는 핵심은 절대적 우위 선언이라기보다, 자신들의 병합 모델이 여러 의사결정 벤치마크에서 이런 정도 성능을 냈다는 보고에 가깝습니다.

비교 표는 더 조심해서 읽어야 해요. Jev-Omni는 12B 파라미터로 텍스트·이미지·오디오·비디오를 모두 다룬다고 적혀 있고, 다른 오픈 가중치 모델들과 MMAU나 MVBench 점수가 나란히 놓여 있어요. 그런데 원문 스스로도, 비교 대상으로 적어 둔 점수들은 각 개발자가 공식 보고한 것이고 평가 프로토콜이 다를 수 있다고 못 박아요. 쉽게 말해, 같은 운동장을 완전히 똑같이 쓰고 달린 기록표라고 보장하지 않는다는 뜻이에요. 그래서 이 표는 '대략 이 정도 위치에 있다'는 참고선으로는 쓸 수 있지만, 엄밀한 일대일 승부표처럼 읽는 건 원문 취지와 맞지 않아요.

확률을 내놓는 분류기라면, 맞히는 비율만큼이나 '확률이 얼마나 믿을 만한가'도 중요해요. 원문은 보정 지표로 Medium ECE 0.0400을 제시하면서, 낮을수록 좋다고 설명해요. 이건 거칠게 말하면 '90%라고 했을 때 정말 그 정도로 자주 맞느냐'를 보는 성격의 수치라고 이해하면 돼요. 예를 들어 어떤 모델이 늘 자신만만하게 99%를 외치는데 실제로는 자주 틀린다면, 선택지 확률을 의사결정에 쓰기 어렵겠죠. 작성자는 Jev-Omni가 단순히 정답만 고르는 게 아니라, 확률 자체도 어느 정도 보정된 형태로 제공된다고 보여주려는 것으로 읽혀요.

실제로 써 보려면 조건이 꽤 분명해요. CUDA GPU가 필요하고, FP32 기준으로 가중치만 약 50GB를 쓴다고 적혀 있어요. 추론은 BF16 자동 캐스트를 사용한다고도 되어 있죠. 설치에는 별도 requirements가 필요하고, 오디오 입력에는 ffmpeg도 필요해요. 입력 제약도 있어요. 오디오는 30초로 제한되고, 비디오는 16프레임을 사용한다고 합니다. 속도 수치도 함께 제시되는데, 이는 H200에서 워밍된 상태의 중앙값이며 전처리와 네트워크 시간은 빠져 있어요. 그래서 표의 밀리초 숫자를 곧바로 '내 환경에서도 이만큼 걸린다'고 받아들이면 안 되고, 꽤 좋은 조건에서 잰 모델 자체 추론 시간으로 보는 편이 맞아요.

선택지 개수에도 사실상 권장 범위가 있어요. 원문은 최대 256개까지 받는 헤드를 갖고 있다고 하지만, 품질이 확인된 건 20개 이하라고만 말해요. 이 차이가 중요해요. '기술적으로 넣을 수 있다'와 '넣었을 때 성능이 검증됐다'는 다른 이야기거든요. 가령 객관식 5지선다나 예/아니오처럼 보기 수가 적은 문제에는 맞춰져 있을 수 있지만, 보기 수가 훨씬 많아지면 확률 분포가 흐트러질 가능성을 원문은 아직 열어 둔 셈이에요.

비용이나 라이선스, 출처 표시에 관한 문장도 실사용에선 놓치기 쉬운 부분이에요. 작성자는 이 분류기가 출력 토큰을 생성하지 않으므로 입력 토큰 비용만 계산했다고 적고, 분류기는 질문 하나당 한 번 호출되는 구조라 상태를 매번 다시 보내야 한다고 설명해요. 반면 비교한 채팅 모델들은 상태 하나에 질문 여러 개를 묶는 방식으로 가격을 계산했다고 해요. 그래서 채팅 모델을 질문별 호출로 쪼개면 입력 토큰이 약 2.82배 늘고, 비용 점들은 오른쪽으로 이동하지만 순서는 바뀌지 않는다고 주장합니다. 즉, 비용 비교는 모델 자체만이 아니라 '어떻게 호출하느냐'에 크게 좌우된다는 뜻이에요. 라이선스는 Apache-2.0을 따른다고 되어 있지만, 데이터셋 권리는 별개라고 하고, 또 Jev-Omni가 TypeSafe AI의 Jev와 무관하며 그 출력으로 학습하지 않았다고 선을 그어요. 이름이 비슷해 보여도 같은 계보나 제휴 제품으로 받아들이지 말라는 안내예요.