# PrismML의 Ternary Bonsai 2 2B·4B·9B는 왜 ‘일상 기기 안의 로컬 에이전트’를 내세울까?

> PrismML의 Ternary Bonsai 2 2B·4B·9B는 왜 ‘일상 기기 안의 로컬 에이전트’를 내세울까? 말로 들어보세요. 원문 링크도 함께 확인할 수 있어요.

Canonical: https://mallo.drtryon.org/s/X8tgUogB_rCa_mCBGOTbIeRY3EFT7xfl_I1UYLXTizo

재생 시간: 6:57

## 요약 글

PrismML이 이번 글에서 내세우는 중심 메시지는, Bonsai 2 계열을 더 작은 크기로 넓혀서 AI를 서버가 아니라 개인 기기 안에서 직접 쓰는 선택지를 늘리겠다는 거예요. 새로 추가된 건 Qwen3.5 기반의 2B, 4B, 9B 모델이고, 이미 있던 27B와 함께 이제 크기별 선택지가 네 가지가 됐다고 설명해요. 회사의 표현을 따라가면, 개발자가 작업 난도, 응답 속도, 메모리 요구량 사이에서 타협점을 고르기 쉬워졌다는 이야기예요. 그러니까 이 글은 단순히 “더 작은 모델도 있습니다”가 아니라, 로컬 기기에서 돌아갈 만큼 작으면서도 추론, 시각 이해, 도구 사용을 어느 정도 갖춘 모델군을 만들었다는 발표로 읽는 게 맞아요.

여기서 먼저 풀어야 할 말이 ‘로컬’과 ‘ternary’예요. 로컬은 PC, 휴대폰, 웨어러블 같은 기기 안에서 모델이 직접 돌아간다는 뜻이고, 그래서 메모리와 전력 제약을 정면으로 받게 돼요. 글은 온디바이스 에이전트가 유용한 결정을 내릴 만큼 똑똑해야 할 뿐 아니라, 제한된 메모리와 전력 안에서도 돌아가야 한다고 말해요. ternary는 모델 가중치를 -1, 0, +1 세 값으로 표현한다는 뜻인데, 감을 잡기 위해 비유하자면 세밀한 음량 숫자를 빽빽하게 적는 대신 ‘왼쪽, 가운데, 오른쪽’ 세 칸만 쓰는 조작판으로 바꾸는 것과 비슷해요. 표현 방식은 단순해지지만, 그만큼 저장해야 할 정보가 크게 줄어드는 그림이죠. 이 글에서 그 결과로 제시한 수치는 2B가 0.43GB, 4B가 0.95GB, 9B가 2GB이고, 각 풀 프리시전 대응 모델보다 9배 넘게 작다는 점이에요. 그래서 이 기술의 목적은 조금 가볍게 만드는 데서 끝나는 게 아니라, 휴대폰과 웨어러블에 실을 수 있는 배치 크기로 낮추는 데 있다고 이해하면 돼요.

그렇다고 PrismML이 작은 모델의 모든 능력을 똑같이 밀어올렸다고 말하는 건 아니에요. 이번 릴리스에서 특히 신경 쓴 실용 동작을 따로 적어 두는데, 반복 루프를 피하는 것, 지시를 잘 따르는 것, 모바일 기기에서 도구를 호출하는 것, 장황함을 조절하는 것이에요. 이어서 메모리와 연산 제약이 이런 우선순위를 만들었다고 설명하면서, 모델이 지시를 따르고, 일상적인 작업을 끝내고, 불필요한 출력 없이 유용한 답을 주도록 집중했다고 밝혀요. 9B 모델이 로컬 비서 용도에서 표준적인 instruction following과 everyday math 과제에 roughly 40% fewer tokens를 쓴다는 문장도 바로 이 맥락에 있어요. 회사가 강조하는 건 최고난도 문제를 푸는 과시가 아니라, 작은 패키지 안에서 practical utility를 끌어내겠다는 방향이라는 뜻이죠. 그래서 ‘Solving the Riemann Hypothesis can wait’라는 표현은, 성능 과시보다 생활형 활용을 우선하겠다는 수사로 읽는 편이 자연스러워요.

성능 표를 볼 때는 숫자의 의미를 조금 차분하게 읽을 필요가 있어요. 회사는 19개 벤치마크를 6개 능력 묶음으로 나눠서, 각 Bonsai 2 모델을 대응하는 Qwen3.5 풀 프리시전 기준선과 비교한 retention으로 보여줘요. 흥미로운 점은 몇몇 항목에서 100%를 넘는다는 거예요. 예를 들어 일부 수학, instruction following, coding 지표에서는 압축된 모델 점수가 기준선을 웃돌기도 해요. 하지만 그걸 곧바로 ‘전반적으로 더 좋다’로 받아들이면 곤란해요. 같은 표 안에서도 지식·추론 묶음은 전체 유지율이 2B 82.9%, 4B 90.9%, 9B 93.0%로 더 낮고, 비전 묶음도 문서나 복합 시각 과제 쪽에는 손실이 상대적으로 큰 지표가 보여요. 또 2B나 4B에서 N/A로 비어 있는 항목도 있어요. 그래서 이 표가 말해 주는 건, 압축 뒤에도 꽤 넓은 능력을 남겼다는 점이지, 모든 영역에서 손실 없이 동일하거나 우월하다는 보장은 아니라는 거예요.

이 글의 또 다른 축은 속도와 전력이에요. PrismML은 로컬 AI 경험이 모델 품질만으로 정해지지 않고, 추론 속도와 에너지 소비가 함께 중요하다고 설명해요. 이유도 분명히 적는데, 에이전트는 정보를 해석하고, 도구를 고르고, 응답을 생성하는 단계를 오갈 수 있어서 추론 성능이 워크플로 여러 지점에서 체감된다는 거예요. 회사 주장에 따르면 RTX 4090이나 M5 Pro 같은 하드웨어에서 대응하는 풀 프리시전 모델 대비 최대 5배 처리량, 최대 3배 에너지 효율을 낸다고 해요. 또 M5 Max Pro에서는 9B가 최대 179 toks/s, 2B가 최대 310 toks/s이고, iPhone 18 Pro Max에서는 9B가 최대 34 toks/s, 2B가 최대 120 toks/s라고 적어요. 다만 여기엔 조건이 붙어요. 모두 특정 하드웨어에서의 수치이고, 표현도 ‘up to’예요. 그러니 어느 기기에서나 항상 같은 속도가 난다고 읽을 수는 없고, 측정 방식의 세부는 백서를 봐야 해요. 원문이 분명히 말해 주는 효과는, 더 빠른 추론이 응답 생성과 도구 호출에 드는 시간을 줄이고, 더 낮은 에너지 소비가 같은 전력 예산 안에서 더 자주 쓸 여지를 준다는 정도예요.

마지막으로 PrismML이 그리고 있는 사용 그림은 ‘기기 안의 기본형 에이전트’에 가까워요. 회사는 이전 세대 Bonsai로 스마트 글래스에서 비전-언어 모델을 시연했고, 이번 Bonsai 2는 더 강한 추론, 시각 이해, 도구 호출을 바탕으로 앞으로의 휴대폰, 스마트 글래스, 웨어러블 앱에 basic agentic functionality를 가져오는 기반이 될 수 있다고 말해요. 여기서도 표현은 조심해서 봐야 해요. 이미 완성된 범용 비서를 약속한다기보다, 개발자가 사용자 요청을 해석하고, 텍스트나 시각 맥락을 보고, 앱 도구를 써서 짧은 행동 연쇄를 수행하는 보조 기능을 만들 수 있다는 제안에 가까워요. 예시로 든 것도 문서에서 정보를 뽑아 앱에 넘기거나, 로컬 파일 정보와 도구를 결합해 작업을 돕는 흐름이죠. 배포 측면에서는 NVIDIA GPU에서는 llama.cpp, Apple 기기에서는 MLX를 쓴다고 하고, 가중치는 Apache 2.0 라이선스로 공개됐다고 안내해요. 다만 압축과 평가, 벤치마킹의 자세한 절차는 별도 백서에 있다고 했으니, 발표문만으로 모든 기술적 세부를 확인할 수 있는 건 아니에요.

## 원문

[원문 보기](https://prismml.com/news/bonsai-2-family)

## Related

- [요약 듣기](https://mallo.drtryon.org/s/X8tgUogB_rCa_mCBGOTbIeRY3EFT7xfl_I1UYLXTizo)

- [말로 오디오 요약 골라 듣기](https://mallo.drtryon.org/)
