마지막 수정
Bonsai 27B가 3.9GB라고? 휴대폰 로컬 LLM 발표에서 먼저 확인할 것
PrismML의 1비트·삼진 Bonsai 27B 발표와 공식 문서, 초기 사용자 후기를 대조해 3.9GB 용량의 의미와 아이폰·Mac 실행 조건, 아직 검증할 한계를 정리했습니다.
결론 먼저
Bonsai 27B의 핵심은 27B 모델을 3.9GB급 가중치로 줄였다는 점입니다. 다만 휴대폰에서 파일이 열린다는 사실과 긴 문맥·비전·도구 호출을 안정적으로 쓰는 일은 따로 검증해야 합니다.
- 실험 환경
- 2026년 7월 14일 PrismML 발표문, Bonsai 공식 문서와 Hugging Face 배포 파일, 공개된 초기 LocalLLaMA 사용자 관찰을 대조했습니다. 아직 Daejin Lab 장비에서 모델을 직접 실행하지 않았습니다.
- 누구에게 유용한가
- 16GB Apple Silicon Mac이나 휴대폰에서 27B급 로컬 LLM을 검토하는 사람, 1비트 모델의 용량과 품질 손실을 함께 판단하려는 사람
확인한 자료와 한계
- PrismML Bonsai 27B 발표문과 기술 문서
- PrismML Bonsai 27B 기술 백서
- Hugging Face Bonsai 27B 공식 컬렉션
- PrismML llama.cpp·MLX 실행 문서
- Reddit LocalLLaMA 초기 사용자 관찰
제조사가 공개한 벤치마크를 독립 재현하지 않았고, M4 Mac mini 16GB와 iPhone에서의 속도·메모리·한국어 품질도 아직 직접 측정하지 않았습니다.
이 글에서 다루는 핵심 3가지
27B 모델이 휴대폰에서 돌아간다는 제목을 보면 먼저 속도를 떠올리기 쉽습니다. 저는 용량부터 다시 봤습니다.
PrismML이 2026년 7월 14일 공개한 Bonsai 27B는 Qwen3.6 27B를 1비트와 삼진 가중치로 줄인 모델입니다. 발표문에 적힌 크기는 각각 3.9GB와 5.9GB입니다. 일반적인 FP16 27B 모델의 가중치가 약 54GB라는 설명과 비교하면 차이가 큽니다.
이 수치만 보면 M4 Mac mini 16GB는 물론이고 아이폰에서도 27B급 모델을 여유 있게 쓸 수 있을 것처럼 보입니다. 공식 문서와 배포 파일을 더 확인하니 판단해야 할 항목이 늘었습니다. 비전 입력에는 약 0.63GB의 압축 파일이 추가되고, 긴 문맥은 KV cache를 사용하며, 실행 형식에 따라 실제 디스크 크기도 달라집니다.
그래서 이 글에서는 “27B가 휴대폰에서 돌아간다”를 바로 결론으로 쓰지 않았습니다. 무엇이 3.9GB인지, 어느 기능까지 공개됐는지, 직접 테스트할 때 어디서 실패할 수 있는지를 먼저 나눠 봤습니다.
10초 요약
- Bonsai 27B는 Qwen3.6 27B 기반의 멀티모달 모델이며 Apache 2.0으로 공개됐습니다.
- 1비트 버전은 1.125 effective bits per weight, 삼진 버전은 1.71 effective bits per weight를 사용합니다.
- 발표 기준 모델 크기는 1비트 3.9GB, 삼진 5.9GB입니다. 공식 배포 파일은 형식에 따라 약 3.53~7.05GiB이며, 이미지 입력용 vision 파일은 압축형 약 0.63GB 또는 기준용 BF16 약 0.93GB가 별도로 제공됩니다.
- 제조사 15개 벤치마크 평균은 FP16 기준 대비 삼진 95%, 1비트 90% 수준입니다. 이 결과는 아직 Daejin Lab에서 재현하지 않았습니다.
- PrismML 백서가 공개한 4K context peak memory는 1비트 GGUF 5.2GB, 삼진 GGUF 8.4GB입니다. 가중치 파일 크기보다 실제 실행 메모리가 큽니다.
- 초기 사용자 관찰에서는 용량과 속도에 긍정적인 반응이 있었지만, 환각과 도구 호출 반복 문제도 보고됐습니다.
- M4 Mac mini 16GB에서는 1비트보다 삼진 MLX를 먼저 비교하고, context 4K부터 한국어·코딩·도구 호출을 따로 측정할 계획입니다.
이번에 확인한 자료
| 구분 | 확인한 내용 |
|---|---|
| 공식 발표 | 모델 크기, 자체 벤치마크, RTX 5090·M5 Max 속도, iPhone 데모 조건 |
| 기술 백서 | context별 peak memory, KV cache, 아이폰 지속 생성·배터리 측정, 명시된 한계 |
| 공식 문서 | GGUF·MLX 파일 크기, vision 파일, context, runtime별 제한 |
| 모델 배포 | Hugging Face에 공개된 1비트·삼진 GGUF/MLX 저장소 |
| 초기 사용자 관찰 | LocalLLaMA 사용자의 품질·속도 인상과 실패 보고 |
| 아직 확인하지 못한 것 | M4 Mac mini 16GB 실행, 한국어 품질, 독립 아이폰 측정, 장시간 agent loop |
이 글은 설치 후기가 아닙니다. 공개 직후 자료를 바탕으로 다음 실험의 기준을 만드는 1차 확인 기록입니다.
1비트와 삼진 버전은 무엇이 다른가
PrismML은 같은 27B 기반 모델을 두 가지로 배포했습니다.
| 항목 | Bonsai 27B 1비트 | Ternary Bonsai 27B |
|---|---|---|
| 가중치 표현 | {-1, +1} |
{-1, 0, +1} |
| effective bits/weight | 1.125 | 1.71 |
| 발표 기준 크기 | 3.9GB | 5.9GB |
| 제조사 15개 벤치 평균 | 76.1 | 80.5 |
| FP16 기준 보존율 | 약 90% | 약 95% |
| 먼저 떠올릴 장비 | 휴대폰·작은 메모리 | 노트북·품질 우선 |
두 버전 모두 128개 가중치마다 FP16 scale을 공유합니다. 모델 일부만 낮은 비트로 바꾸고 나머지를 고정밀도로 남긴 방식과 달리, PrismML은 임베딩·attention·MLP·LM head까지 낮은 비트 표현을 적용했다고 설명합니다. vision tower는 별도의 4비트 파일입니다.
삼진 버전은 0을 표현할 수 있어 파일이 더 커지는 대신 품질 보존율이 높습니다. 1비트 버전은 저장 공간을 더 줄여 휴대폰 메모리 안에 넣는 데 초점을 맞췄습니다.
Hugging Face 모델 이름 읽는 법
검색 결과에는 같은 27B가 여러 이름으로 나옵니다. 공식 배포본은 계정명이 prism-ml인지 먼저 보면 됩니다.
| 모델 이름 | 의미 | 먼저 쓸 상황 |
|---|---|---|
prism-ml/Bonsai-27B-gguf |
1비트 Q1_0 GGUF |
llama.cpp, LM Studio 계열 |
prism-ml/Ternary-Bonsai-27B-gguf |
삼진 Q2_0 GGUF |
품질 우선 llama.cpp |
prism-ml/Bonsai-27B-mlx-1bit |
1비트 MLX | Apple Silicon, iPhone·iPad |
prism-ml/Ternary-Bonsai-27B-mlx-2bit |
삼진 값을 2비트 슬롯에 저장한 MLX | Mac에서 품질 우선 |
이름 끝의 AWQ-4bit |
SGLang·GPU 서버용 4비트 호환 배포본 | 서버·멀티 GPU |
이름 끝의 unpacked |
stock Hugging Face 도구용 FP16 전개본 | 변환·개발용, 로컬 용량 절감 없음 |
이름에 Ternary가 없으면 1비트 binary 계열이고, Ternary가 있으면 {-1, 0, +1} 계열입니다. mlx-2bit의 2비트는 저장 슬롯을 뜻합니다. 삼진 모델의 실제 정보량은 scale을 포함해 1.71 bits/weight로 설명됩니다.
Hugging Face 검색 카드가 일부 GGUF를 4B, MLX를 2B·3B처럼 표시하는 것도 확인했습니다. 공식 모델 카드에는 약 27.3B language weights와 약 0.46B vision tower가 명시돼 있습니다. 압축 텐서를 일반 파라미터처럼 세면서 생긴 표시 문제로 보이며, 27B 모델이 2B나 4B로 바뀐 것은 아닙니다.
s3nh/Bonsai-27B-unpacked-abliterated-uncensored처럼 계정명이 다른 모델은 PrismML 공식 배포본이 아닙니다. 원본과 안전성·품질이 달라질 수 있으므로 이 글의 대상에서 제외했습니다.
3.9GB가 실제 사용 메모리 전부는 아니다
여기가 가장 먼저 확인할 부분입니다.
공식 모델 문서에 표시된 배포 파일 크기는 아래와 같습니다.
| 형식 | 공식 배포 파일 크기 |
|---|---|
1비트 GGUF Q1_0 |
3.53GiB |
| 1비트 MLX | 3.92GiB |
삼진 GGUF Q2_0 |
6.66GiB |
| 삼진 MLX 2비트 | 7.05GiB |
이미지를 읽으려면 여기에 압축형 약 0.63GB 또는 기준용 BF16 약 0.93GB의 mmproj 파일이 추가됩니다. 실행 중에는 KV cache와 activation, runtime 자체의 메모리도 필요합니다. 262K context를 지원한다는 사양도 262K를 휴대폰에서 곧바로 쓸 수 있다는 뜻은 아닙니다.
PrismML도 발표문에서 12GB 아이폰이 앱에 전체 메모리를 내주지 않으며, 모델이 사용할 수 있는 예산을 약 6GB로 설명했습니다. 이 조건에서는 1비트 가중치가 들어갈 수 있습니다. 그래도 context를 늘리고 이미지를 넣고 여러 차례 대화하면 남은 메모리가 빠르게 줄 수 있습니다.
따라서 다음 문장을 구분해서 봐야 합니다.
가중치 파일이 휴대폰 메모리 예산에 들어간다.
짧은 입력으로 한 번 응답을 생성한다.
긴 문맥과 이미지를 포함한 대화를 안정적으로 반복한다.
도구를 호출하는 agent loop를 오래 유지한다.첫 번째와 두 번째는 공식 자료와 데모로 근거가 생겼습니다. 세 번째와 네 번째는 기기별 반복 측정이 더 필요합니다.
백서의 peak memory 표는 이 차이를 수치로 보여줍니다. vision tower와 KV cache 압축을 제외하고 측정한 값입니다.
| 모델 | 4K context | 10K context | 100K context |
|---|---|---|---|
| 1비트 GGUF | 5.2GB | 5.6GB | 11.6GB |
| 1비트 MLX | 5.9GB | 6.3GB | 12.2GB |
| 삼진 GGUF | 8.4GB | 8.7GB | 14.7GB |
| 삼진 MLX | 9.2GB | 9.6GB | 15.5GB |
M4 Mac mini 16GB에서 삼진 모델과 긴 context를 함께 쓰면 운영체제와 다른 앱의 몫이 빠듯해질 수 있습니다. 4K부터 시작하려는 이유입니다.
백서에는 1비트 모델을 iPhone 17 Pro Max에서 5.2분 동안 지속 생성한 측정도 있습니다. 제조사 측정값은 10.82 tokens/sec, 3,360토큰 생성에 배터리 5% 감소였습니다. 발표 페이지의 비전 데모에는 이미지 context를 미리 채워 둔 조건이 표시돼 있으므로, 비전 전체 처리 속도와 텍스트 decode 속도를 같은 수치로 읽으면 안 됩니다.
제조사 벤치마크에서 잘 남은 것과 많이 줄어든 것
PrismML은 thinking mode로 15개 벤치마크를 평가했습니다. 분야별 평균은 다음과 같습니다.
| 분야 | Qwen3.6 27B | 삼진 27B | 1비트 27B |
|---|---|---|---|
| 수학 | 95.3 | 93.4 | 91.7 |
| 코딩 | 88.7 | 86.0 | 81.9 |
| agent·도구 호출 | 80.0 | 74.0 | 66.0 |
| 지시 이행 | 78.4 | 71.8 | 65.8 |
| 지식·STEM | 83.1 | 77.0 | 73.4 |
| 비전 | 72.6 | 65.2 | 59.6 |
| 전체 평균 | 85.0 | 80.5 | 76.1 |
평균 보존율만 보면 95%와 90%라는 숫자가 눈에 들어옵니다. 분야별 표에서는 손실 위치가 더 잘 보입니다. 수학과 코딩의 감소 폭은 상대적으로 작고, 도구 호출·지시 이행·비전은 더 크게 줄었습니다.
제가 실제 사용 후보를 고를 때는 전체 평균보다 아래 항목을 먼저 보겠습니다.
- JSON schema를 정확히 지키는가
- 같은 도구를 반복 호출하는가
- 한국어 지시의 조건을 빠뜨리는가
- 스크린샷의 작은 글자를 읽는가
- 긴 대화에서 앞선 조건을 유지하는가agent 작업은 한 번의 정답률보다 작은 오류가 여러 단계에서 누적되는 문제가 큽니다. 도구 호출 점수가 80.0에서 66.0으로 내려간 차이는 직접 반복 테스트할 가치가 있습니다.
백서의 한계 항목도 확인했습니다. PrismML은 여러 파일 수정, 실행·테스트·수정 반복, 저장소 규모 추론을 포함한 장기 agentic coding을 이번 버전이 강하게 겨냥하지 않았다고 적었습니다. 코딩 평균 점수만 보고 바로 개발 agent의 주력 모델로 고르기 어려운 이유입니다.
초기 사용자 반응에서 확인된 경고
공개 직후 LocalLLaMA에는 직접 내려받아 비교한 글이 올라왔습니다. 일부 사용자는 기존 Qwen3.6 27B 고정밀 버전과 비교해 속도가 크게 빨라졌고, 체감 품질도 예상보다 잘 유지됐다고 적었습니다.
반대쪽 관찰도 있습니다. 한 사용자는 문서 검색 작업에서 삼진 버전이 Q2보다는 낫지만 Q4_K_XL보다는 분명히 낮았고, 환각과 tool-calling loop가 늘었다고 후기를 수정했습니다. 다른 사용자는 1비트 결과를 코딩 주력 모델로 쓰기에는 품질 차이가 부담스럽다고 적었습니다.
이 후기는 통제된 벤치마크가 아닙니다. 사용한 prompt, context, runtime, sampling 설정도 모두 다를 수 있습니다. 그래도 공식 평균에서 가려지는 실패 형태를 찾는 단서로는 쓸 수 있습니다.
현재까지의 안전한 해석은 이 정도입니다.
용량 절감: 공식 파일로 확인 가능
실행 지원: 공식 runtime과 모델 배포로 확인 가능
품질 보존율: 제조사 평가 결과
일반 사용자 체감: 초기에는 긍정과 경고가 함께 존재
장기 agent 안정성: 아직 판단하기 이르다M4 Mac mini 16GB에서는 어떤 버전을 먼저 볼까
제 환경은 Apple M4 Mac mini 16GB입니다. 아직 Bonsai 27B를 직접 돌리지 않았으므로 아래는 실험 계획입니다.
첫 후보는 삼진 MLX 2비트입니다. 파일은 1비트보다 크지만 제조사 벤치마크에서 지시 이행과 도구 호출 손실이 더 작습니다. Apple Silicon에서 MLX가 raw decode speed에 유리하다는 공식 문서 설명도 있습니다.
다만 MLX에는 조건이 있습니다. 공식 문서 기준으로 여러 요청 사이의 prompt cache가 없어, 다중 대화에서는 전체 기록을 다시 처리합니다. 이미지까지 포함하면 이 비용이 커질 수 있습니다. 대화를 길게 이어갈 때는 prefix cache를 지원하는 llama.cpp 쪽이 더 나을 수 있습니다.
1비트 MLX도 바로 설치되는 것은 아닙니다. 2026년 7월 15일 기준 1비트 지원은 MLX upstream 반영을 기다리고 있어 PrismML fork가 필요합니다. 반면 1비트 GGUF의 Q1_0은 최근 llama.cpp upstream에서 지원합니다. 삼진 GGUF Q2_0은 PrismML fork 또는 전용 바이너리가 필요합니다.
처음 테스트할 순서는 다음처럼 잡았습니다.
| 순서 | 후보 | 확인할 이유 |
|---|---|---|
| 1 | 삼진 MLX, context 4K | Mac 속도와 품질의 기준점 |
| 2 | 1비트 GGUF, context 4K | 가장 작은 용량에서 품질 손실 확인 |
| 3 | 삼진 GGUF | 다중 대화 cache와 도구 호출 비교 |
| 4 | context 8K·16K | 메모리와 첫 토큰 지연 측정 |
| 5 | vision·tool call | 텍스트 테스트 통과 후 별도 확인 |
직접 테스트할 입력 5개
홍보 문구를 검증하려면 짧은 잡담만으로는 부족합니다. Daejin Lab에서 쓰는 작업에 가까운 입력을 고정할 생각입니다.
- 한국어 기술 문서 2,000자 요약과 근거 문장 표시
- 오류가 섞인 Astro 컴포넌트 수정과 변경 이유 설명
- 정해진 JSON schema에 맞춘 도구 호출 20회
- 작은 글자가 있는 앱 스크린샷 읽기
- 앞선 조건을 유지하는 10회 연속 대화
각 테스트에서는 아래 값을 남겨야 합니다.
모델과 파일 형식
runtime 및 commit/version
context와 sampling 설정
첫 토큰까지 걸린 시간
tokens/sec
최대 메모리 사용량
정답·형식 실패 횟수
도구 반복 호출 여부이 기록이 있어야 “실행됐다”를 넘어 “어떤 작업에 쓸 수 있다”고 말할 수 있습니다.
지금 내려받아 볼 사람과 기다릴 사람
| 상황 | 판단 |
|---|---|
| 16GB Apple Silicon에서 새 low-bit 모델을 직접 비교하고 싶다 | 삼진 MLX부터 시험할 가치가 있음 |
| 8GB급 장비에서 최대한 큰 모델을 열어보고 싶다 | 1비트 GGUF 후보, context를 작게 시작 |
| 한국어 코딩을 매일 안정적으로 맡길 주력 모델이 필요하다 | 독립 비교와 직접 테스트 후 결정 |
| 비전과 도구 호출을 장시간 agent에 붙이고 싶다 | 현재는 보수적으로 접근 |
| 설치와 fork 관리가 부담스럽다 | runtime 지원이 더 정리될 때까지 기다리는 편이 편함 |
| 개인정보가 있는 로컬 문서를 오프라인에서 처리한다 | 품질 테스트를 통과하면 의미 있는 후보 |
현재 결론
Bonsai 27B에서 가장 분명한 성과는 가중치 크기입니다. 27B 모델의 1비트 MLX 파일이 3.92GiB이고, 1비트 GGUF는 3.53GiB입니다. 이 정도면 이전에는 27B를 고려하기 어려웠던 기기에서도 로드 실험을 시작할 수 있습니다.
품질은 작업마다 다르게 봐야 합니다. 제조사 표에서도 수학·코딩보다 도구 호출·지시 이행·비전의 손실이 큽니다. 공개 당일 사용자 관찰에서도 환각과 tool loop 경고가 나왔습니다. 작은 파일과 높은 평균 보존율만으로 장기 agent 작업의 안정성을 확정하기 어렵습니다.
제 다음 단계는 M4 Mac mini 16GB에서 삼진 MLX와 1비트 GGUF를 같은 입력으로 비교하는 것입니다. 첫 토큰 시간, tokens/sec, 메모리, 한국어 조건 누락, 도구 호출 실패를 함께 기록하겠습니다. 그 결과가 나온 뒤에야 제 환경에서 27B가 “열리는 모델”인지 “계속 쓸 모델”인지 구분할 수 있습니다.
같이 읽을 글
- 로컬 AI와 클라우드 AI 사이에서 초보자가 정해야 할 기준
- M4 Mac mini 16GB에서 로컬 LLM을 처음 돌려본 기록
- Gemma 4 12B를 M4 Mac mini 16GB에서 먼저 돌려본 기록
- Ollama와 LM Studio를 실제로 나눠 본 기준
참고한 원문
- PrismML: Announcing Bonsai 27B
- Bonsai 공식 문서: Bonsai 27B
- Bonsai 공식 문서: MLX
- Bonsai 공식 문서: llama.cpp
- Hugging Face: Bonsai 27B collection
- Reddit LocalLLaMA: Ternary Bonsai 27B 초기 사용자 관찰
기준일은 2026년 7월 15일입니다. 모델 파일, runtime 지원, 벤치마크와 라이선스는 바뀔 수 있으므로 설치 전 공식 문서를 다시 확인해야 합니다.