아이폰에서 27B AI 모델을 돌린다고? Bonsai 27B와 로컬 AI의 현실

클라우드 없이, 내 아이폰 안에서 27B 매개변수의 AI 모델이 돌아간다면 어떻게 믿어야 할까요?

PrismML이 7월 14일 공개한 Bonsai 27B는 1-bit 양자화 기준 약 3.9GB, ternary 기준 약 5.9GB로 Qwen 27B 계열을 휴대폰에서 실행 가능하게 만들었다고 발표했습니다.

 

이 글에서는 기존 27B 모델이 왜 휴대폰에서 어려웠는지, 1-bit 양자화가 어떤 방식으로 가능한지, 그리고 일반 사용자 입장에서 지금 무엇을 준비해야 하는지 단계별로 정리했습니다.

 

 

1. Bonsai 27B, 도대체 무엇이 새로웠나

2026년 7월 14일, AI 모델 경량화 스타트업 PrismML이 'Bonsai 27B'를 공개했다는 소식이 커뮤니티를 빠르게 돌았습니다.
핵심은 한 줄로 요약됩니다.
매개변수가 270억 개에 달하는 대규모 언어 모델을, 휴대폰에서 직접 돌릴 수 있게 만들었다는 점입니다.
회사 측 발표에 따르면 1-bit 양자화 버전은 약 3.9GB, ternary 버전은 약 5.9GB로 내려간다고 합니다.

 

규모만 놓고 보면 평범해 보이지 않습니다. 27B는 그 자체로 거대한 모델이고, 통상적인 16-bit 환경에서는 메모리만 50GB 이상 잡아먹는 크기입니다.
그런데 이것을 4~6GB 안쪽으로 줄여서 아이폰에서 돌릴 수 있게 했다는 건, 단순한 용량 최적화가 아니라 모델 구조 자체에 손을 댄 결과로 읽힙니다.

 

흥미로운 지점은 발표 직후 커뮤니티의 반응입니다. '세계 최초의 휴대폰 구동 27B급 모델'이라는 표현이 화제가 됐는데, 이런 표현은 늘 회사의 홍보 주장에 해당한다는 점을 염두에 두어야 합니다. PrismML이 어떤 방식으로 자사의 위치를 표현했는지, 그리고 어떤 디바이스와 운영체제에서 실제로 돌아가는지가 글의 핵심이 됩니다.

 

지금부터는 이 발표가 왜 중요한지, 기존 모델과 무엇이 다른지, 그리고 일반 사용자 입장에서는 어떻게 받아들여야 할지를 단계별로 풀어보겠습니다.

 

 

2.기존 27B 모델은 왜 휴대폰에서 어려웠나

먼저 왜 27B 모델이 지금까지 휴대폰에 오르지 못했는지부터 짚어볼 필요가 있습니다.
대형 언어 모델은 크게 두 가지 자원, 메모리와 연산력을 동시에 잡아먹습니다.
매개변수 한 개당 16-bit 정밀도를 쓴다고 가정하면, 27B 모델은 단순 계산으로도 약 54GB의 메모리를 점유합니다.
여기에 추론 중 활성화 값과 키-값 캐시가 더해지면, 실제로는 60GB를 가볍게 넘기는 수준입니다.

 

아이폰이 자랑하는 통합 메모리는 최신 모델 기준 8GB에서 12GB 사이입니다.
이 메모리를 운영체제, 앱, 그래픽 처리와 나눠 써야 하니, AI 추론 전용으로 쓸 수 있는 영역은 현실적으로 3~6GB에 불과합니다.
즉 모델 무게 자체가 디바이스 한계의 두 배가 훌쩍 넘는 구조였습니다.

 

이런 이유로 2024년 이전까지 '휴대폰에서 돌아가는 AI 모델'이라고 불린 것들은 대부분 3B에서 7B 사이의 소형 모델이거나, 4-bit 정도로 양자화한 경량 버전이었습니다. 7B조차 4-bit 양자화에서 4~5GB에 머물렀고, 27B는 데스크톱 GPU 없이는 사실 상 상상하기 어려웠습니다.

 

Bonsai 27B가 등장하기 전까지, '아이폰에서 27B급 모델을 돌린다'는 말 자체가 기술적으로 점프가 큰 영역이었습니다.
그래서 이번 발표가 단순한 경량화가 아니라 새로운 단계로 읽히는 것입니다.

 

 

3. 1-bit / ternary 양자화는 어떤 마법을 부리는가

Bonsai 27B 발표에서 가장 기술적으로 의미 있는 단어는 두 가지입니다. '1-bit 양자화'와 'ternary'입니다.
이 두 표현을 풀면 왜 휴대폰이 가능해졌는지 설명이 됩니다.

 

기존의 16-bit 모델은 한 매개변수당 65,536개의 값을 표현할 수 있습니다. 4-bit로 줄여도 16개, 8-bit이면 256개입니다.
그런데 1-bit는 단 두 개의 값, 즉 0과 1만으로 매개변수를 표현합니다. ternary는 여기에 -1, 0, 1까지 더해 세 개의 값만 씁니다.
매개변수당 비트가 극단적으로 줄어드니, 메모리 점유도 비례해서 떨어집니다.

 

이런 극단적 양자화가 가능한 배경에는 2024년 Microsoft Research의 BitNet b1.58 연구가 있습니다.
이 연구는 '매개변수당 평균 1.58비트만 써도 대형 언어 모델의 성능을 거의 보존할 수 있다'는 점을 보여 줬고, 이후 1-bit / ternary 모델이 학술적으로 검증 가능한 방향이라는 근거가 됐습니다.

 

다만 중요한 균형점이 있습니다. 1-bit 양자화는 메모리와 연산 비용을 극단적으로 줄여 주지만, 정확도와 표현력에서는 trade-off가 발생합니다.
그래서 Bonsai 27B도 1-bit 버전과 ternary 버전을 함께 제공하는 것으로 보입니다.
사용자는 '작지만 정확도가 약간 떨어지는' 모델과 '조금 더 무겁지만 성능이 나은' 모델 사이에서 선택할 수 있습니다.

 

실무적으로 의미 있는 부분은 별도의 GPU 없이 일반 스마트폰 NPU(신경 처리 장치)에서 추론이 가능하다는 점입니다. NPU는 온디바이스 AI에 특화된 연산 블록이라, 1-bit 모델과 만나면 배터리와 발열 부담이 크게 줄어듭니다.

 

 

4.로컬 AI가 중요한 이유 — 개인정보와 비용의 문제

아이폰에서 AI 모델이 돌아간다는 사실 자체보다 더 중요한 가치가 하나 있습니다.
바로 '내 데이터가 디바이스 밖으로 나가지 않는다'는 점입니다.

 

지금 우리가 쓰는 클라우드 기반 AI는 문서, 사진, 메모, 일정, 의료 정보 같은 민감한 데이터를 서버로 전송한 다음, 거기서 추론하고 결과를 받아옵니다.
이 과정에서 데이터는 통신 구간과 서버 저장소, 그리고 학습에 활용될 가능성이라는 세 겹의 노출 위험을 가집니다.
일반 사용자 입장에서는 '내 데이터를 회사가 본다'는 사실 자체가 가장 큰 비용입니다.

 

로컬 AI는 이 구조를 정반대로 뒤집습니다.
데이터는 디바이스 안에 머무르고, 추론도 디바이스 안에서 끝납니다.
외부로 송출되는 것은 결과값뿐입니다.
회사가 내 의료 기록을 학습에 쓸 수도 없고, 통신이 차단된 환경에서도 동작하며, 장기적으로는 구독료 부담도 사라집니다.

 

비용 구조도 달라집니다.
클라우드 AI는 매달 정액 구독료가 쌓이지만, 로컬 AI는 최초 설치 후 전기를 먹는 정도입니다. Bonsai 27B처럼 한 번 다운로드하면 모델이 디바이스에 남고, 네트워크 없이도 동작합니다.
사용자 데이터가 늘어날수록 오히려 비용 대비 효율이 좋아지는 구조입니다.

 

최근 몇 년간 'AI 비용'이라는 말이 늘 사용자 비용을 뜻했다면, 로컬 AI가 보편화되는 시점부터는 그 비용의 의미가 근본적으로 바뀌기 시작합니다.
내 디바이스 안에서 끝나는 처리가 많아질수록, 우리는 AI 사용에 대한 통제권을 다시 가져올 수 있습니다.

 

 

5.일반 사용자도 지금 바로 쓸 수 있는 단계인가

기술적 의미가 크다고 해서, 일반 사용자가 '내일 당장' 다운로드해서 쓸 수 있는 단계인 것은 아닙니다. Bonsai 27B 발표를 현실적인 시선으로 받아들이려면 몇 가지 단계를 점검해 볼 필요가 있습니다.

 

디바이스 호환성

1-bit / ternary 같은 극단적 양자화 모델은 비교적 가벼운 편이지만, 그래도 4~6GB의 메모리를 안정적으로 점유합니다.
최신 A17 Pro / A18 / A19 칩셋을 탑재한 iPhone 15 Pro 이상 모델이 가장 무난한 후보입니다.
구형 모델에서도 동작 자체는 가능할 수 있지만, 추론 속도와 배터리 소모 측면에서 체감 품질이 떨어질 수 있습니다.

 

앱과 생태계

Bonsai 27B 모델 자체는 Hugging Face 같은 공개 저장소를 통해 내려받을 수 있는 형태로 풀릴 가능성이 큽니다.
다만 일반 사용자가 이 모델을 직접 실행하려면 보통 'MLC LLM', 'llama.cpp', 'Ollama Mobile' 같은 로컬 추론 앱을 거쳐야 합니다. iOS 정책상 일반 앱 안에 모델을 임베드해 출시하는 흐름이 자연스럽게 따라올 것으로 보입니다.

 

현실적인 첫 단계

지금 바로 다운로드해 보고 싶다면, 먼저 'llama.cpp' 또는 'Ollama'로 macOS에서 Bonsai 27B 모델을 받아 가볍게 실행해 보는 것이 가장 빠른 진입점입니다.
동작을 확인한 뒤 iOS 버전이 정식 출시될 때 자연스럽게 모바일로 옮기면 됩니다.
회사 측 발표에 따르면 1-bit 모델이 우선 공개될 가능성이 큰데, 가장 가볍고 호환성 범위가 넓기 때문입니다.

 

클라우드 AI와 함께 쓰는 균형

로컬 AI가 클라우드 AI를 즉시 대체하지는 않을 가능성이 높습니다.
두 가지를 역할별로 나누어 쓰는 방식이 현실적입니다.
예를 들어 민감한 의료·재무·개인 메모 분석은 로컬에서, 방대한 검색과 복잡한 멀티모달 작업은 클라우드에서 맡기는 식입니다. Bonsai 27B 같은 경량 모델은 '항상 내 곁에 있는 보조 AI'로서의 자리를 자연스럽게 잡을 수 있습니다.

 

 

6.정리하며 — 로컬 AI가 가져올 일상의 변화

Bonsai 27B 발표는 단순한 '아이폰에서 AI가 돌아간다'는 뉴스가 아닙니다. 27B급 대형 모델이 4~6GB 안쪽으로 줄어들고, 일반 스마트폰에서도 실행 가능해진다는 사실은, 우리가 AI와 맺는 관계의 기본 구조를 바꿀 신호입니다.

 

데이터가 내 디바이스 안에 머무르고, 네트워크 없이도 동작하고, 매달 쌓이는 구독료에서 벗어나는 일상이 가까워지고 있습니다.
동시에, 모든 처리가 로컬에서 끝나지는 않기에 클라우드 AI와의 균형은 여전히 중요합니다.

 

오늘 할 수 있는 가장 작은 행동은 한 가지입니다.
평소 쓰던 클라우드 AI 중 하나를 골라, 입력하는 데이터가 어떤 성격인지 한 번 적어 보는 것입니다.
의료·재무·내 일기처럼 민감한 정보가 어느 정도 비율을 차지하는지, 그리고 그 데이터를 서버에 보내도 되는 일인지 한 번 점검해 보면, 로컬 AI가 우리에게 왜 필요한지가 자연스럽게 선명해집니다.

 

그 작은 점검이 시작점이 됩니다.
그리고 그 시작 위에 Bonsai 27B 같은 로컬 모델이 천천히 일상으로 들어오기 시작하면, AI를 '쓰는' 사람이 아니라 '관리하는' 사람으로 우리가 서서히 바뀌게 될 것입니다.