虎嗅

"단측 AI 전쟁이 본격적으로 시작되었다"

原文：端侧AI之战正式打响

阅读原文

단말 AI 대전: AI가 “클라우드 뇌”에서 당신의 주머니와 차 안으로 이동하다

안녕하세요, 여러분의 금융 전문 기자입니다. 오늘은 우리의 시야에 아직 완전히 들어오지 않았을 수도 있는 거대한 변화에 대해 이야기하려고 합니다: AI가 “클라우드”에서 당신의 기기로 이동하고 있습니다.

이전에 AI라고 하면 ChatGPT나 DeepSeek 같은 것을 떠올렸죠. 인터넷에 연결되어야 하고, 서버가 수천 킬로미터 떨어진 곳에서 계산을 해주었습니다. 하지만 이제 상황이 바뀌었습니다. 스마트폰, 자동차, 심지어 로봇까지도 스스로 “소뇌”를 갖추기 시작했으며, 인터넷 없이도 작동할 수 있습니다. 이것이 바로 **“온-디바이스 AI”(On-Device AI)입니다.

이 기사의 핵심 메시지는 2026년이 “온-디바이스 AI 상용화의 원년”이 될 수 있다는 것입니다. 거대 기업들(엔비디아, 메타, 애플, 화웨이, 샤오미,的字节 등)과 스타트업들(면벽지능, 계단별성 등) 모두 열심히 이 분야에 투자하고 있습니다. 왜냐하면 클라우드는 너무 비싸고 느리며 개인정보 위험이 있지만, 온-디바이스 AI는 저렴하고 빠르며 개인정보를 보호할 수 있기 때문입니다. 이것은 하드웨어 산업의 전면적인 업그레이드이자 “누가 시장의 문을 잡을 것인가”에 대한 전쟁이기도 합니다.

다음으로, 이 긴 기사를 5가지 핵심 포인트로 나누어 쉽게 설명해 드리겠습니다.

---

1. 왜 온-디바이스 AI를 만드는가? 클라우드가 너무 비싸고 느리며 개인정보 위험이 있기 때문입니다.

많은 사람들이 클라우드 기반의 대형 모델(GPT-4 등)이 강력하다고 생각하지만, 왜 굳이 스마트폰에 작은 모델을 넣는 걸까요? 주요 이유는 세 가지입니다:

  • 비용이 너무 많이 듭니다: 최고 수준의 대형 모델, 예를 들어 Anthropic의 Mythos를 훈련시키는 데 100억 달러가 소요됩니다. 더 무서운 것은 사용 비용입니다. 字节跳动의 두파오(DouBao)는 무료이지만, 추론 비용만으로도 하루에 1억 3천만에서 2억 4천만 위안이 소모됩니다. 사용자가 많아질수록 비용도 더 많이 듭니다. 온-디바이스 AI는 당신의 스마트폰 칩에서 실행되므로 한계 비용이 거의 없습니다. 1만 번 물어도 스마트폰은 추가로 전기 요금을 청구하지 않고, 제조업체도 거액의 서버 비용을 지불할 필요가 없습니다.
  • 인터넷이 끊기면 “뇌가 죽습니다”: 클라우드 AI는 인터넷에 의존합니다. 지하철이나 비행기에서, 또는 신호가 좋지 않은 곳에서는 AI가 작동하지 않습니다. 데이터를 클라우드로 전송하고 다시 가져오는 데에도 지연이 있습니다. 온-디바이스 AI는 기기 내에서 직접 실행되므로 응답 속도가 매우 빠르며, 인터넷이 끊겨도 사용할 수 있습니다**.
  • 개인정보가 큰 문제입니다: 당신은 전 세계가 당신이 무엇을 검색하고 사진을 찍는지 알고 싶지 않을 것입니다. 클라우드 AI는 당신의 데이터를 업로드해야 합니다. 온-디바이스 AI는 데이터가 기기 내에 남아 있으므로 개인정보 보안성이 크게 향상됩니다.

간단히 말해: 클라우드 AI는 “전문가의 진단”과 같아서 강력하지만 비싸고 느립니다. 온-디바이스 AI는 “가정의 의사”와 같아서 언제든지 사용할 수 있으며 개인정보를 보호합니다.

---

2. 기술은 어떻게 구현되는가? “작은 강력한 모델” + 칩 업그레이드 = 작은 것으로 큰 것을 이긴다

많은 사람들이 걱정합니다: 스마트폰의 메모리가 그렇게 크지 않은데, 대형 모델을 넣을 수 있을까요? 답은 가능하다는 것입니다. 압축과 칩 기술의 발전 덕분입니다.

  • 모델 “슬림화” 기술: 과학자들은 지식 증류, 가지치기, 양자화 등의 기술을 사용하여 수조 개의 파라미터를 가진 “거대한 모델”을 몇 십억 개의 파라미터를 가진 “작은 강력한 모델”로 압축합니다. 크기는 작아졌지만, 특정 작업(예: 음성 인식, 간단한 질문 답변, 이미지 이해)에서는 성능이 여전히 매우 강력합니다.
  • *예시:* 면벽지능의 MiniCPM5-2B는 단 20억 개의 파라미터만 있지만, 전 세계적으로 40억 개 미만의 오픈소스 모델 중에서 1위를 차지했습니다. 이는 마치 작은 체구지만 뛰어난 무술을 가진 고수와 같습니다.
  • 칩 연산 능력의 배수 (무어의 법칙 + 밀도의 법칙): 칩의 연산 능력은 2년마다 두 배로 증가하며(무어의 법칙), 모델의 능력 밀도는 100일마다 두 배로 증가합니다. 이 두 가지가 결합되면 현재의 스마트폰 칩으로도 몇 년 전에는 슈퍼컴퓨터가 필요했던 모델을 실행할 수 있습니다.
  • *예시:* 엔비디아의 새로운 칩 RTX Spark는 연산 능력이 1 페타플롭에 달하며, 1200억 개의 파라미터를 가진 대형 모델을 로컬에서 실행할 수 있습니다. AMD와 인텔도 연산 능력을 높이기 위해 노력하고 있습니다.

결과는: AI는 더 이상 클라우드에만 국한되지 않고, 스마트폰, PC, 자동차, 로봇으로 확산되고 있습니다. 2025년에는 새로 출시되는 스마트폰의 36%가 생성형 AI 기능을 갖추게 되며, 2027년에는 이 수치가 50%를 넘을 것입니다.

---

3. 누가 이 전쟁을 벌이고 있는가? 거대 기업, 스타트업, 하드웨어 제조업체, 각자의 목적이 있습니다.

이 전쟁은 단일 차원이 아니라 다양한 주체들이 참여하는 혼전입니다. 각자의 역할과 전략이 다릅니다.

A. 국제 거대 기업: 생태계 구축, 하드웨어 제조

  • 엔비디아: 129억 달러를 투자하여 Hugging Face(세계 최대의 AI 오픈소스 플랫폼)를 인수했습니다. 왜냐하면 오픈소스 생태계를 통제하기 위해서입니다. 그들이 출시한 Microduck 로봇(399달러)은 중급 칩으로도 실행할 수 있으며, 모든 사람이 AI 로봇을 사용할 수 있도록 하여 엔비디아의 AI 인프라 지위를 공고히 하려는 목적입니다.
  • 애플, 메타, 구글: 각자의 온-디바이스 AI(Apple Intelligence, Meta Llama 등)를 추진하며, AI를 자사 생태계의 표준 기능으로 만들어 사용자의 충성도를 높이려고 합니다.

B. 중국 기업: 각자의 강점을 살려 다양하게 발전합니다.

  • 면벽지능(순수 온-디바이스 모델 공급자):
  • 위치: “물을 파는 사람”. 스마트폰을 만들지 않고 모델만 만들어 모든 하드웨어 제조업체에 판매합니다.
  • 특징: 오픈소스 MiniCPM 시리즈를 출시하여 삼성 공급망에 진입했으며(삼성 Galaxy AI의 온-디바이스 기능 제공), 장안 마즈다의 차량에도 적용되었습니다.
  • 위험: 기사 마지막에 언급했듯이, 하드웨어 제조업체(애플, 화웨이)가 결국 자체 모델을 개발할 수 있으므로, 면벽과 같은 “순수 제3자” 모델 공급자는 한계에 부딪힐 수 있습니다.
  • 字节跳动(두파오) + 중싱 누비아:
  • 위치: “슈퍼 입구”를 만드는 곳입니다.
  • 특징: NaviX Ultra 스마트폰을 출시하여 “AI 지능체”를 강조합니다. 한 마디로 택시를 부르거나 밀크티를 주문할 수 있으며, AI가 앱을 직접 조작합니다.
  • 목적: 字节는 강력한 C단계 사용자 기반을 가지고 있으며, AI 스마트폰을 통해 두파오를 “채팅 도구”에서 “운영체제 수준의 도우미”로 업그레이드하여 사용자의 시간을 장악하려고 합니다.
  • 계단별성(소프트웨어 및 하드웨어 통합):
  • 위치: “전체 라인의 플레이어”입니다.
  • 특징: 인치(원 광시 기술 CEO)가 주도하며, 모델과 스마트폰(STEPX Neo)을 모두 만들고 지리와 협력하여 자동차를 개발합니다. 목표는 “모델-시스템-하드웨어”의 전체 체인을 통합하는 것입니다.
  • 지평선, 데사이시위(자동차 솔루션 제공업체):
  • 위치: “차량용 규격 전문가”입니다.
  • 특징: 지평선은 칩과 알고리즘을 모두 가지고 있으며, 데사이시위는 “온-디바이스-클라우드 협력”을 강조합니다. 자동차는 안전성과 실시간성이 매우 중요하므로 온-디바이스 AI가 필수적입니다.
  • 과대통신:
  • 위치: “오피스 생산성”을 강조합니다.
  • 특징: 오픈소스 별화X2.5 온-디바이스 모델을 출시하여 인터넷이 끊겨도 사용 가능하고 장문 처리가 가능하며, 기업 오피스 환경을 대상으로 합니다.

결론: 누군가는 모델을 판매하고(면벽), 누군가는 스마트폰을 만들고(字节, 계단), 누군가는 자동차를 만들고(지평선), 누군가는 생태계를 구축합니다(엔비디아). 모두가 온-디바이스 AI의 정의와 시장 진입을 놓고 경쟁하고 있습니다.

---

4. 상징적인 사건: 399달러의 “로봇”이 무엇을 이끌어냈는가?

기사는 엔비디아가 Hugging Face를 인수한 후, 그들의 자회사인 Pollen Robotics가 출시한 Microduck 로봇에 대해 특별히 언급했습니다. 이 사례는 매우 중요합니다. 이것은 온-디바이스 AI의 “ChatGPT 시대”를 상징합니다.

  • 왜 중요한가?
  • 매우 저렴한 가격: 399달러로, 2020년의 중급 칩 RK3566을 사용했으며, 고가의 최고급 GPU는 사용하지 않았습니다.
  • 오픈소스로 사용 가능: 사용자는 직접 훈련할 수 있으며, 데이터를 Hugging Face Hub에 업로드할 수 있습니다.
  • 데이터 순환: 수천 마리의 로봇이 실제 세계에서 데이터를 수집하여 알고리즘을 최적화합니다. 이러한 “데이터-알고리즘-하드웨어”의 순환은 비용이 매우 저렴하고 반복이 매우 빠릅니다