虎嗅

“당신이 DeepSeek Flash를 샀다고 생각하지만, 실제로는 1.5비트로 압축된 버전을 받을 수도 있습니다” – Pi 코어 기여자가 AI 토큰의 ‘블랙박스’ 문제에 대해 언급하다

原文:“你以为买的是DeepSeek Flash,到手可能是1.5 bit 缩水版”:Pi 核心贡献者谈AI Token 黑箱

핵심 내용 요약

이 팟캐스트 대담은 현재 AI 산업이 직면한 다섯 가지 주요 문제점을 밝혔습니다:

1. AI 모델과 토큰 시장의 극도로 불투명한 구조 (성분이 불분명한 상품을 구매하는 것과 같음)

2. 애플보다 더 강력한 생태계의 구속 (사용자가 단일 플랫폼에 고정됨)

3. 거액의 보조금에 의존하는 구독 모델 (실제 비용이 사용자가 인식하는 것보다 훨씬 높음)

4. 명령줄 인터페이스(터미널)가 예상치 못하게 에이전트(Agent)의 주요 사용 환경이 되어버림

5. 모델의 자율화로 인한 책임 소재의 불명확성

두 명의 패널리스트는 많은 사례와 비유를 통해 AI 산업의 “표면적인 번영” 아래에 숨겨진 깊은 모순들을 분석했습니다.

1. AI 토큰은 “성분이 불분명한 상품”과 같다

고급 AI 모델(예: DeepSeek Flash)을 구매했다고 생각하지만, 실제로는 압축된 “축소판”이거나 다른 모델이 혼합된 “혼합 제품”일 수 있습니다. 마치 50달러를 주고 10TB SSD를 샀지만 실제로는 몇 GB만 사용 가능한 경우와 같습니다.

  • 불투명한 “블랙박스”: 모델의 압축 비율, 실제 버전, 결제 방식 등이 모두 알 수 없습니다. 제3자 채널에서 토큰을 구매할 때, 그 토큰이 실제로 “데이터가 전혀 삭제되지 않았는지” 또는 저렴한 모델이 고가 모델로 위장되었는지 확인할 수 없습니다.
  • 모델 제조업체도 통제력을 잃고 있음: OpenAI의 내부 보안 연구자들은 불안해하고 있으며, Anthropic의 Dario는 “모든 작업이 사라질 것”이라고 공개적으로 말했습니다. 이는 과장이 아니라, 모델이 무엇을 학습하고 어떻게 작동하는지 점점 더 이해할 수 없기 때문입니다. 사용자들이 이를 신경 쓰지 않는 이유는 “아직 사용할 수 있기” 때문입니다. 마치 뜨거운 물에 개구리를 담가서 변화를 천천히 받아들이는 것과 같습니다.

2. 생태계의 구속: 애플보다 더 강력하며, 다른 플랫폼으로의 이동이 어렵다

모델 제조업체들은 사용자들을 자신들의 생태계에 고정시키기 위해 다양한 수단을 사용하고 있으며, 이는 애플이 안드로이드에 가하는 제한보다도 더 극단적입니다:

  • 암호화된 프롬프트: OpenAI의 멀티에이전트 조정 프롬프트는 암호화되어 있어, 메인 에이전트가 하위 에이전트에게 보내는 명령어는 OpenAI 내에서만 해독될 수 있습니다. OpenAI의 에이전트와 Anthropic의 에이전트가 협력하고 싶어도 불가능합니다.
  • 캐시 강탈: 모델을 변경할 때마다 캐시를 처음부터 다시 구축해야 하며, 많은 토큰을 소모하여 세션을 복구해야 합니다. 캐시의 유지 시간과 결제 규칙은 모두 제조업체가 결정하며, 이전할 수 없습니다. 마치 휴대폰을 교체할 때 이전 휴대폰의 캐시 데이터를 가져갈 수 없고 모든 앱을 다시 다운로드해야 하는 것과 같습니다.
  • 전용 툴: Anthropic의 Claude Code는 매우 비싸고 효율이 낮은 전용 툴을 사용해야 하며, 이는 다른 플랫폼보다 비용이 훨씬 높습니다. 마치 특정 브랜드의 배터리만 사용할 수 있는 장난감을 구매하는 것과 같습니다.

3. 구독 모델의 거품: 실제 비용이 숨겨지고, 보조금이 가치를 왜곡한다

매달 200달러를 내고 AI 서비스를 구독하는 것이 저렴해 보이지만, 실제 비용은 수천 달러에 이를 수 있습니다. 이는 “피트니스 클럽 모델”과 같습니다. 소수의 열성적인 사용자(예: Steve Yegge의 게임 프로젝트)는 매달 9만 달러를 소비하지만, 구독료로 인해 일반 사용자에게는 “저렴해” 보입니다.

  • 보조금의 대가: Steve Yegge의 게임 프로젝트는 연간 토큰 비용이 거의 100만 달러에 이르지만, 수입으로는 이를 감당할 수 없습니다. 보조금이 없다면 이 프로젝트는 시작부터 성공할 수 없었을 것입니다.
  • 가치 인식의 왜곡: 누군가는 3000달러의 토큰으로 3D 게임 장면을 만들었지만, “게임 산업이 끝났다”고 주장하지만, 아무도 불완전한 제품에 20배의 가격을 지불하려 하지 않습니다. 이는 보조금이 만들어낸 “거짓된 번영”입니다.
  • 암시장의 차익: 누군가는 보조금이 제공되는 구독 서비스(예: OpenCode 계정)를 대량으로 구매하여 재판매하는데, 이는 마치 승차권을 중개하는 것과 같습니다. 보조금이 있으면 항상 이를 이용하는 사람들이 있습니다.

4. 터미널의 “역전”: 명령줄 인터페이스가 GUI보다 더 유연해졌다

터미널 인터페이스가 이미 구식이라고 생각하십니까? 그렇지 않습니다! 이제 에이전트는 터미널에서 GUI에서는 할 수 없는 일들을 할 수 있습니다. 예를 들어, ffmpeg를 사용하여 비디오를 빠르게 처리할 수 있으며, GUI 도구들은 이에 따라잡지 못합니다.

  • 터미널이 에이전트의 주요 사용 환경이 되어버림: YC(실리콘밸리의 최고 엑셀러레이터)는 터미널 기반의 스타트업(예: Herdr)에 투자하기 시작했습니다. 왜냐하면 터미널은 에이전트가 가장 쉽게 탐색하고 사용할 수 있는 인터페이스이기 때문입니다. 이전에는 CLI가 일반 사용자에게는 이해하기 어려운 것이었지만, 이제 에이전트가 이를 도와주기 때문에 오히려 이점이 되었습니다.
  • 오래된 도구의 새로운 활용: tmux와 같은 터미널 멀티플렉서는 에이전트 중심의 도구로 개조되었으며, 에이전트의 실행 상태를 추적할 수 있습니다. 이전에는 쓸모없었던 도구들이 에이전트의 필요로 인해 갑자기 인기를 얻었습니다.

5. 에이전트의 자율화로 인한 우려: 책임 소재의 불명확성과 통제력 상실의 위험 증가

모델들은 점점 더 “자율적”으로 변하고 있습니다. Sol은 사용자가 잠든 동안 코드를 수정하거나 PR을 병합할 수 있으며, Claude Code는 도구 호출을 자동으로 승인합니다. 비용은 두 배로 증가하지만 효율은 “더 높아집니다”. 이는 “오버톤 창”(overton window)의 확장을 의미합니다. 즉, 허용되는 에이전트의 행동 범위가 계속 확대되고 있으며, “파괴적인 작동을 하지 않는 모델은 좋은 모델이 아닙니다”.

  • 책임 소재의 불명확성: 은행이 AI에게 코드를 수정하도록 한다면 문제가 발생했을 때 누가 책임을 지나요? OpenAI의 엔지니어인가요? 은행인가요? 아무도 없습니다. 책임 체계가 사라졌습니다.
  • 사용자의 무관심: 사용자들은 처음에는 에이전트가 PR을 병합하는 것에 불만을 가졌지만, 몇 달 후에는 익숙해질 수 있습니다. 마치 유럽에서 새로운 법률이 시행되어도 사람들이 무관심해지는 것과 같습니다.

이러한 변화들은 우리가 살고 있는 디지털 세계에 큰 영향을 미칠 것입니다. 우리는 이러한 변화에 대비하고, 새로운 기술을 이해하며, 그에 맞게 적응해야 합니다.