虎嗅

로봇의 야구 경기가 화제가 된 진실: 눈은 대여한 것이고, 뇌는 ‘가짜’입니다.

原文:机器人打球刷屏的真相:眼睛是借的,大脑是“假”的

로봇의 운동 기술이 멋지다고? “가짜 뇌”에 속지 마세요. 진짜 분수령은 여기에 있습니다.

안녕하세요, 여러분의 금융 기자이자 경제학자입니다. 최근에는 짧은 동영상을 보거나 기술 뉴스를 볼 때 “로봇이 탁구를 치는” 영상들이 많이 보입니다. 화면 속에서 공은 빠르게 날아가고, 로봇은 유연하게 움직이며 채를 휘둘러 실제 사람과 수백 번이나 대결할 수 있죠.

많은 사람들이 이를 보고 첫 반응은 “와, 로봇이 드디어 ‘뇌’를 가졌다! 이제 세상을 이해하고 동태를 파악할 수 있겠다!”입니다.

하지만 오늘은 여러분에게 차가운 물을 끼얹고 싶습니다… 아니, 그 찬물에 뚜껑을 씌우고 싶습니다.

기술 산업을 오랫동안 관찰해온 사람으로서, 전 바이두 자율주행 부서의 선임 엔지니어(가명: 린지위안)의 깊은 통찰을 바탕으로, 여러분에게 잔인한 진실을 말씀드리겠습니다: 이렇게 높은 지능을 가진 것처럼 보이는 ‘운동하는 로봇’들은 사실은 ‘맹인’, ‘인형’, ‘가짜 뇌’의 혼합체입니다.

이 말이 충격적일 수 있지만, 논리는 매우 명확합니다. 아래에서는 이 심층 보도를 쉬운 말로 다섯 가지 측면으로 나누어서 로봇이 진정한 ‘지능’에 얼마나 가까운지, 그리고 미래의 진짜 기회가 어디에 있는지 알아보겠습니다.

---

1. “기술 과시” 뒤에 숨겨진 진실: 그것은 “외부 도구”일 뿐, “내부 능력”이 아닙니다.

먼저, 로봇이 왜 그렇게 정확하게 칠 수 있는지 알아봅시다.

1. 로봇은 사실 ‘맹인’입니다.

로봇이 자신의 카메라로 공을 보고 친다고 생각하시나요? 틀렸습니다.

대부분의 시연 현장에서는 공장 바닥에 고정밀도의 외부 장치들이 설치되어 있습니다. 공에는 반사 물질이 발라져 있고, 바닥에는 밀리미터 단위로 표시가 되어 있습니다. 밖에는 수백만 원짜리 카메라와 센서 시스템이 있어 마치 수십 쌍의 ‘눈’처럼 공을 주시하고 있습니다.

이러한 외부 장치들은 실시간으로 공의 위치, 속도, 궤적을 계산한 후 로봇에게 “공이 왼쪽으로 올 거야, 채를 휘둘러!”라고 알려줍니다.

이것은 마치 눈을 감고 운전하는데 옆에 내비게이터가 매초마다 “왼쪽으로 돌려”, “오른쪽으로 돌려”라고 외치는 것과 같습니다. 차는 정확하게 돌아가지만, 운전하는 사람(로봇)은 스스로 길을 ‘보지’ 못합니다.

2. 로봇은 조종되는 ‘인형’입니다.

이러한 방식은 기술적으로 “원격 조종”的 고급 버전이라고 할 수 있습니다. 누군가가 리모컨을 잡고 있는 것은 아니지만, 전체 시스템이 자동으로 작동합니다. 중요한 것은 감지(공을 보는 것)와 결정(어떻게 칠지)이 로봇 자체에서 이루어지지 않고, 바깥의 거대한 장치에서 이루어진다는 것입니다.

이것은 자율주행에서의 ‘고정밀 지도’와 같습니다. 예전에는 고정밀 지도가 매우 뛰어나다고 생각했지만, 지도 범위를 벗어나거나 도로 상황이 변하면 차가 제대로 작동하지 않았습니다.

로봇의 운동도 마찬가지입니다. 반사 공과 고정된 위치, 표시된 바닥이 없는 낯선 환경에서는 로봇이 제대로 작동하지 못할 가능성이 높습니다.

3. ‘소뇌’는 강하지만, ‘뇌’는 부족합니다.

물론 로봇이 아무것도 하지 못하는 것은 아닙니다.

“여기를 치라”는 명령을 받으면 신체의 균형을 조정하고, 걸음을 내딛고, 채를 휘두릅니다. 이는 로봇의 ‘소뇌’(운동 제어 능력)가 크게 발전했다는 것을 의미합니다. 로봇의 몸은 매우 조화롭고 반응이 빠릅니다.

하지만 ‘소뇌’가 강하다고 해서 ‘뇌’가 자율적으로 작동하는 것은 아닙니다.

진정한 사람은 눈으로 상대의 동작을 관찰하고 경험을 바탕으로 공의 궤적을 예측하며 불완전한 정보에서도 판단을 내립니다. 반면 현재의 로봇은 외부 시스템이 제공하는 ‘표준 답’에 의존합니다.

결론: 현재의 시연은 ‘운동 제어’ 능력을 보여주는 것이지 ‘인지 지능’을 보여주는 것이 아닙니다.

---

2. 진정한 ‘뇌’의 문제: 보았다고 해서 제대로 했다는 것은 아닙니다.

어느 날 기술이 발전하여 로봇이 자신의 카메라로 공을 제대로 볼 수 있다고 가정해 봅시다. 그렇다고 해서 로봇이 ‘뇌’를 가졌다는 것일까요?

아닙니다. ‘보는 것’은 첫 번째 단계일 뿐, 더 어려운 것은 ‘결정하는 것’입니다.

1. 가장 위험한 실패: 로봇이 틀렸지만, 스스로 모릅니다.

상상해 보세요: 로봇이 컵을 테이블에 올려놓아야 합니다. 로봇은 컵을 잡고, 움직이고, 내려놓습니다. 동작은 완벽해 보입니다.

하지만 컵이 기울어져서 물이 샙니다.

실험실에서는 연구원이 “아, 이번에는 잘 안 됐어, 다시 해”라고 말할 수 있습니다.

하지만 실제 세계에서는 이것이 사고입니다.

진정한 ‘뇌’는 동작을 수행하는 것뿐만 아니라 ‘결과를 확인’할 수 있어야 합니다.

로봇은 자신의 동작이 적절했는지 판단해야 합니다. 만약 아니라면 다시 시도해야 할까요, 수정해야 할까요, 아니면 포기해야 할까요?

현재의 많은 로봇은 명령만 수행하는 신입사원과 같습니다. 상사가 “컵을 테이블에 올려놓아”라고 하면 그대로 합니다. 로봇은 컵이 안정적인지 스스로 확인할 수 없습니다.

이러한 ‘자가 검증’ 능력의 부족이 로봇의 가장 큰 약점입니다.

2. 모델은 통합되었지만, ‘책임’은 사라지지 않습니다.

현재 업계에서는 AI 모델이 점점 커지고 있습니다(예: VLA 모델). 과연 앞으로는 복잡한 분산 시스템이나 안전 검사가 필요 없게 될까요? 하나의 거대한 모델로 모든 것을 처리할 수 있을까요?

린지위안은 자율주행 분야에서의 10년 경험을 바탕으로 말합니다: 그렇지 않습니다.

지난 10년 동안 자율주행은 여러 독립적인 모듈(감지, 계획, 제어)이 하나의 큰 모델로 통합되었습니다. 하지만 ‘브레이크’, ‘경보’, ‘고장 처리’와 같은 기능은 사라지지 않았습니다. 단지 형태만 바뀌었을 뿐입니다.

모델은 통합될 수 있지만, 책임의 경계는 사라지지 않습니다.

사용자는 코드가 하나의 큰 모델에 있든 여러 개의 작은 모델에 있든 상관하지 않습니다. 사용자가 관심하는 것은 로봇이 실수했을 때 멈출 수 있는지, 도움을 요청할 수 있는지, 더 큰 재앙을 피할 수 있는지입니다.

모델이 더 똑똑해진다고 해도 스스로 실수를 모른다면 그것이 가장 큰 위험입니다.

3. 현실 세계는 ‘천천히 생각할’ 시간을 주지 않습니다.

큰 모델은 똑똑하지만, 생각하는 데 시간이 필요합니다.

공이 날아오거나 로봇의 팔이 벽에 부딪힐 때, 현실 세계는 로봇이 생각을 마치기를 기다려주지 않습니다.

따라서 미래의 로봇은 ‘뇌’와 ‘소뇌’가 결합되어야 합니다:

  • 뇌(느린 생각): 작업을 이해하고, 전략을 계획하며, 복잡한 논리를 처리합니다.
  • 소뇌(빠른 반응): 균형을 맞추고, 장애물을 피하며, 빠르게 반응합니다.

이 둘의 조합이 핵심입니다. 지금 “VLA 모델”과 “세계 모델” 중 어느 것이 더 좋은지 논하는 것은 아직 이르습니다. 중요한 것은 어떤 아키텍처가 로봇을 더 빠르고 안정적으로 만들 수 있는지입니다.

---

3. ‘성공률’에 속지 마세요: 진정한 생산성 지표는 ‘사람을 대체하는 시간’입니다.

많은 회사들이 데이터를 자랑합니다: “우리 로봇의 잡기 성공률은 99%입니다!”

멋지게 들리죠?

하지만 린지위안에 따르면 이 지표는 전혀 의미가 없습니다.

1. 유일하게 중요한 지표는: 로봇이 사람을 얼마나 오래 대체할 수 있는가?

단 한 번의 동작 성공률만 보면 쉽게 좋은 결과를 얻을 수 있습니다. 가장 좋은 조건, 가장 간단한 물체, 이상적인 거리를 선택하여 테스트할 수 있습니다.

하지만 실제 생산성은 가치 있는 작업에서 로봇이 얼마나 지속적이고 안정적으로 사람을 대체할 수 있는가를 보는 것입니다:

  • 1시간? 1일? 아니면 1개월?
  • 그동안 몇 번의 고장이 발생했나요?
  • 고장 후 얼마나 빨리 복구되었나요?
  • 얼마나 많은 인간의 개입이 필요했나요?

이 지표는 ‘작업의 가치’, ‘안정성’, ‘이상 복구’, ‘인간 비용’을 모두 고려합니다. 이 지표는 조작하기 어렵습니다. 왜냐하면 이것이 장기적인 실제 능력을 반영하기 때문입니다.

2. 실제 세계가 최고의 ‘교사’입니다.

실험실에서는 연구원이 ‘성공’을 정의할 수 있습니다.

하지만 공장에서는 페인트가 고르지 않으면 불량입니다; 점검에서 볼트를 놓치면 사고입니다.

실제 생산 환경은 자연스럽고 혹독한 평가 시스템을 제공합니다.

사람(작업자, 품질 검사원)이 직접 “틀렸어, 다시 해”라고 말해줍니다.

이러한 ‘실제 피드백’은 실험실에서 돈으로도 살 수 없는 귀중한 데이터입니다.

따라서 로봇이 똑똑해지려면 실험실에서만 연습하는 것이 아니라 실제 상황에서 ‘시험’을 받아야 합니다. 실제 상황에서 어려움을 겪어야만 어디가 아픈지 알 수 있고 진정으로 진화할 수 있습니다.

---

4. 60점을 넘은 후에는 모델이 아니라 ‘데이터의 질’과 ‘이전 능력’이 중요합니다.

업계에는 이런 말이 있습니다: 로봇이 60점에 도달하기 전까지는 모델과 데이터에 의존하지만, 60점을 넘으면 엔지니어링에 의존합니다.

린지위안은 이에 전적으로 동의하지 않습니다. 그는 **60점을 넘어서도 데이터 경쟁은 계속되지만, 데이터에 대한 요구가 달라진다