虎嗅

AI 거대 기업들이 속도 조절을 요구하기 시작하다: 안전의 이면에는 권력과 책임의 재조정이 진행 중입니다.

原文:当 AI 巨头开始要求减速:安全背后,权力与责任正在重新配对

AI 거인들이 속도를 줄이자고 외치다: “누가 결정권을 가질 것인가”에 대한 권력 재편

여러분, 저는 여러분의 금융 전문 기자입니다. 오늘은 Havenlon Labs에서 발표한 매우 심오한 기사에 대해 이야기하려고 합니다.

이 기사의 핵심 주장은 매우 날카롭습니다: 지난 몇 년 동안 AI 산업은 누가 더 빨리 발전할지 경쟁해왔지만, 이제는 가장 선두에 있는 AI 기업의 경영자들(예: Anthropic의 CEO Dario Amodei)까지도 공개적으로 “속도를 줄이자”고 촉구하기 시작했습니다.

그러나 이것은 단순히 두려움 때문이거나 안전을 위해서만은 아닙니다. 이것은 거대한 권력과 책임의 재분배를 의미합니다. 과거에는 AI 기업들이 무엇을 만들고, 어떻게 만들며, 언제 판매할지 스스로 결정했고, 이익은 기업이 가져갔으며, 문제가 생겨도 주로 기업이 책임졌습니다. 하지만 이제 AI의 영향력이 너무 커져서 문제가 생기면 사회 전체가 그 대가를 치러야 합니다. 그래서 사람들은 이제 이런 질문을 하기 시작했습니다: 결과가 공공의 것이라면, 결정권도 일부는 공공과 정부에게 주어져야 하지 않을까?

여러분이 이해하기 쉽도록 이 긴 기사를 다섯 가지 핵심 포인트로 나누어 설명해 드리겠습니다.

---

1. 핵심 모순: 개인의 결정, 공공의 재앙

【쉬운 설명】: 예전에는 당신의 집에 불이 나도 당신만 책임졌지만, 이제는 당신의 집뿐만 아니라 온 거리가 타버렸는데도 당신은 여전히 당신의 집에 대한 비용만을 감당해야 합니다.

기사에 따르면, 현재 AI 산업의 가장 큰 문제는 기술이 부족한 것이 아니라 **“권력”과 “책임”이 일치하지 않는다는 것입니다.

  • 현 상황: OpenAI, Anthropic과 같은 거대 기업들은 모델을 얼마나 강하게 훈련시킬지, 언제 출시할지, AI에게 얼마나 많은 자율성을 줄지를 스스로 결정합니다. 이러한 결정들은 기업 내부에서 조용히 이루어지며, 외부에는 알려지지 않습니다.
  • 문제: AI는 이제 단순한 채팅 로봇을 넘어서 금융, 의료, 사이버 보안, 심지어 군대에까지 진출했습니다. AI가 잘못된 결정을 내리거나 해커에 의해 악용될 경우, 그 결과는 단순히 기업의 파산에 그치지 않고 대규모 실업, 금융 붕괴, 사이버 마비를 초래할 수 있습니다.
  • 결론: 이것이 바로 “개인의 결정, 공공의 결과”입니다. 과거에는 기업이 이익과 손실을 스스로 책임졌지만, 이제는 기업의 결정이 전 인류에게 영향을 미칩니다. 그러므로 결과가 모두에게 영향을 미친다면, 정부와 공공도 결정에 참여할 권리가 있어야 합니다.

2. 역사적 교훈: 과학자들은 한때 “위험을 정의할” 특권을 가졌다

【쉬운 설명】: 예전에는 핵폭탄을 어떻게 만드는지만 과학자들이 알았기 때문에 그들만이 규칙을 정할 수 있었습니다. 지금은 AI 기업들만이 모델을 어떻게 만드는지 알기 때문에 그들이 규칙을 정하려고 합니다. 하지만 이것이 공정한가요?

기사는 두 가지 역사적 사례를 들어 왜 지금이 더 어려운지 설명합니다:

1. 1975년의 유전공학(Asilomar 회의): 재조합 DNA 기술이 처음 등장했을 때 매우 위험했습니다. 정부도, 일반 대중도 이해하지 못했지만, 연구를 하는 과학자들만이 알고 있었습니다. 그래서 사회는 과학자들의 말을 듣고 어떤 실험을 중단할지, 어떤 실험을 계속할지를 결정해야 했습니다. 중요한 점은: 누가 먼저 위험을 이해했는지에 따라 그 위험을 정의할 권리를 가졌습니다.

2. 1945년 이후의 핵무기: 원자력이 등장한 후, 미국은 군대의 손에서 통제권을 빼앗아 문관 기관(원자력위원회)에 넘겼습니다. 왜냐하면 과학자와 군대는 이러한 파괴적인 힘을 가지는 것이 적절하지 않다고 여겨졌기 때문입니다.

【AI에 적용】: 현재 상황은 1975년과 비슷하지만 더 복잡합니다. 최첨단 기술의 세부 사항을掌握한 것은 대학의 교수들이 아니라 거액의 자금을 받고 국가 전략적 임무를 맡은 민간 기업들입니다.

  • Anthropic은 METR과 같은 외부 팀을 초청하여 검토하자고 제안하는데, 이는 “내부 인사만이 알고 있다”는 문제를 해결하기 위함입니다.
  • 하지만 반대자들(David Sacks 등)은 이러한 외부 팀이 기업과 이해관계가 있는지 의문을 제기합니다. 감독자가 감독 대상에게 의존해야만 무엇을 규제해야 할지 알 수 있다면, 그 감독은 독립적인 것일까요?

3. 정치적 게임: 안전, 독점, 국가 경쟁의 삼각 관계

【쉬운 설명】: 누군가는 안전을 위해 속도를 줄이려 하고, 누군가는 중국이 앞질러가는 것을 막기 위해 가속페달을 밟으려 하며, 또 다른 누군가는 대기업의 독점을 막기 위해 속도를 줄이려 합니다. 모두가 안전을 말하지만, 실제로는 각자 다른 계산을 하고 있습니다.

기사는 세 명의 핵심 인물의 입장을 분석하며 그들이 사실은 같은 목표를 가지고 있지 않다는 것을 발견합니다:

1. Dario Amodei (Anthropic CEO) - “시스템적 위험론자”:

  • 주장: 반드시 속도를 줄여야 합니다.
  • 이유: AI의 발전이 너무 빠르고 안전이 따라잡지 못합니다. 큰 사고가 발생하면 아무도 책임지지 않을 것입니다.
  • 방법: 외부 평가를 도입하고, 먼저 민주국 내부에서 조정한 후 전 세계적으로 협력해야 합니다.
  • 의도: AI가 강력하다는 것은 인정하지만, 통제되지 않는 것을 두려워합니다. 또한 미국이 선두를 유지하기를 원하기 때문에 안전을 전제로 경쟁해야 합니다.

2. David Sacks (전 백악관 AI 고문) - “시장 및 반독점론자”:

  • 주장: 속도를 줄이고 싶으면 스스로 줄이세요. 다른 사람들을 방해하지 마세요.
  • 이유: “안전”을 핑계로 새로운 승인 체계를 만들어 업계의 진입 장벽을 높이지 말아야 합니다.
  • 핵심 주장: 제품에 문제가 생기면 법에 따라 “제품 책임”을 지면 됩니다. 정부의 사전 승인은 필요하지 않습니다. 그는 또한 외부 평가 기관의 독립성에 의문을 제기합니다.
  • 의도: 감독을 이용해 독점을 만들지 말아야 합니다. 대기업이 “안전을 위해 속도를 줄인다”고 말하지만, 실제로는 새로운 경쟁자의 진입을 막으려는 것입니다.

3. Donald Trump (전 대통령/정치인) - 국가 경쟁론자:

  • 주장: 규제를 완화하여 미국이 중국에게 뒤처지지 않도록 해야 합니다.
  • 이유: 너무 엄격한 규제로 인해 미국이 기술적으로 중국에게 뒤처질 수 있습니다.
  • 의도: 내 목표는 “AI의 안전”이 아니라 “미국의 강대”입니다. 속도를 줄이는 것이 안전을 가져온다면, 중국에게 뒤처지는 것을 감수할 수 없습니다.

【결론】: 이것은 단순히 “안전론자”와 “가속론자”의 대립이 아니라 기술 거버넌스, 시장 경쟁 규칙, 국가 안보 전략이 복잡하게 얽혀 있는 문제입니다.

4. 경제적 측면: 속도를 줄이는 것은 대기업에게는 작은 비용이지만, 소기업에게는 치명적입니다

**【쉬운 설명】: 모든 차량을 멈추고 브레이크를 검사하게 하면, 돈이 충분한 대형 트럭은 6개월 동안 멈춰도 문제없지만, 돈이 없는 소형 트럭은 6개월 동안 멈추면 파산할 것입니다. 이것이 “공정”한가요?

기사는 2008년 금융 위기를 예로 들어 “Too Consequential to Self-Govern”(결과가 너무 중대하여 스스로 관리할 수 없다)는 심오한 경제학적 문제를 제기합니다.

  • 표면적으로는 공정해 보입니다: 모든 AI 기업에게 6개월간의 안전 테스트를 의무화하면 모두에게 동등하게 적용되는 것처럼 보입니다.
  • 실제로는 불공평합니다:
  • 거대 기업(OpenAI, Anthropic): 수백억 달러의 현금을 보유하고 인프라가 잘 갖춰져 있습니다. 6개월 동안 멈추어도 문제없으며, 이 기간을 이용해 경쟁 우위를 강화할 수도 있습니다.
  • 스타트업: 아직 자금을 확보하지 못했고 현금으로 12개월만 버틸 수 있습니다. 6개월 동안 멈추면 바로 파산합니다.
  • 준수 비용: 새로운 안전 기준에 맞는 시스템을 구축하는 데 수천만 달러가 필요할 수 있습니다. 거대 기업에게는 비용이지만, 신규 진입자에게는 진입 금지가 됩니다.

【심층적 논리】:

  • 만약 AI 기업이 일반 제품 제공자와 같다면 Sacks의 말이 맞습니다: 각자가 책임을 져야 하며, 시장이 그에 따라 처벌할 것입니다.
  • 만약 AI 기업이 은행처럼 너무 크고 파산할 수 없다면 Amodei의 말이 맞습니다: 시장 메커니즘이 실패했으므로 집단적인 대응이 필요합니다.
  • 딜레마: 한 기업이 안전을 위해 6개월 동안 속도를 줄인다면, 경쟁자가 그 기간 동안 시장을 장악할 수 있습니다. 이때 시장은 신중함을 보상하는 것인가, 아니면 처벌하는 것인가? 이것이 바로 집단 행동의 딜레마입니다.

5. 궁극적인 질문: 만약 “속도를 줄이는 것” 자체가 잘못된 것이라면, 누가 책임을 져야 할까?

**【쉬운 설명】: 우리는 “가속”이 사고를 초래할 수 있다는 것을 걱정하지만, “속도를 줄이는 것”이 구명약을 놓칠 수 있는지는 거의 생각하지 않습니다. 브레이크를 잘못 밟으면 누가 책임을 져야 할까요?

이것은 기사에서 가장 흥미롭고도 가장 간과되기 쉬운 점입니다: Action Cost vs. Inaction Cost(행동의 비용 vs. 무행동