핵심 내용 요약
최근 전 세계 AI 업계에서 조회수가 1억 건을 돌파하는 큰 사건이 발생했습니다. 지난 4일 동안 OpenAI, Anthropic, Google DeepMind와 같은 세계 최고의 AI 기업의 핵심 연구원 7명(이 중 절반은 AI 보안 관리를 담당하는 인사들)이 공개적으로 발언하여, 현재 전 업계가 열심히 개발 중인 “자가 업그레이드가 가능한” 초고성능 AI가 2030년 이전에 인류의 생존을 위협할 수 있으며, 심지어 인류의 멸망을 초래할 수도 있다고 경고했습니다. 이 발언을 주도한 Anthropic의 연구원 Coxon은 진실을 말하기 위해 단 2개월 만에 받을 수 있었던 거액의 회사 지분을 포기했으며, 이는 수백만 달러의 수익을 그냥 버리는 것과 같았습니다. 이는 회사 주가를 부풀려 트래픽을 얻으려는 의도가 없었음을 명확히 보여줍니다. 이번 발언은 단순한 업계 소문이 아니라, 오랫동안 숨겨져 있던 AI 업계의 복잡한 현실을 드러낸 것입니다. AI에 가장 잘 알고 있는 사람들이 한편으로는 자신들이 만든 기술이 인류를 파괴할 수 있다는 두려움을 가지고 있으면서도 다른 한편으로는 연구 개발을 멈출 수 없는 상황입니다. 이는 전체 업계의 인센티브 메커니즘에 큰 문제가 있음을 시사하며, 모든 사람들에게 경고합니다: 우리는 “AI 신화”와 “AI 종말”이라는 두 극단 사이에서 오가지 말고, 이제는 AI 발전에 대한 발언권을 요구해야 합니다.
---
상세한 해석
1. 이번 AI 경고는 일반적인 마케팅 전략이 아닙니다
이전에 많은 사람들이 AI 기업이 “기술이 위험하다”고 말할 때, 그 반응은 오히려 기술의 위력을 과장하는 것이었습니다: “우리 기술이 세계를 파괴할 수 있을 정도로 강력하니, 서비스를 구매하거나 주식에 투자하세요.” 하지만 이번 경우는 전혀 다릅니다:
- 발언을 주도한 Coxon은 거액의 지분을 포기하며 이런 말을 했으며, 이는 회사 가치를 부풀려 이익을 얻으려는 의도가 전혀 없었습니다;
- 발언한 7명 중에는 Anthropic의 “확장 가능한 감독 책임자”와 “정렬 과학 책임자”도 포함되어 있으며, 이들은 회사가 AI의 통제를 맡는 핵심 인사들입니다. 이들이 “우리가 만든 기술이 실제로 지구를 파괴할 수 있다”고 말한 것은 전문가들의 진지한 경고입니다;
- 실리콘밸리에서 전해지던 “AI 업계 종사자들이 퇴사하면 시를 쓰며 가족과 시간을 보낸다”는 농담은 원래 AI 업계의 압박과 위험을 비판하는 데 사용되었지만, 이제는 현실이 되어 AI 업계의 공포심이 더 이상 숨겨지지 않음을 보여줍니다.
2. 가장 터무니없는 업계의 역설: AI의 멸망을 두려워하는 사람들이 오히려 AI 개발을 촉진하고 있습니다
많은 사람들이 이 소식을 보고 당황할 것입니다: 이들이 AI가 인류를 파괴할 수 있다는 것을 알면서도 왜 연구 개발을 멈추지 않는 걸까요? 사실 이는 그들의 위선이 아니라, 전체 업계가 벗어날 수 없는 “악순환”에 빠져 있기 때문입니다:
모든 주요 AI 기업들은 “내가 속도를 줄이면, 안전을 전혀 고려하지 않는 작은 기업이나 악의적인 사람들이 먼저 초고성능 AI를 개발할 것이고, 그때가 더 위험해질 것이기 때문에 나는 다른 이들보다 더 빨리 움직여야 한다”고 생각합니다. 그래서 모두가 속도를 내는 결과, 업계 전체의 속도가 점점 빨라지고, 아무도 브레이크를 밟지 않습니다. 결국 기업들이 벌어들인 돈은 모두 자신들의 것이 되고, 만약 AI가 실제로 파괴적인 문제를 일으키면 그 결과는 전 인류가 함께 감당해야 합니다. 이런 메커니즘에서는 업계 종사자들이 양심에 따라 속도를 줄일 것이라고 기대할 수 없습니다.
3. “종말 이야기”에 휩쓸리지 마세요: 현재의 AI로 인한 피해는 10년 후의 멸망보다 더 현실적입니다
많은 사람들이 이 소식을 보고 불안해하거나 이들이 과장된 경고를 하는 것이라고 생각할 수 있지만, 사실은 그렇지 않습니다. “AI가 10년 후에 인류를 멸망시킬 것인가”에 대한 논의는 AI가 일으키는 현재의 피해를 간과하게 만듭니다:
AI 사기로 많은 사람들이 재산을 잃었으며, AI를 활용한 면접으로 많은 사람들의 취업 기회가 박탈되었으며, 소수의 대형 AI 기업들이 보유한 사용자 데이터와 의사결정 권한은 많은 국가의 권력보다도 큽니다. 이러한 피해는 AI가 “깨어나” 사람을 죽이기 전에 이미 발생하고 있습니다.
더 큰 문제는 대중이 모든 관심을 “먼 미래의 종말 위험”에 집중하면, 결국 “AI를 만든 사람만이 AI의 위험을 정의할 수 있는 권리를 가지게 되어”, 대중은 아무런 발언권도 갖지 못하게 되고, 이들 기업의 권력은 더욱 무제한적으로 커집니다.
4. 우리 일반인들은 어느 쪽에도 서지 않아도 됩니다. 단 3가지 실질적인 권리만 요구하면 됩니다
현재 여론은 사람들을 두 극단으로 몰아넣는 경향이 있습니다: 이들이 주장하는 것이 주가를 올리기 위한 거짓말이라고 생각하거나, AI가 곧 멸망할 것이라고 생각하여 무력해져야 한다고 생각합니다. 하지만 그럴 필요는 없습니다.
전 세계 2,700명 이상의 최고 AI 전문가들의 조사에 따르면, 38%는 AI가 인류를 멸망시킬 가능성이 최소 10%라고 생각하며, 70%는 AI 보안 연구에 대한 투자가 충분하지 않다고 생각합니다. 이는 몇몇 미친 사람들의 광기가 아니지만, AI가 반드시 멸망할 것이라는 확실한 증거도 없습니다.
우리 일반인들은 대형 모델의 파라미터나 정렬 기술을 이해할 필요가 없으며, 단 3가지만 명확히 요구하면 됩니다: 첫째, AI 기업이 새로운 강력한 모델을 개발할 때, 기업이 마음대로 출시할 수 없으며, 기업의 이익과 무관한 제3자 기관이 안전성을 검사해야 합니다; 둘째, 기업 내부 직원이 AI의 위험을 발견했을 때, 비밀 유지 계약으로 인해 말을 할 수 없어야 하며, 안전한 익명 신고 체계가 필요합니다; 셋째, AI가 실제로 문제를 일으켰을 때, 일반 대중이 그 피해를 감당하지 않아야 하며, 기업이 모든 책임을 져야 합니다.
결국, 아무도 전 인류의 운명을 자신의 사업적 성공에 걸 자격이 없으며, 그들이 “인류를 보호하기 위해”라고 말한다고 해도 마찬가지입니다.