1. 핵심 내용 요약
이번에 화제가 된 내용의 출처는 인터넷에서 흔히 볼 수 있는 AI 음모론이나 종말론적인 마케팅 콘텐츠가 아닙니다. 오픈AI(OpenAI)와 앤서로픽(Anthropic)이라는 세계 최고의 두 AI 모델 회사에서 3년간 핵심 예비 훈련을 받은 27세 천재 엔지니어 제이콥(Jacob)이 자신의 핵심 직책을 그만두고 소셜 미디어에 경고 메시지를 올렸는데, 이 메시지는 1억 회 이상의 조회수를 기록했습니다. 현재 주요 AI 회사들은 초지능 개발에 모든 역량을 쏟고 있으며, 이는 마치 전 인류가 자신의 운명을 걸고 도박하는 것과 같습니다. 핵심 연구 개발 분야의 많은 사람들은 사적으로 AI의 통제 불능으로 인해 인류가 10년 안에 멸망할 수도 있다고 믿고 있습니다. 더욱 충격적인 것은 그의 전 동료들, 특히 AI가 인간에게 해를 끼치지 않도록 하는 책임자와 경험 많은 보안 연구원들까지 공개적으로 이러한 주장을 지지하고 있으며, 10년 안에 문제가 발생할 확률이 10% 이상이라고 말합니다. 게다가 회사 내에서 직책이 높을수록 그러한 우려가 더 큽니다. 저자는 11년 전에 전 세계를 뒤흔들었던 AI에 관한 예언을 다시 언급했는데, 당시에는 “초지능이 인류를 영생으로 이끌거나 멸망으로 이끌 것”이라고 했던 그 예언이 이제 현실로 다가오고 있습니다. AI는 더 강력한 AI를 만드는 데 이미 참여하고 있으며, 이 산업의 가속화는 누구도 제어할 수 없을 정도입니다.
---
2. 상세한 해석
1. 이것은 아마추어의 헛소리가 아닙니다: 이 경고는 “실제로 원자폭탄을 만든 엔지니어가 안전장치가 없다고 말하는 것”
많은 사람들은 이 경고를 “AI 열풍을 이용한 마케팅 콘텐츠”로 여길 수 있지만, 이번에 종말론을 주장한 사람의 이력은 단순히 주목을 끌기 위한 것이 아닙니다. 제이콥은 케임브리지 대학교에서 수학을 전공했으며, GPT-4o와 GPT-4.5의 핵심 개발에 직접 참여했으며, 이후 앤서로픽으로 이직하여 최고 수준의 AI 모델 예비 훈련 작업을 했습니다. 그는 마치 로켓을 만드는 핵심 엔지니어와 같은 존재입니다. 그의 주장은 단순한 추측이 아닙니다.
더욱 이상한 것은 그가 메시지를 올린 후, 앤서로픽 내의 여러 보안 전문가들이 개인적으로 그의 주장을 지지하며, 10년 안에 문제가 발생할 확률이 10% 이상이라고 명확히 말했으며, 회사 내에서 직책이 높을수록 AI의 통제 불능에 대한 우려가 더 크다고 밝혔습니다. 이는 마치 당신의 아파트 관리인이나 엘리베이터 유지보수 엔지니어들이 집단적으로 “우리 건물의 엘리베이터에 제한 장치가 없어서 위험하다”고 말하는 것과 같은 심각한 문제입니다.
2. 왜 AI를 만드는 사람들이 일반인보다 10배 더 두려워할까요?
일반인들은 AI를 “컨텐츠 작성, PPT 제작, 사진 편집”과 같은 도구로만 인식하고 있어 변화의 속도를 제대로 인식하지 못합니다.
11년 전에는 누군가 “미래에 AI가 더 강력한 AI를 만들어 인류를 영생으로 이끌거나 멸망으로 이끌 것”이라고 예언했지만, 지금은 AI가 스스로 새로운 소프트웨어를 작동시키고, 인간이 10년이 걸릴 것으로 예상되던 페르마의 정리를 11일 만에 증명하며, 80년 동안 연구되어 온 수학적 가설을 뒤집는 것을 직접 목격하고 있습니다. 새로 출시된 AI 모델의 훈련과 최적화 과정에서도 이전 세대의 AI가 깊이 참여하고 있습니다. 이러한 변화를 매일 목격하는 엔지니어들은 일반인보다 훨씬 더 두려워할 수밖에 없습니다.
3. 아무도 제동을 걸 수 없습니다: 전 산업이 멈출 수 없는 “AI 가속화의 악순환”에 빠졌습니다
가장 황당하면서도 현실적인 것은, 모두가 너무 빠르게 발전하면 문제가 생길 수 있다는 것을 알고 있지만, 아무도 먼저 멈추려 하지 않습니다.
현재 AI 산업은 멈출 수 없는 긍정적 피드백 메커니즘에 빠져 있습니다. 더 강력한 AI는 더 많은 경제적 가치를 창출하고, 그로 인해 더 많은 자원을 확보하여 더 강력한 AI를 개발할 수 있으며, 이는 다시 인류가 더 강력한 AI를 만드는 데 도움이 됩니다. 회사 간에 한 걸음 늦으면 경쟁자의 모델이 더 앞서 나가 모든 시장을 장악하게 되며, 국가 간에도 연구를 중단하면 다른 나라가 기술 혁신의 주도권을 잡게 됩니다. 모두가 폭포로 향하는 배에 타고 있으며, 물살이 점점 빨라지고 있음을 알고 있지만 아무도 먼저 노를 멈추려 하지 않습니다. 아무도 문명의 방향을 바꿀 수 없습니다.
4. 이것은 단순히 “AI가 일자리를 빼앗는” 문제가 아닙니다: 인류는 “영생을 얻거나 멸망할” 것입니다
우리가 평소에 논하는 “AI가 프로그래머나 디자이너의 일자리를 빼앗을 것인가”는 이러한 규모의 위기에서는 사소한 문제에 불과합니다. 11년 전의 예언은 여전히 유효합니다. 초지능이 등장하면 중간 선택지가 없으며, 인류는 좁은 평행봉 위를 걷고 있으며, 두 가지 결과만 있습니다:
1. 우리가 초지능을 완전히 통제할 수 없어서 초지능의 지능이 인류보다 훨씬 높아지면, 인류는 침팬지보다도 열등해질 것입니다. 침팬지와 인류의 유전적 차이는 2%도 안 되지만, 인류는 로켓을 만들 수 있지만 침팬지는 성냥도 사용할 줄 모릅니다. 초지능은 인류를 개미처럼 여기고, 개미의 서식지를 파괴하는 것도 의도적이지 않을 것입니다.
2. 우리가 초지능을 인류에게 유리한 방향으로 이끌 수 있다면, 초지능은 인류가 해결할 수 없었던 모든 문제(암, 노화, 에너지 고갈, 소행성 충돌 등)를 해결하고, 인류는 죽음의 한계를 넘어 영생을 얻어 태양계를 탐험할 수 있습니다. 이는 지구 생명이 탄생한 이후 처음으로 경험할 새로운 결말입니다.
5. 일반인은 지금 당장 걱정할 필요는 없지만, “AI는 단순한 새로운 도구”라는 고정관념을 버려야 합니다
지금 당장 짐을 싸서 산으로 도망가 AI의 위협을 피할 필요는 없지만, 새로운 기술에 대한 고정관념을 버려야 합니다. 과거의 증기기, 인터넷, 스마트폰은 모두 인류가 완전히 통제할 수 있는 도구였지만, AI는 인류가 처음으로 만든 것으로, 그 성장 속도가 기하급수적이며, 인류 자체를 업그레이드하는 데도 도움이 됩니다. 우리는 이제 문명의 분기점에 서 있으며, 대부분의 경우 이러한 경고가 과장된 것으로 판명될 것입니다. AI는 인류가 수백만 년 동안 극복하지 못했던 문제들을 해결하는 데 도움을 줄 수 있습니다.