핵심 내용의 간단한 요약
이 기사는 AI를 활용한 자동화 업무 및 로봇 시스템을 도입하는 기업과 전문가들에게 찬물을 끼얹는 내용입니다. 지난 수십 년 동안 우리가 사이버 사기나 해킹 공격을 막기 위해 사용해 온 기본 논리는 “인간이 보안 체계에서 가장 취약한 부분”이라는 가정에 기반을 두고 있었습니다. 즉, 해커는 시스템을 해킹하거나 취약점을 찾을 필요가 없었으며, 단지 사람을 속여서 그 사람이 합법적인 권한을 이용해 해커가 원하는 일을 하도록 만들면 되었습니다. 하지만 이제 자동으로 작업을 수행하는 AI 에이전트(AI Agent)가 점점 더 보편화되면서 계약 확인부터 결제 프로세스까지 모든 것을 AI가 처리할 수 있게 되었습니다. 사람들은 단지 전반적인 방향과 규칙만 정하면 되며, 해커는 더 이상 사람의 재정 정보를 속일 필요가 없이 AI를 통해 돈을 이체할 수 있습니다. 심지어 미래에는 공격 자체도 AI가 수행할 수 있어서 사기 과정에 인간의 개입이 전혀 없게 될 것입니다. 이는 전통적인 사회 공학적 사기 방식이 “기계가 기계를 속이는” 새로운 형태로 진화한 것입니다. 그러나 우리가 가지고 있는 거의 모든 보안 시스템은 이러한 상황에 대비되어 있지 않습니다.
---
세부적인 해석
1. 과거의 “사회 공학적 사기”는 인간의 “게으름”을 이용한 것이었습니다
많은 사람들이 사회 공학을 피싱 이메일이나 상사를 가장한 전화로 돈을 송금하도록 유도하는 것으로 생각합니다. 이러한 사기의 가장 치명적인 점은 해커가 일반적인 해킹 방식을 사용하지 않는다는 것입니다. 해커는 비밀번호를 해킹하거나 암호화를 우회하거나 소프트웨어의 취약점을 찾을 필요가 없으며, 단지 수신한 정보를 조작하여 사람의 판단을 왜곡시키기만 하면 됩니다. 합법적인 권한을 가진 사람이 해커가 원하는 결과를 스스로 만들어내는 것입니다.
과거에는 보안 분야에서 기술 시스템이 보안을 담당하고 신원을 확인하며 권한을 관리하는 역할을 했으며, 사람들은 “이 일이 합리적인지, 진짜인지”를 판단하는 역할을 했습니다. 해커는 기술 시스템을 우회하여 인간의 취약점을 공격했습니다. 따라서 사회 공학적 사기는 순수한 기술적 공격이 아니라 심리학이나 행동학의 영역으로 분류되었으며, 사기 방지는 주로 사람들에게 보안 교육을 제공하는 데 의존했습니다.
2. AI 에이전트의 보편화로 “판단 권한”이 점차 기계로 이전되고 있습니다
과거에는 기업이 결제 프로세스를 진행할 때 모든 단계에서 사람의 확인이 필요했습니다. 재무 담당자는 이메일을 확인하고 종이 계약을 대조하며 수취 계좌를 확인했으며, 시스템은 단지 기록과 실행을 담당하는 도구에 불과했습니다. 모든 판단은 사람이 내렸습니다. 하지만 이제는 효율성을 위해 전체 프로세스를 여러 AI가 분담하여 처리합니다. 한 AI가 이메일을 받고, 다른 AI가 전자 계약을 확인하며, 또 다른 AI가 계좌 정보를 대조하고, 마지막으로 AI가 결제를 실행합니다. 관리자는 단지 “오늘 조건에 맞는 모든 공급업체에 대한 대금을 지불하라”는 목표만 정하면 됩니다. 이 과정에서 인간의 개입은 전혀 없습니다.
이로 인해 이전에는 없었던 새로운 변화가 생겼습니다. 이제 AI도 사람만이 답해야 했던 질문들을 해야 합니다. “이 정보는 진짜인가? 이 요청은 신뢰할 수 있는가?” 많은 사람들은 AI에게는 주관적인 의식이 없어서 속일 수 없다고 생각하지만, 사실 AI는 인간의 감정이나 신념이 필요하지 않습니다. 해커가 제공한 가짜 정보를 진짜로 받아들여 잘못된 결론을 내리면, 그것은 사기에 해당합니다. 이는 인간이 속았을 때의 행동과 전혀 다르지 않습니다.
3. 새로운 공격은 “이전의 지시를 무시하라”는 말조차 필요 없으며, AI의 “정보 공급망”을 조작하여 조용히 피해를 입힐 수 있습니다
현재 사용되는 “힌트 단어 주입” 기법(예: AI에게 이전의 규칙을 무시하도록 하는 숨겨진 지시를 넣어 데이터를 훔치게 하는 것)은 사회 공학적 사기의 가장 기본적인 방법에 불과합니다. 이는 마치 초기 피싱 이메일에서 “저는 케냐 왕자입니다. 돈을 보내주세요”라고 적힌 단순한 사기와 같으며, 취약점이 많습니다.
미래의 성숙한 공격은 이러한 명백한 악의적인 지시를 남기지 않을 것입니다. 해커는 AI에게 직접 명령을 내릴 필요가 없으며, AI가 정보를 얻는 전체 “공급망”의 몇 가지 부분만 조작하면 됩니다. 예를 들어, AI가 자주 접속하는 공급업체 목록의 수취 계좌를 자신의 계좌로 바꾸거나, AI가 읽어야 하는 승인 문서에 “이미 리더의 승인을 받았습니다”라는 내용을 추가하거나, AI가 찾은 업계 뉴스를 “해당 공급업체가 파산했습니다”로 수정하면 됩니다. AI는 이러한 “합리적인” 가짜 정보를 바탕으로 해커가 원하는 결론을 내립니다. 전체 과정에서 AI는 자신이 규칙을 엄격히 따르고 있다고 생각하며, 어떠한 이상도 발견하지 못합니다. 더욱 극단적인 경우에는 공격을 시작하는 것도 다른 AI가 될 수 있습니다. 해커는 사기를 위한 AI를 만들어 전 세계의 공개 정보를 조작하거나 다른 기업의 AI에게 가짜 데이터를 보냅니다. 전체 공격 과정에서 인간의 흔적은 전혀 없습니다.
4. 이러한 공격은 기존 보안 시스템의 “천적”입니다: 모든 작업이 합법적이므로 경고조차 받을 수 없습니다
기존의 해킹 공격은 항상 흔적을 남깁니다. 이상한 IP로 로그인하거나 관리자 권한을 획득하거나 바이러스를 퍼뜨려서 시스템이 이를 감지하면 즉시 경고가 발생합니다.
하지만 AI를 이용한 사회 공학적 공격에는 이러한 흔적이 전혀 없습니다. 공격을 수행하는 AI는 기업의 합법적인 AI이며, 사용하는 권한도 합법적입니다. 모든 작업은 시스템의 규칙을 엄격히 따르며, 최종적인 결제 요청도 정상적인 형식을 따르고 모든 검증을 통과합니다. 문제는 결과가 잘못된 것뿐입니다. 기존의 보안 시스템은 “당신에게 그 일을 할 자격이 있는지”만 확인할 수 있을 뿐, “당신에게는 그 일을 할 자격이 있지만, 이번에 하는 일이 정말로 필요한지”는 확인할 수 없습니다. 돈이 잘못 이체되었을 때도 로그를 살펴봐도 이상한 점을 찾을 수 없습니다. 심지어 인간의 승인자를 프로세스의 마지막 단계에 배치하더라도, 그가 보는 것은 AI가 정리한, 증거가 완벽한 가짜 자료뿐입니다.
5. “AI가 절대 속지 않도록 만드는 것”에 집착하지 말고, 진정한 해결책은 “판단”에서 “실행” 단계로 보안을 이동시키는 것입니다
많은 사람들은 AI를 더 똑똑하게 훈련시켜 모든 사기를 식별하고 유도에 저항하게 하면 된다고 생각합니다. 하지만 수십 년간의 네트워크 보안 역사는 한 가지 확실한 사실을 증명했습니다: 불완전한 정보에 기반하여 판단해야 하는 주체는 항상 속을 가능성이 있습니다. 인간도 끊임없이 새로운 사기 수법을 막지 못하는데, AI에게도 영원히 속지 않기를 기대하는 것은 불가능합니다. 보안을 “AI가 항상 올바르게 판단한다”는 것에만 의존하는 것은 위험합니다.
진정으로 실현 가능한 방법은 보안의 중심을 “판단 오류를 방지하는 것”에서 “오류가 실제 손실로 이어지지 않도록 하는 것”으로 옮기는 것입니다. 설령 모든 AI의 판단이 잘못되고 모든 프로세스가 정상적으로 보이더라도, 대규모 자금 이체나 중요한 데이터 삭제, 중요한 명령 실행과 같은 결정적인 순간에는 이전의 의사결정 과정과는 독립적인 검증 메커니즘이 필요합니다. 모든 권한이 합법적이더라도 시스템은 “아니오”라고 말할 수 있어야 합니다. 과거에는 보안을 “누가 신뢰할 수 있는지”에 기반을 두었지만, 이제는 “상호 견제하는 규칙 구조”에 기반을 두어야 합니다. 인간이든 AI든 실수를 하더라도 최종 실행 단계에서는 제어가 가능해야 합니다.