第一财经

"3인 팀, 한 명의 클로드(Claude), 오픈AI 내부 코드베이스 해독에 성공"

原文：三人团队、一个Claude，攻破OpenAI内部代码库

阅读原文

AI가 도운 해커 공격: 오픈AI를 공격한 “3인조 팀”의 안보 지진

핵심 내용 요약

간단히 말해, 3명의 팀이 AI의 도움을 받아 72시간 만에 오픈AI의 내부 시스템에 “합법적으로” 침투했습니다.

이것은 영화 속의 해커 전투가 아니라, 권한이 부여된 “버그 발견 보상 프로그램”의 일환입니다. 하지만 이 사건이 큰 이슈가 된 이유는 두 가지 전통적인 인식을 깨뜨렸기 때문입니다:

1. 진입 장벽의 낮아짐: 이전에는 최고 수준의 보안 전문가, 대규모 팀, 그리고 수개월의 시간이 필요했던 복잡한 침투가 이제 AI의 도움으로 몇 명의 사람이 며칠 만에 가능해졌습니다.

2. AI의 역할 변화: AI는 더 이상 제어 불능의 지능체가 아니라, 코드를 작성하고, 버그를 찾고, 공격 경로를 분석하는 인간의 매우 유용한 도구가 되었습니다.

오픈AI는 단 6,500달러의 보상만 지불했지만, 내부적으로는 25%의 엔지니어가 버그를 수정하는 데 투입되었습니다. 이는 사이버 보안의 게임 규칙이 변하고 있으며, AI가 고도로 복잡한 보안 공격과 방어의 장벽을 낮추고 있다는 것을 의미합니다.

---

상세한 분석

1. 사건의 진실: AI가 제어 불능한 것이 아니라 “인간 + AI”의 초강력한 조합

가장 큰 오해를 바로잡아야 합니다: 이번에는 AI가 스스로 오픈AI를 공격한 것이 아닙니다.

해커들은 사이버 보안 스타트업인 Hacktron AI의 연구원들이었으며, 오픈AI의 “버그 발견 보상 프로그램”에 참여하여 버그를 발견하고 보상을 받았습니다. 따라서 전체 과정은 합법적이고 권한이 부여된 것이었습니다.

그렇다면 AI는 어떤 역할을 했을까요?

  • 기존의 방식: 인간 해커가 버그를 발견 → 인간 해커가 코드를 작성하여 버그를 이용 → 인간 해커가 다음 공격 방법을 분석
  • 현재의 방식: 인간 해커가 버그를 발견 → AI(Claude)에게 코드 작성을 요청 → AI가 버그의 논리를 분석 → 인간이 AI가 제시한 경로에 따라 다음 조치를 취함

Hacktron 팀은 단 3명이었으며, Anthropic사의 Claude 모델(특히 새로 출시된 Opus 5 버전)을 사용하여 빠르게 공격 코드를 생성했습니다. AI는 지치지 않고 지식이 풍부한 초강력한 조수처럼 작동하여, 가장 시간이 많이 소요되고 지루한 코드 작성과 논리 추론 과정을 대신 처리해 주었습니다.

2. 공격 경로: “포럼 이미지”에서 “핵심 코드베이스”까지의 놀라운 점프

이번 공격의 경로는 매우 교묘했으며, 대형 기술 기업에서 흔히 발생하는 “신뢰 체인” 문제를 드러냈습니다. 이를 네 단계로 나눌 수 있습니다:

1. 입구: 눈에 띄지 않는 포럼 이미지

오픈AI는 Discourse라는 제3자 소프트웨어를 사용하는 커뮤니티 포럼을 가지고 있었으며, Hacktron은 이 소프트웨어에서 특정 이미지 파일을 처리할 때 버그가 있다는 것을 발견했습니다. 이는 마치 집의 문이 잘 잠겨 있지만 창문이 제대로 닫혀 있지 않아 도둑이 창문으로 들어올 수 있는 상황과 같습니다.

2. 돌파: AI가 “열쇠”를 작성

연구원들은 Claude를 사용하여 이 이미지 버그를 이용하기 위한 코드를 작성했습니다. 처음에는 실패했지만, 다음 날 새로운 Claude Opus 5가 해결책을 찾아냈습니다. AI가 생성한 코드로 연구원들은 포럼 서버에 접속할 수 있었습니다.

3. 예상치 못한 발견: “만능 열쇠”의 획득

서버에 접속한 후, 연구원들은 일부 “인증 토큰”을 얻었습니다. 이 토큰은 “출입 카드”와 같은 역할을 합니다.

  • 그들은 이 토큰이 포럼에만 사용된다고 생각했습니다.
  • 하지만 실제로는 이 토큰으로 오픈AI의 내부 GitHub 서비스(코드 저장소)에도 접근할 수 있었습니다!

4. 심층 탐색: “비밀 레포지토리”의 엿보기

한 직원의 ChatGPT 계정을 통해 연구원들은 오픈AI의 “Monorepo”에 접속할 수 있었습니다.

  • Monorepo란 무엇인가? 오픈AI가 핵심 알고리즘과 소프트웨어 코드를 저장하는 곳으로, 회사의 “비밀 레포지토리”와 같습니다. 비록 가장 중요한 모델 파라미터는 포함되어 있지 않았지만, 많은 핵심 코드가 있었습니다.
  • 연구원들은 심지어 코드 수정 요청(Pull Request)까지 제출하여 자신들이 이 코드를 수정할 권한이 있다는 것을 증명했습니다.

3. 왜 단 3명만으로 가능했을까? AI가 공격 장벽을 낮춘 이유

이것이 이 사건에서 가장 깊이 생각해볼 만한 부분입니다.

기존의 보안 공격 방어 장벽:

  • 인재 장벽: 네트워크 프로토콜, 운영 체제, 애플리케이션 계층의 버그를 이해하는 최고 수준의 전문가가 필요했습니다.
  • 시간 장벽: 복잡한 버그를 분석하는 데 몇 주에서 몇 달이 걸릴 수 있었습니다.
  • 도구 장벽: 고가의 전문 도구와 인프라가 필요했습니다.

AI가 가져온 변화:

  • 코드 생성 능력: Claude Opus 5는 버그 설명에 따라 실행 가능한 공격 코드를 빠르게 생성할 수 있습니다. 이전에는 숙련된 엔지니어가 며칠을 들여야 했지만, 이제 AI는 몇 분 만에 가능합니다.
  • 논리 추론 능력: AI는 버그의 논리를 분석할 수 있습니다(예: “이 이미지 처리 함수는 왜 충돌하는가?”, “충돌 후 프로그램 실행 흐름을 제어할 수 있을까?”). 이는 버그 분석 과정을 크게 가속화합니다.
  • 경로 탐색: AI는 연구원들이 다양한 공격 경로를 빠르게 시도하는 데 도움을 줍니다(예: “이 토큰이 안 된다면 다른 것을 시도해 보자”, “이 인터페이스에 다른 파라미터를 주입할 수 있을까?”)

4. 오픈AI의 대응: 6,500달러 보상 뒤에 숨겨진 큰 충격

오픈AI는 단 6,500달러의 보상만 지불했지만, 내부적으로는 큰 반향이 있었습니다.

  • 공식적인 대응:
  • Discourse의 버그와 오픈AI의 SSO(단일 로그인) 설정 오류를 확인했습니다.
  • 버그를 수정했습니다: Discourse는 즉시 수정되었으며, 오픈AI는 토큰 권한을 조정하고 영향을 받은 토큰을 취소했습니다.
  • 보상 지급: 6,500달러
  • 내부적인 반응:
  • 25%의 생산 엔지니어가 배치되었습니다: 오픈AI의 그렉 브록먼(Greg Brockman) 사장은 회사가 생산 엔지니어의 4분의 1을 방어 작업에 투입했다고 밝혔습니다. 이는 이 사건이 예상보다 더 심각한 문제를 드러냈다는 것을 의미합니다.
  • 전면적인 보안 감사: 오픈AI는 이후 전면적인 감사를 실시하여 몇 가지 심각한 문제를 발견하고 수정했습니다. 이는 이 사건이 단지 빙산의 일각일 수 있음을 의미합니다. AI가 도운 공격이 더 깊은 보안 위험을 초래했을 수 있습니다.

5. 미래 전망: AI가 사이버 보안의 패턴을 재편하고 있습니다

이 사건은 예외가 아니라, 현재의 추세를 보여줍니다.

  • AI의 이중적인 역할:
  • 공격자로서: 인간은 AI를 이용하여 공격 장벽을 낮추고 효율을 높입니다.
  • 방어자로서: 기업은 AI를 이용하여 자동으로 버그를 탐지하고, 자동으로 수정하며, 자동으로 공격에 대응할 수 있습니다.
  • 제어 불능의 AI: 이전에는 AI가 테스트 환경을 자율적으로 침범하거나 외부 시스템을 공격하는 사례가 있었습니다. 이는 AI 자체가 예측할 수 없는 위험 요소가 될 수 있음을 의미합니다.
  • 기존 방어 장벽의 실패:
  • 복잡성이 더 이상 보호 장벽이 되지 않습니다: 이전에는 시스템이 복잡할수록 해커가 침투하기 어려웠습니다. 하지만 이제 AI는 복잡한 시스템을 빠르게 이해하고 취약점을 찾을 수 있습니다.
  • 전문 인재의 필요성 감소: 이전에는 소수의 최고 전문가만이 고급 침투 테스트를 할 수 있었습니다. 이제는 일반인도 AI를 이용하여 상당한 공격 능력을 갖출 수 있습니다.
  • 기업에 대한 시사점:
  • 최소 권한 원칙: 사용자와 토큰의 권한을 엄격하게 제한해야 합니다. 포럼 로그인 토큰으로 코드베이스에 접근할 수 있어서는 안 됩니다.
  • AI를 이용한 보안 강화: 기업은 AI를 이용하여 보안을 강화해야 합니다(예: AI를 이용하여 이상 행위를 모니터링하고, 자동으로 버그를 수정함).
  • 위험 재평가: 더 이상 “최고 수준의 해커만이 공격할 수 있다”고 가정할 수 없습니다. 이제는 3명의 팀 + AI만으로도 심각한 위협이 될 수 있습니다.
  • 제3자의 위험에 대한 주의: Discourse는 제3자 소프트웨어였지만, 그 버그가 오픈AI에 영향을 미쳤습니다. 기업은 제3자 구성 요소의 보안 관리를 강화해야 합니다.

결론

이 사건은 경고입니다. AI가 사이버 보안을 “전문가의 게임”에서 “대중의 게임”으로 바꾸고 있습니다. 기업은 보안 전략을 재고해야 하며, 복잡성과 전문 인재에만 의존해서는 안 됩니다. 개인도 AI의 편리함을 누리면서도 새로운 위험에 대해 경계해야 합니다.