一、 핵심 내용의 간단한 요약
지난 2년 동안 전 업계가 AI 보안에 집중해왔으며, 모두가 “어떤 모델을 선택해야 안심할 수 있을지”에 대해 고민해왔습니다. 오픈소스인지 클로즈소스인지, 대기업이 만든 모델인지 아니면 자체적으로 수정한 모델인지를 반복적으로 테스트하고 자격을 확인한 뒤에야 핵심 업무에 사용하기로 결정했습니다. 하지만 골드만스는 기존의 네트워크 보안에서 이미 검증된 “제로 트러스트(Zero Trust)”와 “심층 방어(Deep Defense)” 원칙을 AI 분야에 그대로 적용하며, 상식에 반하는 새로운 접근 방식을 제안했습니다. 즉, 어떤 모델도 100% 신뢰할 수 있다고 가정하지 말라는 것입니다. 출처가 불분명한 오픈소스 모델이라도 외부에 여러 겹의 독립적인 보호 체계를 구축하면 은행과 같이 매우 민감한 환경에서도 안심하고 사용할 수 있다는 것입니다. 이러한 변화는 AI 보안의 초점을 “신뢰할 수 있는 모델을 선택하는 것”에서 “신뢰할 수 있는 시스템을 구축하는 것”으로 완전히 전환하는 것을 의미하며, 기업들이 AI를 자유롭게 활용할 수 있게 해주고 단일 모델 제공업체에 의존하는 위험을 줄여줍니다. 이는 AI가 단순한 실험적 도구에서 핵심 업무를 처리할 수 있는 중요한 인프라로 발전하고 있음을 보여줍니다.
---
두、 각 항목별 쉬운 설명
1. 과거의 AI 보안 접근 방식
과거 기업들이 AI를 사용할 때는 마치 직원을 채용하는 것과 같았습니다. 먼저 신원 조사, 필기 시험, 보안 테스트, 공급업체 자격 확인을 거친 후에만 사용을 허가했습니다. 그 후에는 점차 경계를 늦추고 AI에 점점 더 많은 권한을 부여했습니다. 일반 데이터부터 시작해 핵심 고객 정보까지 접근하게 하고, 결제 인터페이스를 호출하거나 생산 설정을 변경하게 했으며, 최종적으로는 수동 검토 과정을 없앴습니다. 이는 마치 새로 입사한 직원에게 공식 서명, 보안 장치, 비밀번호까지 모두 맡기는 것과 같았습니다.
하지만 이 접근 방식에는 치명적인 문제가 있었습니다. 모델은 정적인 것이 아니기 때문입니다. 오늘은 안전하다고 테스트되었더라도 내일 악성 코드가 입력되거나 모델이 업데이트되거나, 모델이 사용하는 시스템의 설정이 변경될 수 있어서 위험이 발생할 수 있습니다. 한 번의 테스트로는 “그 순간의 모델 버전이 문제없다”는 것만을 보장할 수 있을 뿐, 앞으로도 항상 안전할 것이라고는 보장할 수 없습니다. 이는 기업의 보안을 “모델이 절대 오류를 내지 않는다”는 낮은 확률에 모두 걸어두는 것과 같습니다.
2. AI 버전의 제로 트러스트 원칙
제로 트러스트는 “AI를 범죄자처럼 대하는 것”이 아니라, 기존 네트워크 보안에서 가져온 성숙한 원칙입니다. 과거에는 내부 네트워크에 접속한 사람들을 모두 신뢰했지만, 해커의 공격으로 인해 제로 트러스트가 도입되었습니다. 이제는 회사의 정규 직원이라도 핵심 서버에 접근할 때마다 신원을 다시 확인하고 작업이 적절한지 검토해야 합니다. AI의 경우에도 마찬가지입니다. AI는 기존 소프트웨어처럼 갑자기 오작동하지 않지만, 해커가 악성 명령을 입력하거나 속임수를 쓸 수 있으므로 모든 작업이 정상적으로 보이도록 해야 합니다. 따라서 제로 트러스트의 원칙은 모델이 어떻게 설명하든 100% 신뢰하지 말고, 매번 작업의 적절성을 개별적으로 검토해야 합니다. 예를 들어, 얼마를 이체할지, 누구에게 이체할지, 그 작업이 현재 비즈니스 상황에 맞는지 등을 확인해야 합니다.
3. 보안 책임의 이전
골드만스의 “심층 방어” 아키텍처는 모델에 대한 의존을 줄여줍니다. 모델은 더 이상 최고 권한을 가지지 않으며, 단지 요구를 전달하는 역할만 합니다. 핵심 데이터를 보려면 은행의 중간 데이터 플랫폼의 승인을 받아야 하고, 작업을 실행하려면 독립적인 권한 시스템의 검토를 거쳐야 합니다. 모델이 해커에 의해 도용되거나 수정되더라도 외부 보호 장치가 위험을 막아줍니다. 이 아키텍처의 가장 큰 장점은 기업이 더 이상 모델 제공업체에 의존하지 않게 된다는 것입니다. 예전에는 GPT와 같은 모델을 사용하다가 다른 모델로 바꾸려면 모든 보안 테스트를 다시 해야 했지만, 이제는 외부 시스템만 수정하면 됩니다. 이는 마치 안드로이드 스마트폰을 사용하는 것과 같아서 어떤 앱을 설치하더라도 개인 정보를 함부로 접근할 수 없습니다.
4. 아직 해결해야 할 문제
현재의 시스템에는 아직 해결해야 할 문제가 있습니다. 많은 AI 사고가 발생했지만 모든 절차가 규정을 준수했습니다. 모델은 검증을 통과했고, 계정은 합법적이며, 권한도 부여되었으며, 사용하는 API도 허용 목록에 있었습니다. 하지만 예상치 못한 사고가 발생할 수 있습니다. 따라서 미래의 AI 보안 아키텍처에는 완전히 독립적인 “최종 심판자”가 필요합니다. 이 심판자는 모델이나 비즈니스 시스템에 속하지 않으며, 작업의 적절성만을 판단합니다. 예를 들어, 한 번의 이체 금액이 100만 원을 초과하거나 이상한 시간에 이체가 이루어지면 즉시 중단해야 합니다. 이는 모든 전단계가 정상적이었더라도 해당 작업이 부적절하다고 판단되면 작업을 중단할 수 있는 최후의 보안 장치입니다.
5. “모델을 불신하는 것”은 AI를 무시하는 것이 아니라, AI를 핵심 인프라로 여기는 것
많은 사람들이 이 접근 방식을 AI를 불신하는 것으로 오해하지만, 실제로는 그렇지 않습니다. 이는 AI를 중요한 인프라로 여기는 것을 의미합니다. 마치 비행기에 최고의 조종사를 태우고도 자동 조종 장치와 경고 시스템을 설치하는 것처럼, 아무리 신뢰할 수 있는 AI라도 실수할 수 있기 때문에 추가적인 보호가 필요합니다. 은행도 직원에게 보안 장치를 제공하는 것처럼, AI도 안전한 사용을 위해 추가적인 검증이 필요합니다. 이는 AI가 단순한 도구에서 핵심 업무를 처리할 수 있는 중요한 인프라로 발전하고 있음을 보여줍니다.