Атака на OpenAI с использованием ИИ: безопасность под угрозой из-за трех человек и ИИ
Краткое содержание
Проще говоря, трое человек с помощью ИИ за 72 часа «легально» проникли во внутреннюю систему OpenAI. Это не хакерская война из фильмов, а авторизованное тестирование на наличие уязвимостей (программа по вознаграждению за обнаружение ошибок). Однако этот инцидент вызвал большой резонанс, поскольку он разрушил два традиционных представления:
1. Снижение порога доступа: Раньше для сложных атак требовались ведущие специалисты по безопасности, крупные команды и несколько месяцев; теперь с помощью ИИ это можно сделать всего за несколько дней.
2. Роль ИИ: ИИ больше не является неуправляемым интеллектуальным агентом – он стал мощным инструментом в руках человека, способным писать код, находить уязвимости и исследовать пути атаки.
Хотя OpenAI выплатила всего 6500 долларов в качестве вознаграждения, это событие вызвало серьезную реакцию внутри компании: 25% инженеров были задействованы для устранения уязвимостей. Это указывает на то, что правила кибербезопасности меняются, и ИИ снижает уровень сложности атак до доступного для большинства пользователей.
---
Подробный анализ
1. Правда о событии: не ИИ атаковало OpenAI, а комбинация человека и ИИ
Сначала нужно прояснить важный момент: ИИ не атаковало OpenAI самостоятельно. Атакующими были сотрудники стартапа по кибербезопасности Hacktron AI, участвовавшие в программе OpenAI по вознаграждению за обнаружение ошибок. Таким образом, весь процесс был легальным и авторизованным.
Какую роль здесь сыграл ИИ?
- Прежний подход: человек-хакер находит уязвимость → человек пишет код для ее использования → человек анализирует дальнейшие действия.
- Новый подход: человек-хакер находит уязвимость → ИИ (Claude) пишет код для ее использования → ИИ анализирует логику уязвимости → человек выполняет дальнейшие действия по указанию ИИ.
В команде Hacktron было всего трое человек. Они использовали модель Claude от компании Anthropic (в частности, новую версию Opus 5) для быстрого создания кода атаки. ИИ действовал как неутомимый и обладающий обширными знаниями помощник, избавляя их от самых трудоемких и скучных процессов написания кода и анализа логики.
2. Путь атаки: от обычного форума к ключевому кодовому хранилищу
Путь атаки был очень изощренным и показал распространенные проблемы в крупных технологических компаниях. Он можно разделить на четыре этапа:
1. Вход: незаметное изображение на форуме. У OpenAI есть сообщественный форум, использующий программное обеспечение от третьей стороны – Discourse. Hacktron обнаружили уязвимость в этом программном обеспечении. Это как если бы дверь вашего дома была надежно заперта, но окно оставлено открытым – вор может проникнуть через окно.
2. Прорыв: ИИ помогает написать код для использования уязвимости. Исходно усилия атакующих были безуспешны, но на следующий день новая версия Claude (Opus 5) нашла решение. Созданный ИИ код позволил им получить доступ к серверу форума.
3. Неожиданное открытие: атакующие обнаружили универсальные учетные данные. После входа на сервер они получили учетные данные, которые, как оказалось, могли использоваться не только для доступа к форуму, но и к внутреннему GitHub-хранилищу кода OpenAI.
4 Проникновение: с помощью учетных данных одного из сотрудников атакующие попали в хранилище Monorepo OpenAI. Monorepo – это место, где хранятся ключевые алгоритмы и коды компании. Хотя там не были самые важные параметры моделей ИИ, там находился большой объем критически важного кода. Атакующие даже отправили запрос на изменение кода, демонстрируя свои полномочия.
3. Почему это удалось троим людям? Как ИИ снижает уровень сложности атак?
Это самый важный аспект события:
Традиционные барьеры киберзащиты:
- Трудоемкость: требуются специалисты, знающие сетевые протоколы, операционные системы и уязвимости приложений.
- Время: анализ сложных уязвимостей может занимать недели или месяцы.
- Инструменты: необходимы дорогие профессиональные инструменты и инфраструктура.
Изменения, принесенные ИИ:
- Создание кода: Claude Opus 5 может быстро создавать работоспособный код на основе описания уязвимости. Раньше это требовало усилий опытных инженеров; теперь ИИ может сделать это за несколько минут.
- Логический анализ: ИИ может анализировать логику уязвимостей, например, почему функция обработки изображений сбивается или как можно использовать это для управления выполнением программы. Это значительно ускоряет процесс анализа.
- Исследование путей атаки: ИИ помогает исследователям быстро пробовать различные варианты атаки.
В итоге: трое человек с помощью ИИ смогли выполнить работу, которая раньше требовала усилий команды из десяти профессионалов за несколько недель. Это означает, что в будущем многие неспециалисты с помощью ИИ могут представлять угрозу для крупных систем.
4. Реакция OpenAI: 6500 долларов и последствия
OpenAI выплатила 6500 долларов в качестве вознаграждения, но это событие вызвало серьезные последствия внутри компании:
- Публичные действия:
- Определены две проблемы: уязвимость в Discourse и неправильная настройка системы SSO (однократной авторизации) OpenAI.
- Уязвимость была устранена в тот же день; OpenAI ужесточила правила использования учетных данных и аннулировала поврежденные учетные данные.
- Выплата вознаграждения в 6500 долларов.
- Внутренние последствия:
- 25% производственных инженеров были задействованы для устранения уязвимостей. Президент OpenAI Greg Brockman заявил, что компания временно задействовала четверть своих инженеров для этой работы. Это говорит о том, что проблемы, выявленные в результате атаки, могут быть серьезнее, чем кажутся на первый взгляд.
- Проведена полная проверка безопасности; были обнаружены и устранены дополнительные уязвимости. Это указывает на то, что данный инцидент может быть лишь верхушкой айсберга.
5. Будущее кибербезопасности с участием ИИ
Это событие не является единственным; оно отражает общую тенденцию:
- Двойная роль ИИ: он может использоваться как для атак, так и для защиты. Компании могут использовать ИИ для автоматического обнаружения уязвимостей, их устранения и реагирования на атаки.
- Слабость традиционных защитных мер: раньше сложность систем защищала их от атак; теперь ИИ позволяет атакующим быстрее и точнее преодолевать первые защитные барьеры и использовать внутренние уязвимости для проникновения в критические системы.
- Изменения для компаний: необходимо строго соблюдать принцип минимальных прав пользователей; учетные данные не должны предоставлять доступ к важным ресурсам. Также важно использовать ИИ для усиления безопасности (например, для мониторинга аномальной деятельности и автоматического устранения уязвимостей).
- Обновленная оценка рисков: нельзя больше полагаться на то, что атаки могут совершаться только опытными хакерами; теперь тройка людей с помощью ИИ может представлять серьезную угрозу.
- Внимание к сторонним компаниям: уязвимости в стороннем программном обеспечении могут негативно сказаться на безопасности всей системы. Компании должны усилить контроль над таким программным обеспечением.
Заключение
Это событие является предупреждением: ИИ превращает кибербезопасность из области, доступной только экспертам, в область, доступную широкой публике. Компаниям необходимо пересмотреть свои стратегии безопасности, а частным лицам следует осознавать, что ИИ может быть как мощным инструментом, так и потенциальным источником угроз.