Простой перевод анализа на русский язык:
Краткое содержание анализа:
Эта статья можно рассматривать как предупреждение для всех компаний и специалистов, использующих искусственный интеллект (ИИ) в автоматизированной работе и развертывании систем роботизации: за последние десятилетия основная логика защиты от киберпреступлений и хакерских атак строилась на предположении, что человек является самым уязвимым элементом в системе безопасности. Хакерам не нужно было взламывать системы или искать уязвимости — достаточно было обмануть человека, и тот, обладая законными полномочиями, выполнял бы их желания. Однако с распространением автоматизированных ИИ-агентов процессы, от проверки контрактов до осуществления платежей, могут полностью автоматизироваться. Человеку остается лишь установить общие правила; хакерам больше не нужно обманывать финансовых сотрудников — они могут напрямую обмануть ИИ и перевести деньги. В будущем атаки могут осуществляться самими ИИ, и в цепочке мошенничества не будет никакого участия людей. Традиционные методы социальной инженерии, направленные против людей, впервые эволюционируют в новую модель, где «машины обманывают машины». Почти все существующие системы безопасности не подготовлены к таким ситуациям.
---
Подробный анализ:
1. Прежние методы социальной инженерии основывались на использовании человеческой лени и слабостей:
Многие считают социальную инженерию простым обманом через фишинговые письма или подделку сообщений от руководства с требованием перевести деньги. Особенностью таких атак было отсутствие использования традиционных хакерских методов: хакерам не нужно было взламывать пароли или обходить системы шифрования; им достаточно было изменить полученную информацию, чтобы сбить с толку человека, который, обладая законными полномочиями, выполнил их желания. В прошлом существовало разделение обязанностей: технические системы отвечали за защиту, проверку личности и контроль доступа, а люди — за оценку правильности действий. Хакеры обходили технические барьеры и целились именно на человеческие слабости. Поэтому такие атаки не считались чисто техническими и относились к области психологии и поведенческих исследований; защита от мошенничества основывалась на обучении людей безопасным навыкам.
2. С распространением ИИ-агентов право на принятие решений постепенно переходит к машинам:
Раньше при осуществлении платежей каждый шаг контролировался человеком: финансовые сотрудники проверяли письма, бумажные контракты и подтверждали информацию о получателях платежей. Системы использовались лишь для ведения учета и выполнения операций. Теперь многие компании стремятся к повышению эффективности и разделяют процессы на несколько этапов, каждый из которых выполняется отдельным ИИ-агентом: один ИИ получает письма, другой проверяет электронные контракты, третий — информацию о получателях платежей, а четвертый осуществляет платежи. Людям остается лишь установить общие правила. Хакерам больше не нужно обманывать финансовых сотрудников — они могут напрямую обмануть ИИ. В будущем атаки могут осуществляться самими ИИ, и в цепочке мошенничества не будет никакого участия людей. Традиционные методы социальной инженерии превращаются в новую модель, где «машины обманывают машины». Существующие системы безопасности не подготовлены к таким ситуациям.
3. ИИ-агенты также могут быть обмануты:
Многие считают, что ИИ не обладают субъективным мышлением и не могут быть обмануты, но на самом деле им достаточно принять ложную информацию за правдивую. Для этого хакерам достаточно изменить данные, предоставляемые ИИ. В таком случае ИИ дает неверные результаты, что с точки зрения техники аналогично действиям обманутого человека.
4. Новые атаки осуществляются без явных приказов:
Современные методы атак включают внедрение скрытых команд в данные, предоставляемые ИИ. Например, хакеры могут изменить список получателей платежей или документы, которые ИИ использует для проверки. ИИ, следуя этим «логичным» данным, приходит к неверным выводам. Такие атаки не оставляют видимых следов: все действия ИИ соответствуют установленным правилам, и система не выдает тревог. Традиционные системы безопасности не могут обнаружить такие нарушения, так как не проверяют логику поведения ИИ.
5. Настоящее решение проблемы — перенос контроля с оценки на исполнение:
Многие предлагают обучить ИИ более тщательно, чтобы он мог распознавать мошенничество. Однако история кибербезопасности показывает, что любой системе, основанной на неполной информации, всегда существует риск обмана. Настоящее решение заключается в создании механизмов, предотвращающих превращение ошибочных решений ИИ в реальный ущерб. Для этого необходимо установить дополнительные проверки на этапе исполнения, независимые от предыдущих решений системы. Даже если все шаги выполнены законно, система должна иметь возможность отказать в выполнении неправильных действий. В прошлом безопасность основывалась на доверии к людям или ИИ, но в будущем это уже неэффективно. Необходимо создать систему, в которой ошибки могут быть предотвращены независимо от того, кто их совершил (человек или ИИ).
---
Этот анализ подробно объясняет, как изменения в технологиях влияют на безопасность организаций и как существующие системы безопасности могут оказаться неэффективными перед лицом новых угроз.