Здравствуйте! Я ваш помощник по анализу финансовых и бизнес-новостей. Хотя заголовок этой статьи звучит довольно философски, она точно указывает на самую больную точку в процессе цифровой трансформации предприятий, особенно в применении технологий ИИ: мы слишком увлекаемся механизмами аутентификации личности и упускаем из виду важность контроля за поведением пользователей.
Чтобы вы легко поняли эту статью, я разделил её на пять ключевых частей и объяснил коммерческую логику, стоящую за ней, простым языком.
---
Основной вывод: не спрашивайте только «кто он», спрашивайте «что он делает»
Основная идея статьи очень остра: традиционные системы управления предприятиями и ИТ строятся на предположении, что если у человека или программы есть законные права и доступ, то всё, что они делают, правильно. Но в эпоху ИИ это предположение рушится. Поскольку ИИ обладает скоростью и масштабами машин, они могут совершать ошибки гораздо быстрее, чем люди успевают их обнаружить. Поэтому безопасность предприятий в будущем не должна основываться на доверии к идеальным людям или машинам, а на создании структур, способных терпеть ошибки и ограничивать их последствия. Проще говоря, необходимо сместить акцент с вопроса «кто имеет права» на вопрос «что может произойти».
---
Подробный анализ: пять аспектов в простом объяснении
1. Признание того, что люди ошибаются, — это признак высокого уровня развития системы
【Мнение автора】 Совершенные системы не поощряют идеальное поведение, а признают ограничения человеческой природы.
【Простое объяснение】
В детстве мы считали, что «нет совершенных людей», но со временем поняли, что это часть механизмов контроля рисков. В больницах даже опытные врачи должны проверять рецепты фармацевтами, а опытные пилоты перед полетом проходят проверку. Почему? Потому что системы защищают не только от злонамеренных действий, но и от ошибок из-за усталости, недосмотра или неполной информации. Если компания ожидает, что каждый сотрудник и администратор всегда будут трезвы и рациональны, она рано или поздно обрушится. Сильные компании исходят из того, что каждый может ошибиться, и создают процессы, которые могут эту ошибку компенсировать.
Вывод: Несовершенство не страшно; страшно, если система строится на хрупком предположении, что никто не ошибается.
2. Сами ошибки не прекрасны, но структуры, способные их выдержать, — да
【Мнение автора】 Не стоит хвалить недостатки, а нужно ценить те структуры, которые могут их принять.
【Простое объяснение】
Нет смысла говорить о «красоте неполноты»: неправильный перевод денег — это ошибка, производственная авария — это трагедия. Но почему мосты стабильны? Не потому, что они верят в вечную прочность стали, а потому что у них есть резервные механизмы. Почему базы данных надежны? Не потому, что каждая запись проходит успешно, а потому что у них есть механизмы восстановления данных.
Ключевой сдвиг в мышлении:
- Старый подход: Как заставить субъекты (людей или машины) никогда не ошибаться? (Это невозможно и сложно.)
- Новый подход: Если субъекты обязательно ошибаются, как следует спроектировать систему, чтобы они могли максимально затруднить распространение ошибок? (Это более реалистично.)
Вывод: Настоящая безопасность не в устранении неопределенности, а в создании механизмов, которые позволяют ей ограничиться определенными рамками.
3. Современные системы имеют большой недостаток: законность не равно правильности
【Мнение автора】 Аутентификация определяет, кто вы, а права — можете ли вы что-то сделать, но не решает, стоит ли это делать в данный момент.
【Простое объяснение】
Это самая болезненная часть статьи. Современные ИТ-системы в основном предназначены для проверки личности и доступа. Например, финансовый директор имеет право проводить платежи, но если он ошибется при вводе данных или его обманут, платеж будет считаться неправильным. Система видит только, что он финансовый директор, но не оценивает, разумно ли этот платеж.
Раньше такие ошибки устранялись вручную: собраниями, телефонными звонками, подписями и т. д. Эти процессы казались неэффективными, но на самом деле они служили буфером безопасности. Но с появлением ИИ все эти механизмы утрачивают свою эффективность, и ошибки становятся очевидными.
Вывод: Законность не гарантирует правильности действий. Современные системы слишком легко путают наличие прав с правильным поведением.
4. ИИ не изобрел ошибки, но он дал им «ракетные двигатели»
【Мнение автора】 ИИ предоставляет несовершенным субъектам скорость, масштабы и возможность непрерывной работы.
【Простое объяснение】
Раньше люди ошибались нечасто и могли остановиться, чтобы исправить ошибку. Сейчас ИИ может совершать тысячи действий за секунды, и ошибки распространяются быстро. Если ИИ опустошит все компьютерные аккаунты за 3 секунды, вы об этом узнаете только через 3 часа, и это уже слишком поздно.
Вывод: Самый большой риск ИИ не в его недостатках, а в его скорости и неутомимости. Он делает ошибки еще более опасными из-за своих возможностей.
5. Основная конкурентоспособность предприятий в будущем: от доверия к людям к доверию к структурам
【Мнение автора】 Необходимо перейти от управления личностью к управлению действиями, состоянием и границами.
【Простое объяснение】
Это конечный совет для CEO и CTO. Раньше решения принимались на основе доверия к людям или системам. В будущем они должны основываться на том, соответствуют ли действия определенным правилам, состоянию системы и наличии достаточных доказательств.
Это означает, что предприятиям нужно создавать новые структуры, которые:
1. Разделяют принятие решений и выполнение действий (ИИ выполняет действия, а другие механизмы оценивают их).
2. Ограничивают действия даже самых авторизованных пользователей.
3. Проверяют реальное состояние перед каждым действием (например, достаточно ли запасов, достаточно ли средств на счету).
4. Обеспечивают возможность отмены действий в случае нарушения правил.
Коммерческие выводы:
Когда все компании смогут использовать одинаковые ИИ-модели, победит тот, кто сможет использовать ИИ для работы, обеспечив при этом безопасность. Для этого потребуется более радикальный подход к автоматизации: мы не требуем от ИИ совершенства, но создаем структуры, которые гарантируют, что даже его недостатки не приведут к катастрофе.
---
Заключение для всех:
1. Для работников: Не рассчитывайте на свою надежность — ваша ценность заключается в способности создавать системы, которые смогут компенсировать ваши ошибки.
2. Для предпринимателей и менеджеров: Проверьте свои бизнес-процессы. Если безопасность зависит от личного контроля руководства или внимания опытных сотрудников, это опасно в эпоху ИИ. Необходимо инвестировать в технологии, которые могут отслеживать поведение, ограничивать права и автоматически проверять состояние системы.
3. Для инвесторов: Обращайте внимание на компании, которые предлагают не только ИИ-технологии, но и механизмы безопасности, аудита поведения и автоматического контроля рисков. Главным критерием будут не умность моделей, а надежность их структур.
В общем: Нет совершенных людей и машин. В будущем бизнес будет оценивать не идеальность, а способность систем справляться с ошибками.