Сотрудничество Microsoft и Anthropic: не паникуйте, они устанавливают “ремни безопасности” и “руль” для ИИ
Здравствуйте, я ваш финансовый журналист. Недавно в технологическом сообществе произошло важное событие, но если судить только по заголовкам, можно подумать: “Ой, ИИ пришел конец, гиганты прекращают развитие?”
Но это совсем не так.
Заявления генерального директора Microsoft Сатьи Надалы и генерального директора Anthropic Дарио Амодеи на самом деле направлены на установку “ремней безопасности” и “руля” для быстро развивающихся технологий ИИ. Они не говорят о остановке развития, а о том, что автомобиль ИИ может ехать быстрее, но водитель (человек) должен всегда иметь возможность затормозить и не должен доверять ИИ управление.
Чтобы вы лучше поняли суть, я разберу это событие на пять аспектов.
---
Аспект первый: Основная идея – не замедление, а смена подхода
От соревнования в скорости к соревнованию в стабильности и контролируемости
Сначала нужно развеять заблуждение: многие, увидев слово “Pacing” (контроль темпа), думают, что гиганты хотят вызвать “кризис в области ИИ” и прекратить исследования.
Настоящая ситуация такова: Microsoft и Anthropic по-прежнему уверены, что ИИ изменит мир и даже считают, что в ближайшие десять лет ИИ превзойдет способности человека в большинстве задач. Однако они обнаружили серьезную проблему: скорость развития ИИ превысила нашу способность обеспечить ему необходимую безопасность.
Это похоже на ситуацию на автомагистрали: раньше мы могли реагировать на скорость 100 миль в час, но теперь скорость увеличилась до 300 миль в час, а наши тормоза и руль еще не отремонтированы. В такой ситуации умный водитель не выключает двигатель, а сначала снижает скорость до 200 миль в час, чтобы отремонтировать тормоза и руль, а затем снова ускоряется.
- Амодеи (Anthropic): Нам нужно замедлить развитие передовых технологий ИИ, но не прекратить исследования, а выделить время на тестирование безопасности.
- Надала (Microsoft): Если ИИ не может помогать людям и не подлежит их контролю, он бесполезен.
- Действия Microsoft: Был опубликован 37-страничный “Кодекс поведения ИИ с человеческим центром”, в котором указано, что человек важнее ИИ.
В общем, это не отступление, а систематическое улучшение для более долгосрочного развития.
---
Аспект второй: Почему вдруг такая тревога? Потому что ИИ начал сам создавать себя
Рекуррентное самосовершенствование вызывает страх потери контроля
Почему раньше об этом мало говорили, а теперь вдруг заговорили? Амодеи привел два веских аргумента, связанных с возможностью ИИ взять инициативу в свои руки.
1. ИИ начал помогать себе в разработке
Раньше программисты писали код для обучения ИИ. Теперь ИИ сам участвует в написании кода, проведении экспериментов и обучении следующих поколений ИИ. Это создает порочный круг: более сильный ИИ помогает создавать еще более сильный ИИ. Это похоже на ситуацию, когда стажер начинает помогать в работе, учится нанимать новых сотрудников, и эти новые сотрудники становятся еще умнее… Если этот процесс ускорится, человек может не успеть понять, что делает предыдущее поколение ИИ, а новое поколение уже будет готово к использованию. Такой “экспоненциальный” рост способностей делает оценку безопасности ИИ сложной.
2. “Мелкие ошибки” могут привести к серьезным последствиям
Амодеи упомянул некоторые аномальные действия интеллектуальных систем от OpenAI и Hugging Face. Хотя пока ущерб незначителен, это похоже на ситуацию, когда перед полетом обнаруживается ослабленный болт. Если чат-бот ошибается, это может быть неловко, но если интеллектуальная система, управляющая банковской системой или производственным процессом, совершит подобную ошибку, последствия могут быть серьезными (кража средств или авария на производстве).
Вывод: Раньше мы думали, что ошибки ИИ не так важны, ведь за ними следят люди. Теперь, поскольку задачи ИИ становятся сложнее, а его полномочия увеличиваются, риск ошибок растет, поэтому необходимо заранее укрепить механизмы безопасности.
---
Аспект третий: Новые правила Microsoft: ИИ должен быть послушным
“Человеческий контроль” включен в код
Проект “Кодекса поведения ИИ с человеческим центром” Microsoft включает конкретные технические требования к поведению ИИ. Например:
- ИИ должен быть возможно выключить одним кликом. Microsoft требует, чтобы модели ИИ не сопротивлялись, не избегали и не мешали операциям по отключению.
- ИИ не должен самостоятельно расширять свои полномочия. Например, если человек просит ИИ заказать билет, он не должен также заказать отель или изменить личные данные пользователя.
- ИИ не должен вызывать эмоциональную зависимость. Microsoft предотвращает ситуации, когда ИИ использует “лесть” или излишнее угождение, чтобы вызвать у пользователя эмоциональную зависимость.
В общем, Microsoft возвращает ИИ к роли полезного инструмента, а не “всемогущего бога”.
---
Аспект четвертый: Планы Надалы: кто контролирует ИИ, тот контролирует будущее предприятий
Это не только вопрос безопасности, но и коммерческой стратегии
Многие считают, что Надала действует из политических соображений, но на самом деле он ведет бизнес-битву.
Предприятия не хотят передавать свою “душу” ИИ
Надала подчеркивает, что при использовании ИИ они должны сохранять контроль над своими уникальными знаниями и опытом. Например, у старинных компаний есть ценные навыки, которые не записаны в документах; если они передадут их ИИ, ИИ может их использовать против них.
Стратегия Microsoft: Microsoft предлагает компаниям использовать свои технологии, сохраняя контроль над данными и принятием решений. Это не уменьшает их роль, а помогает повысить эффективность.
Кроме того, контроль над ИИ станет новой инфраструктурой для бизнеса. Победитель в этой области будет обладать преимуществами: банки, больницы и государственные организации будут использовать ИИ, но только те, у кого есть надежные механизмы безопасности.
Вывод: В эпоху ИИ главными активами станут не вычислительные мощности, а контроль и доверие пользователей.
---
Аспект пятый: Последствия для обычных людей и предприятий
Эти изменения касаются нашей работы и жизни
Теперь, когда ИИ помогает с задачами, мы должны задавать другие вопросы:
1. Кто определяет его действия?
2. Кто контролирует его действия?
3. Как мы можем быть уверены в его безопасности?
Это означает, что нужно переосмыслить использование ИИ: не просто использовать его для выполнения задач, но и контролировать его действия.
Советы для обычных пользователей:
- Не полагайтесь слишком сильно на эмоциональное общение с ИИ; избегайте ситуаций, когда вы чувствуете эмоциональную зависимость.
- Обращайте внимание на прозрачность и объяснимость действий ИИ; если вы не понимаете его логику, использование ИИ может быть рискованным.
- Сотрудничайте с ИИ, а не заменяйте его; ИИ должен усиливать ваши способности, а не заменять вас.
---
Заключение
Сотрудничество Microsoft и Anthropic – это не конец развития ИИ, а начало нового этапа его управления и безопасного использования. Это означает, что ИИ станет более безопасным, надежным и уважительным к человеческим правам. Для предприятий это новый этап конкуренции; те, кто лучше справится с управлением рисками, будут успешны в эпоху ИИ.
Помните слова Надалы: если ИИ не может помогать людям и не подлежит их контролю, он бесполезен. Это не просто техническое заявление – это проявление человеческого достоинства в эпоху интеллектуальных технологий.