Краткое содержание анализа
Статья посвящена пророчествам Кевина Келли (KK) из его книги «Out of Control». В ней сравниваются его оптимистичные представления о «выходе из-под контроля» 30 лет назад с чувством беспокойства и потери контроля, которые испытывают люди в эпоху ИИ. Келли считал, что отказ от централизованного управления в механическую эпоху и позволение системам развиваться спонтанно, подобно пчелиному рою или экосистеме, принесет свободу индивидам и распределенный интеллект. Однако сегодня ИИ и алгоритмы приводят к потере контроля над системами, в то время как люди перестают быть просто пользователями инструментов и становятся их частью – наши суждения, выборы и даже желания определяются алгоритмами, что уменьшает ощущение контроля. В статье анализируются причины этого изменения (перенос власти на платформы, замена процессов и утрата смысла действий) и предлагаются способы сохранить субъектность человека.
I. «Выход из-под контроля» по Келли: технологический романтизм свободы
Келли говорил о «выходе из-под контроля» не как о восстании машин, а о процессе, при котором системы начинают развиваться самостоятельно, подобно жизни. Он привел несколько примеров:
- Интернет не имеет центрального управления, но превратился в глобальную сеть;
- Общества с открытым исходным кодом не имеют иерархического управления, но создали такие системы, как Linux;
- Википедия не имеет редакционного комитета, но стала крупнейшим проектом по сбору знаний.
Он считал, что контроль промышленной эпохи (например, конвейерные линии на фабриках или планы главных инженеров) слишком жесткий, в то время как жизнь характеризуется способностью к адаптации, изменениям и самоорганизации. Поэтому он предложил ряд принципов для развития технологий (например, распределенное управление или поощрение ошибок), которые впоследствии стали общепринятыми в индустрии (микросервисы, A/B-тестирование).
Оптимизм Келли заключался в том, что отказ от централизованного контроля вернет свободу людям. В то время пользователи активно участвовали в создании систем: искали информацию, публиковали сообщения, писали код.
II. Сегодняшний «выход из-под контроля» принял другой оборот: люди стали частью систем
Современный процесс выхода из-под контроля отличается от представлений Келли: системы действительно потеряли контроль, но люди больше не являются центром этого процесса.
- Раньше люди искали ответы; сейчас ИИ предлагает их напрямую;
- Раньше люди выбирали контент; сейчас системы делают это за них;
- Раньше люди использовали инструменты для реализации своих идей; сейчас ИИ разбивает задачи на части и использует эти инструменты.
ИИ перестал быть просто инструментом – он стал «агентом», который формирует действия пользователей. Например, при помощи ИИ можно написать «рациональный ответ» во время ссоры, но это лишает человека возможности выразить свои эмоции.
Статья использует образное сравнение: люди словно надеты наряду с зелеными шапками – алгоритмы забирают большую часть их активности, и они лишь кликают или скользят по экранам, голосуя за машину. Люди не управляют системами; они становятся их частью.
III. Власть не исчезла, она просто перешла к платформам
Келли думал, что отказ от централизованного контроля вернет власть людям, но на самом деле она перешла к платформам, способным управлять распределенными системами.
Например, ИИ снижает затраты на производство, но те, кто контролирует пользователей, внимание и каналы распространения информации, обладают реальной властью. Некоторые платформы (Google, Meta, ByteDance) владеют вычислительными мощностями, данными и моделями; им не нужно отдавать приказы – достаточно изменить контент, который пользователи видят. Они контролируют, что люди читают, как долго они это делают и что пропускают, затем предлагают им информацию, которая кажется им близкой, создавая эффект эхо-камеры. Люди думают, что выбирают то, что им нравится, но на самом деле системы формируют их поведение.
Основатель кибернетики Вайнер предупреждал: если вы передадите управление автоматизированным системам, они научат вас действовать по-своему. Такой контроль более скрыт – вы не чувствуете себя под контролем; кажется, что это то, что вы хотите.
IV. Причины потери ощущения контроля: упрощение процессов и утрата смысла
Почему мы чувствуем себя бессильными? Потому что ИИ выполняет за нас «трудные» задачи, а ощущение контроля именно связано с этими процессами:
- Письмо – не просто передача информации, а процесс открытия собственных мыслей;
- Чтение – не просто загрузка данных, а формирование суждений в ходе размышлений;
- Выбор – не поиск оптимального решения, а процесс принятия последствий.
ИИ делает все более удобным, но это приносит эффект «опустошения»: мы действуем быстрее, но не понимаем, почему именно так решили; знаем много, но не знаем, во что верим.
Также произошло изменение в нашем контакте с реальным миром: перед посещением места мы сначала читаем рекомендации, анализируем психологию людей перед общением с ними, создаем планы перед выполнением действий. Мы взаимодействуем с «вычисленной версией» реальности, а не с ее реальными аспектами (запахами, выражениями лиц, неловкостями). Эти аспекты жизни кажутся «непродуктивными», но именно они придают ей настоящую ценность.
V. Что нам делать? Сохранить несколько важных элементов контроля
Отказ от ИИ невозможен, главное – сохранить субъектность человека в мире потери контроля. В статье предлагается несколько способов это сделать:
1. Право на определение проблемы: не спрашивайте ИИ сразу «Что мне делать», а подумайте, какую именно проблему нужно решить (например, перед сменой работы спросите себя, что вас не устраивает в текущей работе).
2. Право на определение приоритетов: ИИ может помочь выбрать более эффективный вариант, но не может решить, что действительно важно (например, нужно ли работать ради денег или свободного времени).
3. Участие в создании систем: участвуйте в разработке технологий, чтобы они соответствовали вашим ценностям.
Так мы сможем сохранить свою свободу и контроль над реальностью.