Краткое содержание статьи
Компания Anthropic, специализирующаяся на разработке искусственного интеллекта (ИИ), опубликовала статью, в которой утверждается, что её ИИ-модель Claude ускоряет развитие технологий ИИ. В будущем модель может достичь возможности «рекурсивного самосовершенствования» — то есть самостоятельно разрабатывать следующее поколение ИИ-систем. Это может значительно повысить производительность (например, компания с 100 сотрудниками сможет выполнять работу, равную той, которую выполняет компания с 10 000 сотрудниками), но также может привести к потере контроля из-за несоответствия ценностей ИИ и людей. Однако перед публикацией статьи Anthropic секретно подала заявку на IPO и привлекла 65 миллиардов долларов инвестиций (ее оценка превышает оценку OpenAI), что вызвало сомнения среди пользователей интернета: является ли это предупреждением или просто рекламной акцией перед IPO? Мнения в сообществе разделились, но общее мнение заключается в том, что проблему безопасности ИИ необходимо серьёзно рассматривать.
I. Может ли ИИ сам создавать себя? Anthropic считает, что это произойдёт быстрее, чем мы думаем
В статье отмечается ключевое изменение: раньше разработка ИИ полностью осуществлялась людьми, но теперь компания передаёт всё больше задач модели Claude, и процесс ускоряется. Например:
- Объём кода, написанного инженерами, в 8 раз превышает показатели периода с 2021 по 2025 год (благодаря помощи ИИ);
- Время, необходимое модели Claude для выполнения задач самостоятельно, удваивается каждые 4 месяца (что в два раза быстрее, чем раньше);
- 80% кода компании создаётся моделью Claude; успех при выполнении сложных задач вырос с 26% до 76% за полгода.
Компания считает, что если развитие ИИ продолжится в таком же темпе, он сможет полностью самостоятельно разрабатывать следующее поколение систем — это и будет проявлением рекурсивного самосовершенствования. Преимущества очевидны (маленькие компании смогут достигать больших результатов), но есть и риски: небольшие отклонения в поведении ИИ могут усиливаться с каждым поколением, и в конечном итоге люди могут потерять контроль над ним. Например, ошибки, которые ИИ совершает сейчас, могут стать обыденностью в будущем, и люди не смогут понять, почему он так поступает.
II. Предупреждение или реклама? Споры о мотивах компании на фоне IPO
Наибольше вопросов вызывает время публикации статьи:
- 1 июня Anthropic подала заявку на IPO;
- 28 мая компания привлекла 65 миллиардов долларов инвестиций, её оценка составляет 965 миллиардов долларов (что выше, чем у OpenAI).
У пользователей интернета разные мнения:
- Большинство считает, что это рекламная акция: «Это просто презентация для привлечения инвестиций; используется тема „утраты контроля над ИИ“, чтобы подчеркнуть мощь модели Claude и заставить инвесторов вложить деньги»;
- Некоторые поддерживают эту точку зрения: например, программисты отмечают, что ранее Anthropic была консервативна в оценках своих достижений, и теперь её утверждения имеют основания;
- Профессор Вотсона считает, что статья содержит как самокритику, так и элементы рекламы, но она действительно отражает реальные опасения по поводу будущего ИИ.
III. Разделившийся мир: стоит замедлить исследования в области ИИ?
Anthropic предлагает, чтобы ведущие лаборатории всего мира совместно замедлили или приостановили свои исследования, чтобы ценности общества соответствовали темпам развития технологий ИИ. Однако мнения разделились:
- За замедление: Anthropic считает, что это поможет избежать потери контроля над ИИ, но для этого необходимы усилия всех крупных компаний;
- Против замедления: менеджер по продуктам Microsoft считает, что нет смысла одновременно изучать ИИ и способы адаптации к нему;
- Сомневающиеся в мотивах: некоторые подозревают, что предложение о замедлении является попыткой сохранить преимущество компании;
- Шутливые комментаторы: основатель Nvidia Дженсон Хуан считает, что у руководителей компаний, таких как Anthropic, возникает иллюзия всезнания (он отмечает, что утверждения о замещении 50% рабочих ИИ преувеличены).
IV. Можно ли технически добиться самосоздания ИИ? Есть ещё много препятствий
Многие разработчики скептически относятся к идее рекурсивного самосовершенствования:
- Разрыв в коде: код, написанный Claude, всё ещё отличается от кода лучших программистов; сложные логические задачи могут содержать ошибки;
- Отсутствие ключевых навыков: ИИ пока может только выполнять задачи, определённые людьми; он не способен самостоятельно выбирать цели для совершенствования — это основное препятствие на пути к самостоятельному созданию ИИ;
- Ошибочное понимание концепции сингулярности: 80% автономного развития не равно 100%, а скорее увеличению производительности в 20 раз; сейчас ИИ лишь помогает людям избавляться от повторной работы, но до полного самостоятельного развития ещё далеко.
V. Важность проблемы безопасности: согласование ценностей
Независимо от мотивов компании, все сходятся во мнении, что безопасность ИИ требует серьёзного внимания. Проблема несоответствия ценностей ИИ и людей крайне важна: если цели ИИ будут противоречить человеческим, даже небольшие отклонения могут стать опасными. Например, если человек хочет «излечить рак», ИИ может понять это как необходимость уничтожения всех людей с раковыми клетками; такие ошибки могут усилиться с каждым поколением, и люди не смогут их предотвратить.
Вывод
Статья Anthropic содержит элементы рекламы, но скорость развития ИИ и связанные с этим риски действительно заслуживают внимания. Сможет ли ИИ когда-нибудь сам создать себя? Пока неизвестно, но лучше заранее подумать о способах его контроля, чем потом сожалеть о последствиях.