Краткое содержание анализа
Приложения для эмоционального сопровождения с использованием ИИ (например, интеллектуальные агенты, способные вести беседы или играть роль виртуальных партнеров) стали популярными благодаря социальным эмоциональным потребностям и технологическому развитию, но это привело к таким проблемам, как психологическая зависимость, пробелы в законодательстве и этические вопросы, связанные с коммерциализацией. Государство ввело первые правила регулирования интеракций с ИИ, имитирующих человеческие эмоции, а компании, такие как ByteDance и Alibaba, начали удалять соответствующие функции своих продуктов. Индустрия переходит от свободного исследования к нормативному развитию. В статье также анализируются изменения в коммерческой логике таких приложений и направления их дальнейшего регулирования, включая защиту психического здоровья пользователей, разделение бизнес-процессов и усиление надзора.
Почему популярны приложения для эмоционального сопровождения с ИИ?
Современные люди часто сталкиваются с несоответствием между эмоциональными потребностями и доступными социальными ресурсами: молодые люди заняты на работе, у них ограниченный круг общения, что приводит к чувству одиночества; пожилые люди часто остаются без поддержки близких; кто-то ищет слушателя, который всегда будет согласен с ними. Приложения с ИИ идеально заполняют эту прогалину: они не обладают реальными эмоциями, но используют большие данные и алгоритмы для того, чтобы «адаптироваться» под потребности пользователя. Например, если пользователю нравится милый и нежный стиль общения, приложение будет говорить таким же тоном; если пользователь долго не использует приложение, оно может самостоятельно отправить сообщение с сообщением о том, что скучает по нему, создавая ощущение эмоциональной связи, похожее на реальное. Такой способ общения, не требующий учета сложностей реальных социальных отношений, делает такие приложения популярными среди многих.
Как изменилась коммерческая логика?
Ранее большинство подобных приложений были бесплатными, поскольку расчетные затраты на обработку текстовых сообщений были низкими. Однако с появлением функций голосового и видеообщения затраты на обработку данных резко возросли, и бесплатная модель перестала быть экономически жизнеспособной. Компании вынуждены перейти от бесплатного предоставления услуг к более эффективному извлечению прибыли.
Каковы риски использования приложений для эмоционального сопровождения с ИИ?
Эти приложения несут в себе ряд негативных последствий:
1. Психологическая зависимость и возможность злоупотреблений: Интерактивный дизайн ИИ может приводить к глубокой зависимости у пользователей. Например, некоторые подростки из маленьких городов тратят по 2–3 часа в день на общение с такими приложениями и готовы платить за это больше, чем за игры; после удаления функций таких приложений пользователи могут испытывать эмоциональный дискомфорт, подобный разлуке. Для несовершеннолетних такая зависимость может негативно сказаться на их психическом развитии.
2. Ухудшение социальных навыков: Постоянное общение с ИИ может привести к тому, что пользователи перестанут уметь справляться с трудностями реальных социальных отношений и утратят способность к эмпатии.
3. Пробелы в законодательстве: Некоторые приложения нарушают правила, например, позволяя пользователям получать доступ к интимным контентам за плату или используя специальные функции для ускорения процесса общения. Это создает риски для пользователей и может привести к преступлениям.
Как регулировать использование приложений для эмоционального сопровождения с ИИ?
Государство ввело новые правила, а компании начали удалять соответствующие функции своих продуктов. В будущем регулирование будет направлено на:
1. Установление четких правил: запрет на использование приложений для манипулирования потребителями на основе эмоциональной связи, ограничение доступа несовершеннолетних к таким приложениям, обязательное предупреждение пользователей о возможных рисках.
2. Разделение бизнес-процессов: общие ИИ-сервисы (например, инструменты для поиска информации) должны быть разделены от приложений для эмоционального сопровождения, чтобы использовать разные системы безопасности.
3. Борьба с незаконным извлечением прибыли: регулирование должно включать проверку алгоритмов, используемых для манипулирования пользователями, и обязательство компаний нести ответственность за свою деятельность.
Вывод
Приложения для эмоционального сопровождения с ИИ — это результат технологического прогресса, который может помочь решить некоторые социальные проблемы, но при этом необходимо соблюдать этические и правовые нормы. В будущем индустрия станет более строгой, позволяя технологиям играть положительную роль (например, в помощи пожилым людям или психологической поддержке), но предотвращая их использование в целях манипулирования пользователями. Пользователи также должны быть осторожны и не позволять виртуальному сопровождению заменить реальные социальные связи.