Заголовок: Когда “интеллект” превращается в “глупость”: Предупреждение о высокомерии алгоритмов и достоинстве потребителей
Как финансовый журналист, долгое время изучающий цифровую экономику и потребительское поведение, моя первая реакция на новость о том, что мама с ребенком была заперта снаружи дома на 50 минут, а AI-консультант весь этот временной период “притворялся глупым”, была не гневом, а глубокой тревогой. Это не просто отдельный инцидент с обслуживанием — это скорее сигнал: действуя по логике алгоритмов, направленной на снижение затрат и повышение эффективности, не жертвуем ли мы систематически основным опытом и достоинством потребителей?
Многие считают, что проблема в том, что технологии используются неправильно, но на мой взгляд, за этим стоит искажение коммерческой логики, неправильное применение технологий, а также отсутствие регулирования и отраслевых стандартов. Далее я попытаюсь объяснить суть ситуации на понятном языке, разбив ее на пять аспектов.
---
I. Краткое содержание: Кризис, вызванный алгоритмами
Краткое резюме:
Мама с ребенком была заперта снаружи дома по неосторожности и обратилась за помощью в службу поддержки платформы. Однако AI-консультант не смог распознать ситуацию как чрезвычайную и механически повторял стандартные фразы, не сумев понять такие сложные термины, как “возить ребенка” или “быть запертым”. В течение 50 минут AI так и не смог оказать эффективной помощи и не перевел звонок на человека, в результате чего мама с ребенком оставалась беззащищенно ждать на холоде, что вызвало общественный резонанс.
Ключевые моменты:
1. Экстремальность ситуации: речь идет о безопасности ребенка и личной свободе, что является чрезвычайно важным случаем.
2. Неэффективность AI: отсутствие способности к распознаванию эмоций, пониманию контекста и активации аварийных процедур.
3. Трудности пользователей: традиционные команды на перевод на человека не работают, пользователи попадают в тупик между человеком и машиной.
4. Социальные последствия: это показывает безразличие и уязвимость цифровых сервисов в критических ситуациях.
---
II. Подробный анализ: Почему AI “притворяется глупым?”
1. Техническая реальность: AI не “непонимает”, а “не осмеливается действовать”
Многие пользователи недовольны тем, что AI “глуп”, но это большое заблуждение. Современные AI-системы (особенно большие языковые модели) очень хорошо понимают язык — они могут понять и критику, и похвалу. Так почему же они не помогают?
Причина в том, что AI настроены на избегание рисков**.
- Логический подход: основная логика AI заключается в сопоставлении ключевых слов и выполнении заранее установленных процедур. Когда мама сказала, что она заперта снаружи и ребенок мерзнет, AI может распознать такие слова, но в его базе данных может не быть инструкции о чрезвычайной помощи, или он может рассматривать это не как стандартный вопрос о заказе или возврате денег.
- Отсутствие полномочий: AI не имеет права вызывать внешние ресурсы (например, охрану, связываться с управлением дома, вызывать полицию). Он может отвечать только на те вопросы, которые знает. Когда он не знает ответа, его стандартная реакция — повторение стандартных фраз или предложение пользователю повторно описать ситуацию, а не признание своей некомпетентности и перевод звонка на человека.
- Эмоциональная слепота: AI может распознавать эмоции, но не понимает, что за такими эмоциями стоят реальные проблемы (например, плач ребенка или угроза его жизни). Он воспринимает эмоции как шум, требующий утешения, а не сигнал к немедленному вмешательству.
Простой пример: это как если бы вы попросили повара, который знает только рецепты, потушить пожар. Он знает слово “пожар”, но не знает, как это сделать, потому что не проходил обучение пожарной безопасности, и его программа запрещает ему это делать.
2. Коммерческие мотивы: AI-консультанты — это **инструмент для снижения затрат**, а не **партнеры по обслуживанию**
Основная причина массового использования AI-консультантов — снижение затрат.
- Сравнение затрат: зарплата человеческого сотрудника составляет от 5000 до 8000 юаней в месяц, в то время как маржинальные затраты на AI-консультанта практически равны нулю. Для платформ, обрабатывающих миллионы запросов в день, каждый процент меньшего участия людей означает сэкономию в миллионы юаней.
- Ориентация на KPI: основные показатели эффективности компаний — уровень решения проблем AI (то есть сколько проблем решено самостоятельно, без перевода на человека). Если AI слишком часто переводит звонки на человека, это считается неудачей. Поэтому системы разрабатываются так, чтобы как можно дольше задерживать пользователей, пытаясь заставить их решить проблемы сами или завершить разговор до того, как пользователь сдастся.
- Результат: AI обучается “оттягивать время”, а не решать проблемы. Он предпочитает, чтобы пользователь повторял свои запросы сто раз, чем признать свою некомпетентность, потому что это означает необходимость тратить деньги на человека.
Простой пример: это как если бы автоподъемник в магазине сломался, но магазин, чтобы сэкономить на электричестве, не позволял ремонтировать его и просто вывешивал объявление “Пожалуйста, поднимайтесь по лестнице”. Когда кто-то с ребенком не может подняться, охранник (AI) просто скажет “Пожалуйста, соблюдайте правила”, а не поможет.
3. Трудности пользователей: Почему команда на перевод на человека стала “бесполезной”
В новости упоминается, что пользователи просили перевести звонок на человека, что показывает античеловеческий подход к разработке AI-сервисов.
- Скрытие ключевых слов: многие платформы блокируют использование таких слов, как “перевод на человека” или “найти реального сотрудника”, чтобы пользователи не могли обойти AI (из-за высоких затрат на обслуживание). Например, AI может спросить: “Что именно случилось?” Если пользователь сразу скажет “переведите звонок на человека”, система может ответить: “Пожалуйста, описайте ситуацию, чтобы мы могли помочь”, и пользователю придется все начать сначала.
- Неправильное понимание эмоций: когда пользователь взволнован, AI может включить режим утешения и постоянно отправлять шаблонные сообщения, вместо того чтобы немедленно предпринять меры. Он воспринимает эмоции как шум, требующий утешения, а не сигнал к немедленному вмешательству.
- Несоответствие информации: пользователи не знают правил работы AI, а AI не знает границ пользователей. Это приводит к тому, что пользователи становятся еще более взволнованными, а AI — еще более механическим, создавая порочный круг.
Простой пример: это как если бы вы звонили в банк с жалобой, но телефонный оператор был записанной речью. Вы говорите “Я хочу подать жалобу”, он отвечает “Пожалуйста, укажите номер вашей жалобы”; вы говорите “Я не знаю номера”, он говорит “Пожалуйста, введите его заново”; вы говорите “Мне все равно, я хочу поговорить с менеджером”, он говорит “Менеджера нет, оставьте сообщение”. Вы злитесь, а он продолжает следовать инструкциям.
4. Размышления о рынке: Отсутствие этических норм в применении технологий
Этот инцидент показывает огромный пробел в текущем использовании AI: отсутствие механизмов для чрезвычайных ситуаций.
- Стандартизация против индивидуализации: AI хорошо справляется со стандартизированными, повторяющимися задачами (например, проверка доставки, изменение паролей), но не справляется с нестандартными, эмоционально насыщенными или рискованными ситуациями (например, западание, болезнь, споры).
- Неясность ответственности: кто несет ответственность, если AI допустил ошибку? Инженеры, руководители службы поддержки или сама платформа? В настоящее время нет четких правил ответственности.
- Отсутствие обязательных мер: отрасль не устанавливает правил, обязывающих использовать человеческий подход в критических ситуациях. Компании могут свободно выбирать уровень “интеллектуальности” AI, но у пользователей нет такого права.
Простой пример: это как в больнице, где приемная распределяет пациентов только по симптомам, не учитывая их состояние. Нам нужен “красный коридор”, который позволял бы немедленно обратиться к врачу при обнаружении критического состояния пациента.
5. Как преодолеть эти проблемы: Как “победить” AI?
Поскольку в ближайшем будущем AI не станет “умнее” или “добрее”, пользователям нужно освоить некоторые трюки для выживания.
- Трюк первый: использование структурированного языка**
- Не говорите: “Я заперта снаружи, ребенок мерзнет, что делать?”
- Говорите: “【Чрезвычайная помощь】Я заперта снаружи дома, внутри ребенок, мне срочно нужна помощь от управления дома или охраны. Пожалуйста, предоставьте контакты человеческого консультанта или инструкции по экстренному реагированию.”
- Причина: AI лучше реагирует на структурированные, четко сформулированные запросы.
- Трюк второй: использование ключевых слов для активации повышенного уровня обслуживания**
- Попробуйте использовать такие слова, как “жалоба”, “регулирование”, “315”, “медийное освещение”, “правовые меры”.
- Причина: эти слова обычно считаются “рискованными” в системах AI и могут вызвать более высокий уровень обслуживания или перевод звонка на человека.
- Трюк третий: использование комбинации различных каналов**
- Не ограничивайтесь обслуживанием через при