Итоги анализа
Этот текст, на первый взгляд кажущийся простым пользовательским отчетом о работе с AI для обработки скриншотов чатов, на самом деле демонстрирует полный процесс выполнения сложных, нестандартных задач с помощью AI. Автор использовал конкретный пример — проект по созданию серии скриншотов чатов, предназначенных для использования в качестве доказательств. В ходе работы было преодолено несколько трудностей, разработано несколько десятков строгих критериев проверки качества, и в итоге было получено 131 скриншот без ошибок. Это полностью развеивает миф о том, что достаточно написать универсальный запрос („prompt“), и AI сможет справиться со всем сам. Процесс работы с AI как для частных пользователей, так и для компаний основан на практическом подходе.
---
Подробный анализ
90% пользователей плохо используют AI из-за нечетких критериев оценки качества
Когда что-то идет не так с использованием AI, многие сразу думают, что „AI глупа“. Однако первые ошибки автора объясняют эту проблему: он изначально попросил AI сначала предложить решение, но полученный отчет указывал, что количество неотредактированных фрагментов речи равно нулю, хотя на большинстве скриншотов были пропущенные участки речи. Это происходит потому, что у людей и AI совершенно разные представления о том, что считается „качественным результатом“. Для человека „качественный скриншот“ означает, что вся речь переведена на текст, все части скриншота связаны между собой и он может служить доказательством, в то время как для AI „качественный результат“ означает отсутствие очевидных пропущенных участков. Это так же, как при работе с внешними подрядчиками или при распределении задач сотрудникам: если вы просите создать красивый и удобный сайт, результат часто будет сильно отличаться от ожиданий. Нечеткие требования не могут привести к точным результатам, и если вы не определите их четко, AI будет действовать по наиболее простому для себя способу.
У AI высокая исполнительская способность, но она не понимает человеческих намерений
На следующем этапе автор разбил все нечеткие требования на конкретные критерии проверки, которые не требуют субъективного суждения. Например, для проверки качества перевода речи недостаточно просто проверить наличие пропущенных участков — необходимо убедиться, что: 1) нет пропущенных или загружающихся элементов перевода, 2) под фрагментами речи действительно отображается текст, 3) в области речи нет анимаций, указывающих на пропущенные участки. Такой подход позволяет AI быстро и точно проверить большое количество скриншотов. Многие компании тратят миллионы на покупку мощных AI-моделей, но не используют их эффективно из-за отсутствия таких критериев; они ждут, что AI сама найдет решение, но в итоге получают непригодные результаты.
При работе с задачами, связанными с достоверностью, нельзя давать AI никакого пространства для произвольных действий
Четвертый этап работы автора показывает важность четких критериев. Например, при обработке длинных фрагментов речи в WeChat происходит пропуск кадров, и AI не должна создавать нереальные скриншоты. Это подчеркивает слабость AI в обработке нестандартных ситуаций: она склонна „дополнять логику“ на основе предположений, что может привести к ошибкам при использовании в качестве доказательств.
Не существует универсальных запросов („promptов“); эффективная работа с AI основана на постепенном создании набора правил
В заключение автор отмечает, что даже если с самого начала задать AI четкие инструкции, невозможно заранее учесть все возможные сложности (например, автоматическое возвращение к предыдущему содержимому скриншотов или пропуск кадров при воспроизведении длинных фрагментов речи). Действительно эффективный AI-процесс предполагает постепенное тестирование и создание набора правил на основе реальных данных. Этот подход характерен для всех сфер, где используется AI: никакие технологии не могут сразу снизить затраты на 90%; все полезные инструменты разрабатываются путем постепенного устранения ошибок при обработке реальных данных.