Что ИИ умеет
и где уверенно врёт

Менеджер попросил нейросеть составить коммерческое предложение. Она написала отличный текст — и вписала в него скидку 20%, которой в компании никогда не было. Письмо ушло клиенту. Дальше был неприятный звонок.

Это не сбой и не редкость. Это устройство инструмента, и его надо знать — тогда ИИ безопасен и полезен.

Представьте эрудированного стажёра

Запомните эту метафору — она будет с нами весь курс. Нейросеть — это очень эрудированный стажёр: прочитал целую библиотеку, пишет быстро и грамотно, никогда не устаёт. Но он первый день в вашей компании: не знает ваших цен, ваших клиентов, ваших правил. И есть нюанс: стажёр никогда не говорит «не знаю» — если ему не хватает информации, он уверенно досочиняет.

Из этого следует всё остальное в уроке: что ему можно поручать смело, а что — только с проверкой.

Два свойства, которые всё объясняют

Свойство первое: один вопрос — разные ответы. Задайте нейросети один и тот же вопрос дважды — получите два разных текста. Это не сбой: модель каждый раз собирает ответ заново, выбирая из вероятных слов. Отсюда практический вывод: не понравился ответ — не бросайте инструмент, а просто спросите ещё раз или уточните. Второй заход часто лучше первого.

Свойство второе: модель не знает, чего она не знает. У человека есть ощущение «что-то я не уверен» — у нейросети его нет. Она не различает внутри себя «я это точно знаю» и «я это правдоподобно придумала». Поэтому приём «скажи, если не уверена» помогает лишь отчасти: попросить стоит, но полагаться на это нельзя. Уверенность проверяется не вопросом к модели, а проверкой фактов — как именно, разберём ниже.

Что ИИ делает блестяще

Общая черта этих задач: результат проверяете вы сами, глазами, за секунды — и любая неточность легко правится.

Где ИИ уверенно врёт

А вот задачи, где стажёр опасен — потому что проверить его ответ «на глаз» нельзя:

С поиском и без: две разные машины

Важная деталь, которую новички пропускают. У многих сервисов есть режим поиска в интернете — когда он включён, модель сначала находит реальные страницы и отвечает по ним, давая настоящие ссылки. Когда выключен — отвечает «из памяти», и вот там ссылки и свежие факты чаще всего оказываются выдумкой.

Правило простое: вопрос про «сейчас» — только с поиском (цены, новости, законы, режим работы). Но и ссылки из поиска открываем: модель могла неверно пересказать реальную страницу. Проверка отменяется только в одном случае — когда вы сверили сами.

И коварная деталь: если кинуть ей ссылку без включённого поиска, модель может «сделать вид», что открыла её, — и выдать правдоподобный пересказ, сочинённый по адресу ссылки. Проверка простая: спросите деталь, которой нет в заголовке. Открывала — ответит, нет — поплывёт.

Почему так: вспомните урок 1

Нейросеть собирает правдоподобный ответ, а не ищет готовый в базе. Правдоподобное чаще всего оказывается правдой — на этом держится её польза. Но когда знаний не хватает, тот же механизм произведёт правдоподобную выдумку — и подаст её тем же уверенным тоном. Это называется галлюцинацией, и полностью «вылечить» её нельзя: это цена, которую мы платим за умение сочинять и рассуждать.

Это уже стоило людям денег

Две истории, которые стоит запомнить — они снимают вопрос «да ладно, что может случиться».

Нью-Йорк, суд. Адвокат Стивен Шварц подал в суд документ, подготовленный с ChatGPT. Модель вписала в него шесть судебных прецедентов — с номерами дел, датами и цитатами. Ни одного из этих дел не существовало. Судья проверил, адвокат получил штраф и публичный разбор на всю профессию. Показательно, что Шварц спросил у ChatGPT, настоящие ли дела, — и модель уверенно ответила «да».

Канада, авиакомпания. Чат-бот Air Canada пообещал пассажиру скидку по случаю утраты близкого — по правилам, которых у компании не было. Пассажир дошёл до трибунала, и тот обязал авиакомпанию выполнить обещание бота: «чат-бот — часть вашего сайта, за его слова отвечаете вы». Прямая проекция на любой бизнес: за текст, который ушёл клиенту от вашего имени, отвечает ваша компания — кто бы его ни написал.

Матрица: что отдавать смело

Соедините два вопроса — «легко ли мне проверить результат?» и «легко ли исправить, если ошибка проскочит?» — и получите карту смелости:

Между ними — жёлтая зона: проверить трудно, но исправить легко (внутренняя справка «как считается показатель»), или наоборот (пост с ценой: проверить легко — но уйдёт клиентам, исправлять публично). В жёлтой зоне работает правило 30 секунд из следующего раздела.

Правило 30 секунд

Прежде чем отправить кому-то результат работы ИИ, задайте четыре вопроса:

Нет ни того, ни другого, ни третьего — например, это черновик поста или переформулировка вашего же текста — отправляйте смело. Проверка нужна фактам, а не стилю.