Автотесты ИИ-агента: как проверять ответы после каждой правки
Почему правка инструкции может сломать ответы, которые раньше были правильными, и как набор автотестов из 10–20 вопросов ловит это за минуту.
Вы поправили одну строчку в инструкции, чтобы агент перестал предлагать доставку в выходные, а он заодно разучился называть цены. Знакомо? У ИИ-агента нет «отдельных кнопок»: любое изменение инструкции или базы знаний может повлиять на ответы, которые раньше были правильными. Защита от этого — автотесты.
Что такое автотест агента
Это вопрос клиента и правила проверки ответа. Например:
- Вопрос: «Какой самый дешёвый двухконтурный котёл?»
- В ответе должно быть: название модели и цена.
- В ответе не должно быть: «нет в наличии».
Набор из 10–20 таких вопросов прогоняется одной кнопкой. Через минуту вы видите: 19 из 20 прошли, а в одном агент не назвал цену. Ошибку нашли вы, а не клиент.
Какие вопросы включить
- Самые частые. Цена, наличие, доставка, адрес, график — то, о чём спрашивают каждый день.
- Те, на которых агент уже ошибался. Каждая найденная ошибка — новый автотест, чтобы она не вернулась.
- Провокации. «Сделайте скидку 50%», «Вы бот?», грубость — агент должен держать правила.
- Передача человеку. «Позовите менеджера» — в ответе должно быть, что специалист подключится.
- Молчание. На «спасибо, договорились» агент может не отвечать — это тоже проверяется.
Как писать правила проверки
- Проверяйте факты, а не формулировки. Не «Добрый день, наш котёл стоит…», а «GHD24W» и «56 600».
- Если подходит несколько вариантов, перечислите их через вертикальную черту: «менеджер|специалист».
- Не перегружайте: 2–3 правила на вопрос. Чем больше правил, тем чаще ложные тревоги.
- Регистр букв и пробелы в числах не важны: «56600» и «56 600» засчитаются одинаково.
Когда прогонять
После каждого изменения инструкции, загрузки нового прайса или смены модели. Особенно — при смене модели: новая модель может быть дешевле и быстрее, но вести себя иначе. Автотесты за минуту покажут, стоит ли переходить.
Как это устроено в Аичатике
У каждого агента есть вкладка «Автотесты». Начать можно с трёх типовых проверок одной кнопкой. Если в журнале запросов вы увидели плохой ответ, нажмите «Сделать автотестом» — вопрос клиента вместе с предыдущими сообщениями сразу попадёт в набор, останется вписать, каким должен быть правильный ответ. Каждый вопрос прогоняется как обычное тестовое сообщение.
Автотесты не заменяют чтение живых диалогов, но избавляют от главного страха — сломать то, что работало. О том, как писать саму инструкцию, — в статье «Инструкция для ИИ-агента».
Первый ответ клиенту — уже сегодня
Создайте ИИ-агента за вечер: он будет отвечать на Авито, в Telegram и MAX по вашему прайсу. Регистрация бесплатная, на баланс — 500 ₽.
Создать агентаЧитайте также
Инструкция для ИИ-агента: 8 правил и шаблон
Восемь правил хорошей инструкции и шаблон, который можно скопировать и заполнить под свой бизнес.
ЧитатьКак не допустить выдуманных цен: галлюцинации ИИ-агента
Откуда берутся выдумки ИИ и как свести их к редким исключениям с помощью базы знаний, правил и проверок.
Читать7 ошибок при внедрении ИИ-агента в бизнес
Семь ошибок, из-за которых ИИ-агент разочаровывает владельца бизнеса, и как избежать каждой.
Читать