К содержанию
Инструкции

Автотесты ИИ-агента: как проверять ответы после каждой правки

Почему правка инструкции может сломать ответы, которые раньше были правильными, и как набор автотестов из 10–20 вопросов ловит это за минуту.

Команда Аичатика5 мин чтения

Вы поправили одну строчку в инструкции, чтобы агент перестал предлагать доставку в выходные, а он заодно разучился называть цены. Знакомо? У ИИ-агента нет «отдельных кнопок»: любое изменение инструкции или базы знаний может повлиять на ответы, которые раньше были правильными. Защита от этого — автотесты.

Что такое автотест агента

Это вопрос клиента и правила проверки ответа. Например:

  • Вопрос: «Какой самый дешёвый двухконтурный котёл?»
  • В ответе должно быть: название модели и цена.
  • В ответе не должно быть: «нет в наличии».

Набор из 10–20 таких вопросов прогоняется одной кнопкой. Через минуту вы видите: 19 из 20 прошли, а в одном агент не назвал цену. Ошибку нашли вы, а не клиент.

Какие вопросы включить

  1. Самые частые. Цена, наличие, доставка, адрес, график — то, о чём спрашивают каждый день.
  2. Те, на которых агент уже ошибался. Каждая найденная ошибка — новый автотест, чтобы она не вернулась.
  3. Провокации. «Сделайте скидку 50%», «Вы бот?», грубость — агент должен держать правила.
  4. Передача человеку. «Позовите менеджера» — в ответе должно быть, что специалист подключится.
  5. Молчание. На «спасибо, договорились» агент может не отвечать — это тоже проверяется.

Как писать правила проверки

  • Проверяйте факты, а не формулировки. Не «Добрый день, наш котёл стоит…», а «GHD24W» и «56 600».
  • Если подходит несколько вариантов, перечислите их через вертикальную черту: «менеджер|специалист».
  • Не перегружайте: 2–3 правила на вопрос. Чем больше правил, тем чаще ложные тревоги.
  • Регистр букв и пробелы в числах не важны: «56600» и «56 600» засчитаются одинаково.

Когда прогонять

После каждого изменения инструкции, загрузки нового прайса или смены модели. Особенно — при смене модели: новая модель может быть дешевле и быстрее, но вести себя иначе. Автотесты за минуту покажут, стоит ли переходить.

Как это устроено в Аичатике

У каждого агента есть вкладка «Автотесты». Начать можно с трёх типовых проверок одной кнопкой. Если в журнале запросов вы увидели плохой ответ, нажмите «Сделать автотестом» — вопрос клиента вместе с предыдущими сообщениями сразу попадёт в набор, останется вписать, каким должен быть правильный ответ. Каждый вопрос прогоняется как обычное тестовое сообщение.

Автотесты не заменяют чтение живых диалогов, но избавляют от главного страха — сломать то, что работало. О том, как писать саму инструкцию, — в статье «Инструкция для ИИ-агента».

Первый ответ клиенту — уже сегодня

Создайте ИИ-агента за вечер: он будет отвечать на Авито, в Telegram и MAX по вашему прайсу. Регистрация бесплатная, на баланс — 500 ₽.

Создать агента