Тестовые диалоги
ИИ играет роль клиента: пишет сообщения, нажимает кнопки и проверяет, как отвечает агент или проходит автоматизация. Каждый вариант начинается с нового тестового диалога. Так можно проверить, например, оформление заказа, уточнение неполных данных и отказ от покупки, не переписываясь вручную за каждого клиента.
Запустите тест
В окне запуска диагностики включите «Тестировать в диалогах». Проверка дополнит разбор настроек выбранных элементов реальными тестовыми переписками.
Для проверки одного элемента откройте тестирование в редакторе агента или автоматизации и выберите тест через ИИ. В этом случае проверяются диалоги, без предварительного общего разбора проекта.
- Выберите модель, которая будет играть клиента и оценивать разговор. Сам проверяемый агент отвечает своей моделью.
- Укажите «Варианты диалога»: от 1 до 10 для каждого выбранного элемента.
- Задайте «Максимум шагов клиента»: от 1 до 30 в каждом варианте. Сообщение и нажатие кнопки считаются шагами; ответы агента не расходуют это число. Разговор может завершиться раньше, если задача выполнена.
- В поле «Что проверить» опишите важные ситуации, например: «Клиент не знает номер заказа, затем просит оператора».
- Проверьте лимит расходов и подтвердите запуск. Оценка учитывает лимит шагов, число вариантов и модели проверяемых агентов; списывается фактический расход, а не вся предложенная сумма.
Для модели клиента и моделей проверяемых агентов отдельно учитывается способ оплаты. Запросы через собственные ключи оплачиваются у провайдера и не расходуют кредиты Senler. Если часть моделей работает через Senler или разрешён резерв через его аккаунты, эти запросы входят в оценку кредитов. Лимит теста ограничивает кредиты Senler, но не расходы у вашего провайдера.
Из редактора проверяется сохранённый черновик. При запуске из диагностики используются действующие настройки агента и опубликованная автоматизация; если автоматизация не опубликована, используется её черновик. Проверяемая версия указана в результате. Если настройки изменились во время теста, начните новую проверку обновлённой версии.
Для теста самого агента включите «Готовить ответы и выполнять действия». При выключенной обработке разговор с агентом не запускается, и результат указывает эту причину. «Не отправлять основной ответ клиенту» — отдельная настройка: она не отключает обработку и инструменты.
Посмотрите результат
У каждого варианта показаны ситуация клиента, ход разговора, итог и замечания. Раскройте вариант и нажмите «Открыть переписку», чтобы проверить вывод по самим сообщениям. Завершённый счётчик включает и частично проверенные варианты: смотрите не только число, но и статус каждого разговора.
Статус объясняет, что действительно удалось проверить:
- «В этом диалоге замечаний нет» относится только к выполненному варианту, а не ко всем возможным разговорам с агентом.
- «Достигнут лимит шагов» означает, что закончились разрешённые действия клиента. Прочитайте переписку: такой итог сам по себе не подтверждает выполнение всей задачи.
- «Не проверено» означает, что нет сохранённой переписки или результатов действий, по которым можно оценить поведение.
- «Проверено частично» или «Ограничение теста» указывают на непроверенную часть сценария. Рядом показаны причина и, для автоматизации, шаг остановки. Например, тест не поддерживает нужное действие или за две минуты не получил полный ответ.
Если не удалось подготовить итог, сохранённую переписку можно оценить самостоятельно. Ошибку настройки исправляйте по указанной причине, затем запускайте новый тест.
Тест не отправляет сообщения другим получателям и не изменяет общие данные проекта. При неподдерживаемом инструменте, действии или способе запуска автоматизации он останавливает этот вариант и отмечает непроверенные шаги. Автоматически поддерживается запуск автоматизации с «Начала» или входящего сообщения. Содержимое вложений не оценивается; разговор, для продолжения которого нужно прочитать вложение, может завершиться частично. Эти части сценария проверяйте вручную на безопасных данных.
Пауза и завершение
«Приостановить» сохраняет возможность продолжить тот же тест. Если не хватает лимита расходов, увеличьте его перед продолжением. «Остановить тестирование» завершает тест, сохраняя готовые результаты; для следующего запуска выберите «Новый тест».
Закрытие окна или страницы не останавливает работу. Вернитесь к тесту через «Открыть тестирование» в редакторе или откройте отчёт диагностики. Во встроенном чате можно просматривать выполняющийся вариант, но писать в него и нажимать кнопки можно только после его завершения, а не во время паузы.
Доступ
Для запуска нужны права управления аналитикой и диалогами, а также просмотра агентов и автоматизаций. Проверка автоматизации дополнительно требует права управления автоматизациями.