Метрики агента

Кратко

Метрики позволяют агенту извлекать данные из диалогов. Метрики событий оценивают отдельные сообщения и результат работы агента, а категории обсуждений помогают AI объединять диалоги по темам в сводке Инсайда.

В форме агента

В левом меню выберите «Агенты», найдите нужного агента в списке и откройте его настройки.

На вкладке «Инструменты» в блоке «Метрики» настраиваются сбор данных и модель для их оценки.

• включается сбор метрик;
• выбирается цель оценки;
• отдельно настраиваются события и обсуждения.

Поле «Модель для метрик и суммаризаций» задаёт модель для расчёта метрик, резюме сообщений и диалога и анализа тем. Ответы клиенту продолжает готовить основная модель агента. Так можно отдельно подобрать модель для общения и для аналитики.

Откройте выбор модели, найдите её через поиск и выберите подходящий вариант. При наведении на вариант показывается карточка модели. Вариант «Как у агента» использует основную модель и для аналитики. Сам выбор модели не включает выключенные метрики или суммаризацию: эти настройки задаются отдельно ниже.

События и обсуждения

Нажмите «Настроить метрики». В открывшемся окне две вкладки:

На вкладке «События» находятся показатели, которые сохраняются на сообщениях и используются в обычной аналитике: например, результат диалога, настроение или достижение цели.

На вкладке «Обсуждения» находятся категории, по которым AI группирует темы диалогов в сводке. Они не заменяют событийные показатели: одна группа отвечает на вопрос «что произошло в сообщении», другая — «о чём шёл разговор».

Обсуждение здесь означает смысловой участок диалога, например обращение в поддержку, консультацию или продажу. В одном таком участке может быть несколько самостоятельных тем. Основная категория и дополнительные признаки сохраняются отдельно для каждой обнаруженной темы и обновляются, когда разговор к ней возвращается. Поэтому один диалог может дать несколько наблюдений метрик обсуждений; это не дублирование сообщений.

Режимы

Для событий и обсуждений режим выбирается независимо:

• «Использовать стандартные метрики» — готовый набор под тип агента;
• «Настроить самостоятельно» — выбранный пользователем набор.

Например, можно оставить стандартные метрики событий, но настроить свои категории обсуждений. При первом переключении группы в ручной режим кабинет переносит в неё стандартный набор этой группы, чтобы его можно было изменить, а не собирать заново.

Как выбрать метрики

На нужной вкладке включите ручной режим и нажмите «Добавить метрику». В открывшемся списке можно воспользоваться поиском, показать все, только встроенные или только свои метрики. Выберите нужные метрики и нажмите «Добавить (N)», где N — количество выбранных метрик.

Если подходящей метрики нет, используйте «Создать метрику». Задайте способ измерения, тип значения и правила извлечения данных, затем нажмите «Сохранить». После этого выберите созданную метрику в списке.

Существующую метрику можно просмотреть, изменить или убрать из агента. Завершите настройку кнопкой «Сохранить», затем опубликуйте агента.

В итоговом наборе агента может быть не более 20 метрик суммарно по событиям и обсуждениям. В этот лимит входят и стандартные, и выбранные вручную метрики. Дополнительных признаков обсуждения в итоговом наборе может быть не более шести, а основная категория обсуждения может быть только одна. Если набор не сохраняется, уберите лишние ручные метрики или переключите нужный раздел в ручной режим и соберите более короткий набор.

Черновик и публикация

• выбор стандартных или кастомных метрик сохраняется в черновике агента;
• режимы событий и обсуждений сохраняются независимо;
• реальные диалоги используют опубликованную настройку метрик;
• после изменения метрик опубликуйте агента;
• откат черновика возвращает оба режима и выбранные списки к опубликованной версии.