Метрики агента

Кратко

Метрики позволяют агенту извлекать данные из диалогов. Метрики событий оценивают отдельные сообщения и результат работы агента, а категории обсуждений помогают AI объединять диалоги по темам в сводке Инсайда.

В форме агента

• включается сбор метрик;
• выбирается цель оценки;
• отдельно настраиваются события и обсуждения.

События и обсуждения

Нажмите «Настроить метрики». В открывшемся окне две вкладки:

На вкладке «События» находятся показатели, которые сохраняются на сообщениях и используются в обычной аналитике: например, результат диалога, настроение или достижение цели.

На вкладке «Обсуждения» находятся категории, по которым AI группирует темы диалогов в сводке. Они не заменяют событийные показатели: одна группа отвечает на вопрос «что произошло в сообщении», другая — «о чём шёл разговор».

Режимы

Для событий и обсуждений режим выбирается независимо:

• «Использовать стандартные метрики» — готовый набор под тип агента;
• «Настроить самостоятельно» — выбранный пользователем набор.

Например, можно оставить стандартные метрики событий, но настроить свои категории обсуждений. При первом переключении группы в ручной режим кабинет переносит в неё стандартный набор этой группы, чтобы его можно было изменить, а не собирать заново.

Как выбрать метрики

На нужной вкладке включите ручной режим и нажмите «Добавить метрику». В открывшемся списке можно воспользоваться поиском, показать все, только встроенные или только свои метрики. Выберите нужные метрики и нажмите «Добавить выбранные».

Если подходящей метрики нет, используйте «Создать метрику». Заполните её параметры и нажмите «Сохранить». После этого выберите созданную метрику в списке. Существующую метрику можно просмотреть, изменить или убрать из агента. Завершите настройку кнопкой «Сохранить», затем опубликуйте самого агента.

В итоговом наборе агента может быть не более 20 метрик суммарно по событиям и обсуждениям. В этот лимит входят и стандартные, и выбранные вручную метрики. Дополнительных признаков обсуждения в итоговом наборе может быть не более шести, а основная категория обсуждения может быть только одна. Если набор не сохраняется, уберите лишние ручные метрики или переключите нужный раздел в ручной режим и соберите более короткий набор.

Где и как измеряется метрика

При создании своей метрики выберите где и как она измеряется через один из вариантов:

• Метрика события сохраняется на сообщениях и участвует в обычной аналитике;
• Основная категория обсуждения определяет главный список тем в сводке. Используйте текстовую метрику с фиксированным списком значений; у агента может быть только одна основная категория;
• Дополнительный признак обсуждения оценивает тему целиком и уточняет её, но не создаёт отдельный главный список. Он может содержать одно значение из заданного списка, несколько значений из заданного списка или ответ «да/нет».

Хорошая основная категория содержит устойчивые направления разговора, например «Оплата», «Доставка», «Возврат». Дополнительный признак отвечает на уточняющий вопрос, например «Срочно?» или «Нужна эскалация?».

После выбора способа измерения кабинет показывает только совместимые типы значения. Выберите нужный вариант: для основной категории доступен только текст с фиксированным списком, а для дополнительного признака — текстовый список, массив значений или «да/нет».

Черновик и публикация

• выбор стандартных или кастомных метрик сохраняется в черновике агента;
• режимы событий и обсуждений сохраняются независимо;
• реальные диалоги используют опубликованную настройку метрик;
• после изменения метрик опубликуйте агента;
• откат черновика возвращает оба режима и выбранные списки к опубликованной версии.

Поля кастомной метрики

• название;
• описание;
• тип значения;
• пример значения;
• инструкция для AI-извлечения.

Ключ метрики создаётся автоматически и доступен только при просмотре: заполнять его вручную не нужно.

Типы метрик

• числовая;
• текстовая;
• логическая — значение «да» или «нет»;
• массив — несколько значений;
• объект — свободная структура JSON.

Ограничения для строк

Допустимые значения и максимальная длина настраиваются в блоке ограничений.

• список может содержать от 1 до 50 уникальных непустых значений;
• максимальная длина свободной строки задаётся от 1 до 10 000 символов;
• свободный текст не участвует в аналитике как числовой показатель.

Ограничения для чисел

• минимальное значение;
• максимальное значение;
• только целые числа.

Если указаны обе границы, минимальное значение не может быть больше максимального.

Ограничения для массивов

• список допустимых элементов может содержать от 1 до 50 уникальных непустых значений;
• максимальное количество элементов в результате задаётся от 1 до 50.

Ограничения для объектов

• свободный JSON;
• такие значения обычно не участвуют в агрегированной аналитике как числовой показатель.

Как ограничения влияют на сбор

Перед сохранением система проверяет ответ AI по типу и ограничениям метрики. Строки очищаются от пробелов по краям, а одинаковые элементы массива объединяются. Значение не сохраняется, если строка пустая, тип неверный, значение не входит в допустимый список, нарушает числовые границы, массив содержит недопустимый элемент либо превышен максимальный размер строки или массива.

Если метрика пропускается, проверьте её инструкцию и пример: они должны приводить к значению того же типа и формата, который задан в ограничениях. Система не заменяет неверное значение ближайшим допустимым автоматически.

Настройки аналитики

• в настройках аналитики можно указать, участвует ли метрика в сравнении хороших и проблемных результатов;
• если настройка доступна для выбранного типа, задайте какое направление считается хорошим. Кабинет показывает только подходящие варианты;
• для логической метрики сначала включите участие в аналитике, затем явно выберите, считается ли хорошим результатом «да» или «нет»;
• основная категория обсуждения группирует темы и сама не участвует в рейтинге хороших и проблемных показателей;
• дополнительные признаки обсуждения с сопоставимыми уровнями могут участвовать в рейтингах и трендах вместе с метриками событий. Например, стандартные признаки сравнивают срочность, тяжесть обращения или отсутствие возражений;
• встроенные метрики доступны для просмотра, но не редактируются.

Если в возможностях агента включен пропуск метрик, агент может не учитывать отдельное сообщение в статистике. Это не выключает сбор метрик полностью и должно использоваться только для тестовых, нерелевантных или шумных сообщений.

Изменение метрики после сбора данных

Пока по собственной метрике ещё нет результатов, можно изменить её настройки. После появления результатов можно исправлять название, описание, пример и инструкцию для AI, но нельзя менять смысл уже собранных значений:

• тип значения;
• место измерения и роль в обсуждении;
• допустимые значения, границы и другие ограничения;
• направление хорошего результата для аналитики.

Если нужен другой смысл или шкала, создайте новую метрику и выберите её у агента. Так старая история останется сопоставимой. Встроенные метрики нельзя редактировать независимо от наличия результатов.

Если удалить метрику

• открыть собственную метрику и нажать «Удалить» можно только для кастомной метрики;
• перед подтверждением удаления учтите, что метрика будет убрана у всех агентов, где используется;
• исторические данные могут остаться в истории, но новая настройка больше не будет собирать эту метрику;
• если удалить основную категорию обсуждения, выберите другую перед следующей публикацией агента, иначе темы сводки будут менее структурированными.

Где это в интерфейсе

Основные элементы раздела:

• форма настроек агента
• список агентов
• пункт «Агенты» в боковом меню