Когда метрики обретают характер
Система наблюдаемости превращает техническую активность ИИ-ассистентов в карточки персонажей, характеристики, арсенал и рейтинг развития. За игровой формой остаются реальные источники: журналы работы, память и использование инструментов. Пользователю проще увидеть, как меняется его агент, не разбирая сухие логи.
Посмотреть процесс по шагам ↓
CASE 08 / OBSERVABILITY / RPGКОНЦЕПТУАЛЬНАЯ ИЛЛЮСТРАЦИЯКАК ЭТО
РАБОТАЕТ.
От исходных данных до результата.
Выберите любой этап или запустите последовательный показ.
Журналы
Сборщик получает необходимые технические показатели из разрешённых источников. Для публичной игровой витрины используются метаданные, а не содержимое личных диалогов и документов пользователя.
- ↳ На входе
- Журналы сессий, использования моделей и памяти.
- ↗ На выходе
- Набор наблюдений для расчёта характеристик.
В чём
была задача
При росте числа ассистентов становится трудно понять, кто действительно используется и где возникла проблема. Технические панели показывают много чисел, но не всегда объясняют их значение нетехническому пользователю. Нужен более понятный способ наблюдать развитие агентов без подмены результатов красивыми, но выдуманными показателями.
Что
реализовано
Движок собирает метаданные работы и рассчитывает игровые характеристики по заданной методике. Веб-интерфейс показывает персонажей, их арсенал и сравнительные показатели. Художественный образ, наличие установленного навыка и подтверждённый результат различаются: красивый предмет на карточке сам по себе не доказывает выполненную бизнес-задачу.
Что
изменилось
Наблюдение за ассистентами стало понятнее и визуально привлекательнее. Изменения активности легче заметить на карточке или в рейтинге, после чего можно перейти к технической проверке причин. Игровая модель помогает вовлечению, но не является научной оценкой интеллекта агента, эффективности сотрудника или ценности каждого потраченного токена.