Analyst Days 18 — Евгений Цапников "Как следить за здоровьем виртуального ассистента"
Channel:
Subscribers:
8,990
Published on ● Video Link: https://www.youtube.com/watch?v=giBN0_KDpYM
В рамках доклада будут представлен процесс бизнес-мониторинга качества виртуального ассистента. Важность задачи обусловлена высокой степенью влияния качества на ключевую бизнес-метрику ВА - месячную аудиторию (MAU). Будут рассмотрены требования от бизнеса и их непосредственная реализация с точки зрения аналитики. Будет представлена методология для оценки качества работы каждой из крупных ML-систем ВА, а также представлен механизм объединения этих оценок в единый пайп для получения "метрики всевластия" - e2e качества виртуального ассистента.