05. План пилота: как измеряем качество и договариваемся цифрами
Версия 1.0 от 2026-10-03. Ссылки из Модели распознавания и методика оценки качества §4 и local-poc/README.md ведут сюда. Цель документа — сделать пилот предсказуемым: что делаем, в какие сроки, что измеряем и при каких цифрах идём дальше.
1. Принцип
Мы не обещаем волшебный WER — мы его измеряем. Публичные бенчмарки ASR на телефонном русском не переносятся на записи конкретного заказчика: другой кодек, уровень шума, сленг, акцент, качество микрофонов. Поэтому пилот — это измерительный эксперимент с заранее согласованными критериями, а не «демо».
Результат пилота — отчёт с цифрами и приложение к договору, где зафиксированы: модель ASR, WER на контрольной выборке, качество классификации по классам, фактическая скорость обработки и стоимость часа аудио для этого заказчика.
2. Сроки и состав работ (2–4 недели)
| Неделя | Что делаем | Что нужно от заказчика |
|---|---|---|
| 1 | Анкета (Интеграция и анкета подключения к АТС), доступы, выгрузка тестовой выборки, стратификация записей по типам | доступ к системе записи, 1–2 контактных лица, ответы на блоки A–C анкеты |
| 1–2 | Эталонная разметка: 60–90 минут аудио вручную (обычные, автоответчики, шумные, короткие, «трудные») + 300–500 звонков для разметки классификации | воркшоп по таксономии (2 часа), списки скриптов и стоп-слов |
| 2–3 | Прогон 3–4 моделей ASR, замер WER/CER по слоям; настройка каскада классификации; первые дашборды | подтверждение таксономии, участие руководителя группы в разборе спорных звонков |
| 3–4 | Прогон на объёме, замер RTF и стоимости часа; отчёт Go/No-Go; демонстрация дашбордов | обратная связь по дашбордам, решение о переходе на тариф |
3. Что именно измеряем
3.1 Распознавание
- WER / CER общие и по слоям: обычные звонки, автоответчики, шумные, короткие, «трудные».
- Сравнение моделей между собой важнее абсолютных чисел.
- Доля сегментов с низкой уверенностью (
no_speech_prob,avg_logprob) — индикатор
«мусорных» вставок, которые потом портят метрики (см. историю с галлюцинациями в local-poc/README.md).
3.2 Классификация
- Precision / recall / F1 по каждому классу таксономии на размеченных 300–500 звонках.
- Отдельно — бинарная задача «живой разговор vs всё остальное»: именно она определяет
достоверность главных KPI руководства (конверсия, покрытие, нагрузка).
- Доля звонков, ушедших в очередь ручного контроля (настраивается порогом уверенности).
3.3 Скорость и стоимость
- RTF на целевой карте при реальном батчинге, включая предобработку.
- Стоимость обработки часа аудио (аренда + электричество/облако) → основание для расчёта
тарифа и конфигурации (Мощности и стоимость обработки минуты).
4. Критерии Go / No-Go
Согласуются до пилота, чтобы решения не принимались по впечатлениям:
| Критерий | Порог |
|---|---|
| WER на «живых» звонках | соответствует ожиданиям заказчика (обсуждается индивидуально; для телефонии ориентир 10–25 % и зависит от качества канала) |
| F1 бинарной задачи «живой разговор / не живой» | ≥ 0,90 |
| F1 ключевых бизнес-классов (результат разговора) | ≥ 0,75 после настройки |
| Соблюдение скрипта: precision срабатывания правил | ≥ 0,90 |
| Обработка без ручного вмешательства | ≥ 95 % звонков |
| Скорость: результат по новому звонку | ≤ 30 минут (SLA ≤ 24 ч) |
Если пороги не достигнуты — мы говорим об этом прямо и предлагаем: сменить модель ASR, сузить таксономию или отказаться от проекта. «Продать любой ценой» — не наша модель.
5. Артефакты пилота
- Отчёт о качестве (PDF): методика, метрики, примеры, ограничения.
- Приложение к договору с зафиксированными метриками и версией модели.
- Работающий контур: API-ключ, дашборды, карточка звонка по живым записям заказчика.
- Таксономия v1 и словари скриптов — пополняемые, с измерениями на регресс-наборе.
- Регресс-набор (при согласии заказчика) — основа ежемесячного контроля качества
6. Стоимость и условия пилота
- 300 минут транскрипции бесплатно — API-ключ выдаётся сразу, без карты.
- Пилот по аналитике — −50 % на минуты и подписку; при продолжении скидка действует
первые 2 месяца основного тарифа (Цены и тарифы: подписки, API и on-prem §1, §7).
- Разметка эталона (60–90 минут аудио + 300–500 звонков) — делается нами, входит в пилот.
- Если заказчик решает не продолжать — данные и транскрипты удаляются по акту, оригиналы
никогда не покидали его контур (Поставка, внедрение и безопасность §4).
7. Типовые риски пилота и что делаем
| Риск | Митигация |
|---|---|
| Выборка не репрезентативна (только «удобные» звонки) | стратификация по типам, требование включить «трудные» записи |
| Нет размеченных данных для классификации | воркшоп по таксономии + разметка силами аналитика заказчика и нашего |
| API записи нестабилен, выгрузка медленная | ранний замер скорости, физическая отгрузка дисков для объёмов |
| Расхождение ожиданий по «спец-ответам» | формализация определения метки с примерами «да/нет» до замера |
| Служба безопасности не согласует облако | вариант приватного контура или коробки (10-feature-specs/05) |