# 05. План пилота: как измеряем качество и договариваемся цифрами

Версия 1.0 от 2026-10-03. Ссылки из [03-models.md](03-models.md) §4 и
[local-poc/README.md](../local-poc/README.md) ведут сюда. Цель документа — сделать пилот
предсказуемым: что делаем, в какие сроки, что измеряем и при каких цифрах идём дальше.

## 1. Принцип

**Мы не обещаем волшебный WER — мы его измеряем.** Публичные бенчмарки ASR на телефонном
русском не переносятся на записи конкретного заказчика: другой кодек, уровень шума, сленг,
акцент, качество микрофонов. Поэтому пилот — это измерительный эксперимент с заранее
согласованными критериями, а не «демо».

Результат пилота — **отчёт с цифрами и приложение к договору**, где зафиксированы:
модель ASR, WER на контрольной выборке, качество классификации по классам, фактическая
скорость обработки и стоимость часа аудио для этого заказчика.

## 2. Сроки и состав работ (2–4 недели)

| Неделя | Что делаем | Что нужно от заказчика |
|---|---|---|
| 1 | Анкета ([01-integration.md](01-integration.md)), доступы, выгрузка тестовой выборки, стратификация записей по типам | доступ к системе записи, 1–2 контактных лица, ответы на блоки A–C анкеты |
| 1–2 | Эталонная разметка: 60–90 минут аудио вручную (обычные, автоответчики, шумные, короткие, «трудные») + 300–500 звонков для разметки классификации | воркшоп по таксономии (2 часа), списки скриптов и стоп-слов |
| 2–3 | Прогон 3–4 моделей ASR, замер WER/CER по слоям; настройка каскада классификации; первые дашборды | подтверждение таксономии, участие руководителя группы в разборе спорных звонков |
| 3–4 | Прогон на объёме, замер RTF и стоимости часа; отчёт Go/No-Go; демонстрация дашбордов | обратная связь по дашбордам, решение о переходе на тариф |

## 3. Что именно измеряем

### 3.1 Распознавание

- **WER / CER** общие и по слоям: обычные звонки, автоответчики, шумные, короткие, «трудные».
- Сравнение моделей между собой важнее абсолютных чисел.
- Доля сегментов с низкой уверенностью (`no_speech_prob`, `avg_logprob`) — индикатор
  «мусорных» вставок, которые потом портят метрики (см. историю с галлюцинациями в
  [local-poc/README.md](../local-poc/README.md)).

### 3.2 Классификация

- **Precision / recall / F1** по каждому классу таксономии на размеченных 300–500 звонках.
- Отдельно — бинарная задача **«живой разговор vs всё остальное»**: именно она определяет
  достоверность главных KPI руководства (конверсия, покрытие, нагрузка).
- Доля звонков, ушедших в очередь ручного контроля (настраивается порогом уверенности).

### 3.3 Скорость и стоимость

- **RTF** на целевой карте при реальном батчинге, включая предобработку.
- Стоимость обработки часа аудио (аренда + электричество/облако) → основание для расчёта
  тарифа и конфигурации ([04-hardware.md](04-hardware.md)).

## 4. Критерии Go / No-Go

Согласуются **до** пилота, чтобы решения не принимались по впечатлениям:

| Критерий | Порог |
|---|---|
| WER на «живых» звонках | соответствует ожиданиям заказчика (обсуждается индивидуально; для телефонии ориентир 10–25 % и зависит от качества канала) |
| F1 бинарной задачи «живой разговор / не живой» | ≥ 0,90 |
| F1 ключевых бизнес-классов (результат разговора) | ≥ 0,75 после настройки |
| Соблюдение скрипта: precision срабатывания правил | ≥ 0,90 |
| Обработка без ручного вмешательства | ≥ 95 % звонков |
| Скорость: результат по новому звонку | ≤ 30 минут (SLA ≤ 24 ч) |

Если пороги не достигнуты — мы говорим об этом прямо и предлагаем: сменить модель ASR,
сузить таксономию или отказаться от проекта. «Продать любой ценой» — не наша модель.

## 5. Артефакты пилота

1. **Отчёт о качестве** (PDF): методика, метрики, примеры, ограничения.
2. **Приложение к договору** с зафиксированными метриками и версией модели.
3. **Работающий контур:** API-ключ, дашборды, карточка звонка по живым записям заказчика.
4. **Таксономия v1** и словари скриптов — пополняемые, с измерениями на регресс-наборе.
5. **Регресс-набор** (при согласии заказчика) — основа ежемесячного контроля качества
   ([10-feature-specs/07](10-feature-specs/07-quality-drift.md)).

## 6. Стоимость и условия пилота

- **300 минут транскрипции бесплатно** — API-ключ выдаётся сразу, без карты.
- Пилот по аналитике — **−50 %** на минуты и подписку; при продолжении скидка действует
  первые 2 месяца основного тарифа ([06-pricing.md](06-pricing.md) §1, §7).
- Разметка эталона (60–90 минут аудио + 300–500 звонков) — делается нами, входит в пилот.
- Если заказчик решает не продолжать — данные и транскрипты удаляются по акту, оригиналы
  никогда не покидали его контур ([07-deployment.md](07-deployment.md) §4).

## 7. Типовые риски пилота и что делаем

| Риск | Митигация |
|---|---|
| Выборка не репрезентативна (только «удобные» звонки) | стратификация по типам, требование включить «трудные» записи |
| Нет размеченных данных для классификации | воркшоп по таксономии + разметка силами аналитика заказчика и нашего |
| API записи нестабилен, выгрузка медленная | ранний замер скорости, физическая отгрузка дисков для объёмов |
| Расхождение ожиданий по «спец-ответам» | формализация определения метки с примерами «да/нет» до замера |
| Служба безопасности не согласует облако | вариант приватного контура или коробки ([10-feature-specs/05](10-feature-specs/05-private-shard.md)) |