Как оценивать AI-фичи: практический фреймворк для продуктовых команд

Оценка CRUD-фичи — это привычка. Оценка AI-фичи — это спор. Модель работает в демо, падает 8% в реальном использовании, и эти 8% — ровно там, где живут ваши пользователи. Вот фреймворк, который мы сейчас применяем перед тем, как назвать клиенту число.

Три оси оценки AI-фич

Каждую AI-фичу в сайзинге мы кладём на три оси. Допустимая точность — насколько неправильным может быть вывод, пока пользователю всё равно. Восстановимость — если модель ошиблась, сколько стоит восстановление. Экспозиция данных — что модель должна увидеть, и каков blast radius при утечке.

Что мы неправильно делали в AI-оценке

Наш первый год AI-оценок был по сути софт-оценкой плюс fudge-коэффициент. Скоупили happy path, умножали на 1.5 — и всё. Стабильно упускали eval-харнесс, fallback UI и human-in-the-loop. Ни одно из этого не опционально в проде; всё это невидимо в демо.

Одна страница, которую мы заполняем на каждую AI-фичу

Каждая новая AI-фича — один документ. Определение задачи в один абзац. Пол точности одним числом. Fallback UI двумя скетчами. Human-in-the-loop путь — диаграммой. Data footprint — списком пунктов. Если хоть одно из этих пяти замахнули рукой — фича не готова к оценке.