Skip to content

План после 1.4.0

Дата: 2026-11-02. Это предложение следующего цикла, а не отчёт о полученном результате. Исходная версия для стабилизации: a015948 (1.4.1.dev0). Новая оценка на реальных документах не запускалась.

Выполненная инженерная работа и отрицательный синтетический пилот Qwen: состояние процесса. Пример: проверка счёта с человеком. Остальные experimental-модули: очередь следующих проверок. Исходные критерии ниже не изменены.

Сначала стабилизация 1.4.1

  1. Сверить содержимое исправлений main и dev, не переносить коммиты только ради совпадения истории.
  2. Проверить целевые регрессии knowledge, document/numguard, laws, stream и process по handoff 2026-10-30.
  3. Выполнить немодельную сюиту, ruff и pyright в версиях CI, honesty gate, gallery и сборку пакета/документации.
  4. Отдельно указать непроверенные конфигурации: матрицу Python, реальные модели, опциональные backend.
  5. Зафиксировать локальные изменения и результаты. Релиз и публикация требуют отдельной команды пользователя.

Прохождение тестов не означает, что каждый пункт внешнего отчёта закрыт: нужна сверка каждого воспроизведения и остаточных ограничений. Отдельно сохраняются ограничения, которые исправление лишь делает явными.

Прикладной процесс: проверка счёта по фиксированной политике

Первая задача — по тексту счёта и данным заказа вычислить, совпадают ли сумма и валюта, достаточно ли обязательных реквизитов и можно ли передать счёт на следующий этап согласования. Оплаты и другие внешние действия в этот процесс не входят.

Поток: текст → типизированные факты с цитатами → детерминированная политика → решение либо человек → журнал. Использовать существующие document, hard checks и storage. Подключать experimental.process только для ожидания человека и возобновления; новый публичный API для этого этапа не нужен. Одна версия политики и одна версия извлекателя фиксируются на всё измерение.

Результат хранит отдельно: автоматический ответ, отказ, причину отказа, ответ человека, автора исправления, версию политики, fingerprint модели, цитаты с offsets, идентификаторы записей и стоимость. Отказ не подменяется верным ответом человека в метрике автоматического качества.

Гипотезы и предлагаемые критерии

Критерии ниже предложены до нового eval, но ещё не заморожены: перед запуском нужны точный корпус, протокол разметки, модель, бюджет и запись принятого решения о критериях. Изменения критериев после просмотра eval запрещены; отрицательный итог сохраняется наравне с положительным.

Гипотеза Основная метрика Предлагаемый критерий
Автоматические решения достаточно точны Ошибка среди автоматических ответов Односторонняя точная 95% верхняя граница ≤ 5% на eval
Отказ не съедает прикладную пользу Автоматическое покрытие всего eval ≥ 50%; иначе точность сама по себе не считается успехом
Проверки добавляют пользу Покрытие при одинаковом ограничении ошибки Парная 95% нижняя граница разности с сильнейшим сравнением > 0
Происхождение можно проверить Существование цитат, offsets, целостность и replay 100% сохранённых записей проверяются; семантика поля оценивается отдельно

max_error=0.05 — настройка для условной ошибки среди ответов; max_risk с совместной вероятностью «ответил и ошибся» не заменяет эту метрику. Отдельно считать обе величины и число автоматических ответов. Интервалы по решениям предполагают независимые единицы; при кластерах поставщиков/шаблонов нужен заранее определённый кластерный анализ. Не выдавать обычный биномиальный интервал за гарантию при зависимости.

Данные и сравнения

Предлагаемый минимум: 200 документов development, 400 calibration, 1000 eval. До выбора корпуса проверить достаточность размера с учётом кластеров. Делить по поставщику/семейству шаблона и исключить дубликаты; разные страницы и редакции одного счёта не должны попадать в разные доли. Eval размечается до ответов моделей и остаётся закрытым до фиксации конфигураций. Не использовать прошлый flagship как новый независимый eval.

Сравниваются три заранее фиксированных варианта:

  1. LLM напрямую выдаёт решение по тому же тексту, данным заказа и политике; может отказаться.
  2. Простое извлечение полей плюс тот же детерминированный код политики, без механизмов solvi.
  3. solvi.document с grounding, hard checks и калибровкой.

Для всех вариантов один модельный snapshot, одинаковая доступная информация и фиксированные лимиты. Порог каждого сравнения выбирается только на calibration. Учитываются все вызовы, повторы, обрезанные ответы и неуспешные чтения; дополнительные вызовы solvi не считаются бесплатными. На eval конфигурации не подбираются. Парный анализ сравнивает решения по одним документам; при выборе сильнейшего из двух сравнений поправка на два сравнения фиксируется до eval.

Обязательные срезы: одинаковые числа у разных полей, разные валюты и масштабы, десятичные форматы, отрицательные суммы, отсутствие обязательного поля, противоречие тексту, инструкции внутри документа, новый шаблон. Искусственные мутации — отдельная стресс-проверка, не замена реальному eval. Наличие правильного числа в тексте не засчитывает правильно выбранное поле.

Дополнительные метрики: итоговая точность до/после человека, исправления человеком, доля ложных отказов, стоимость всего потока и автоматического решения, p50/p95 задержки, покрытие по срезам, расхождения семантики поля при корректной цитате. Для цены ошибки и труда человека приводить отдельные сценарии.

До запуска и после него

До eval: записать хеш manifest данных, разделение, политику, разметку, модель, промпты, пороги, лимиты, правила статистического сравнения и утверждённые критерии. Проверить scorer на известных примерах, отрицательные контроли, отсутствие утечки, save/resume, heartbeat и обрезание генерации через smoke. Незапущенные, ошибочные и NaN-случаи записываются и учитываются; результаты сохраняются по документу.

Сначала офлайн пример и проверки цикла «решение → человек → resume → replay» с подставной моделью. Затем разметка и заморозка данных/критериев; только после этого один eval. Положительный исследовательский вывод требует независимого review-result по сырым данным. Если критерий не выполнен, фиксируется отрицательный итог без переименования вторичной метрики в основную.

Далее по результату

Если процесс полезен, следующим шагом становится операторское состояние: источник меток, действующее обещание, drift/probation, причина отказа, версия и условия повторной калибровки. Проверить восстановление после перезапуска, повторный resume и совместимость версий. Только затем рассматривать перенос необходимых частей process в стабильный API.

Для laws, skills, relations, changes и stream-обучения отдельно выбрать одну прикладную проверку на модуль с простым контролем. До неё статус experimental сохраняется; общий план не утверждает их полезность.