План после 1.4.0¶
Дата: 2026-11-02. Это предложение следующего цикла, а не отчёт о полученном результате.
Исходная версия для стабилизации: a015948 (1.4.1.dev0). Новая оценка на реальных документах не запускалась.
Выполненная инженерная работа и отрицательный синтетический пилот Qwen: состояние процесса. Пример: проверка счёта с человеком. Остальные experimental-модули: очередь следующих проверок. Исходные критерии ниже не изменены.
Сначала стабилизация 1.4.1¶
- Сверить содержимое исправлений main и dev, не переносить коммиты только ради совпадения истории.
- Проверить целевые регрессии knowledge, document/numguard, laws, stream и process по handoff 2026-10-30.
- Выполнить немодельную сюиту, ruff и pyright в версиях CI, honesty gate, gallery и сборку пакета/документации.
- Отдельно указать непроверенные конфигурации: матрицу Python, реальные модели, опциональные backend.
- Зафиксировать локальные изменения и результаты. Релиз и публикация требуют отдельной команды пользователя.
Прохождение тестов не означает, что каждый пункт внешнего отчёта закрыт: нужна сверка каждого воспроизведения и остаточных ограничений. Отдельно сохраняются ограничения, которые исправление лишь делает явными.
Прикладной процесс: проверка счёта по фиксированной политике¶
Первая задача — по тексту счёта и данным заказа вычислить, совпадают ли сумма и валюта, достаточно ли обязательных реквизитов и можно ли передать счёт на следующий этап согласования. Оплаты и другие внешние действия в этот процесс не входят.
Поток: текст → типизированные факты с цитатами → детерминированная политика → решение либо человек → журнал.
Использовать существующие document, hard checks и storage. Подключать experimental.process только для
ожидания человека и возобновления; новый публичный API для этого этапа не нужен.
Одна версия политики и одна версия извлекателя фиксируются на всё измерение.
Результат хранит отдельно: автоматический ответ, отказ, причину отказа, ответ человека, автора исправления, версию политики, fingerprint модели, цитаты с offsets, идентификаторы записей и стоимость. Отказ не подменяется верным ответом человека в метрике автоматического качества.
Гипотезы и предлагаемые критерии¶
Критерии ниже предложены до нового eval, но ещё не заморожены: перед запуском нужны точный корпус, протокол разметки, модель, бюджет и запись принятого решения о критериях. Изменения критериев после просмотра eval запрещены; отрицательный итог сохраняется наравне с положительным.
| Гипотеза | Основная метрика | Предлагаемый критерий |
|---|---|---|
| Автоматические решения достаточно точны | Ошибка среди автоматических ответов | Односторонняя точная 95% верхняя граница ≤ 5% на eval |
| Отказ не съедает прикладную пользу | Автоматическое покрытие всего eval | ≥ 50%; иначе точность сама по себе не считается успехом |
| Проверки добавляют пользу | Покрытие при одинаковом ограничении ошибки | Парная 95% нижняя граница разности с сильнейшим сравнением > 0 |
| Происхождение можно проверить | Существование цитат, offsets, целостность и replay | 100% сохранённых записей проверяются; семантика поля оценивается отдельно |
max_error=0.05 — настройка для условной ошибки среди ответов; max_risk с совместной вероятностью
«ответил и ошибся» не заменяет эту метрику. Отдельно считать обе величины и число автоматических ответов.
Интервалы по решениям предполагают независимые единицы; при кластерах поставщиков/шаблонов нужен
заранее определённый кластерный анализ. Не выдавать обычный биномиальный интервал за гарантию при зависимости.
Данные и сравнения¶
Предлагаемый минимум: 200 документов development, 400 calibration, 1000 eval. До выбора корпуса проверить достаточность размера с учётом кластеров. Делить по поставщику/семейству шаблона и исключить дубликаты; разные страницы и редакции одного счёта не должны попадать в разные доли. Eval размечается до ответов моделей и остаётся закрытым до фиксации конфигураций. Не использовать прошлый flagship как новый независимый eval.
Сравниваются три заранее фиксированных варианта:
- LLM напрямую выдаёт решение по тому же тексту, данным заказа и политике; может отказаться.
- Простое извлечение полей плюс тот же детерминированный код политики, без механизмов solvi.
solvi.documentс grounding, hard checks и калибровкой.
Для всех вариантов один модельный snapshot, одинаковая доступная информация и фиксированные лимиты. Порог каждого сравнения выбирается только на calibration. Учитываются все вызовы, повторы, обрезанные ответы и неуспешные чтения; дополнительные вызовы solvi не считаются бесплатными. На eval конфигурации не подбираются. Парный анализ сравнивает решения по одним документам; при выборе сильнейшего из двух сравнений поправка на два сравнения фиксируется до eval.
Обязательные срезы: одинаковые числа у разных полей, разные валюты и масштабы, десятичные форматы, отрицательные суммы, отсутствие обязательного поля, противоречие тексту, инструкции внутри документа, новый шаблон. Искусственные мутации — отдельная стресс-проверка, не замена реальному eval. Наличие правильного числа в тексте не засчитывает правильно выбранное поле.
Дополнительные метрики: итоговая точность до/после человека, исправления человеком, доля ложных отказов, стоимость всего потока и автоматического решения, p50/p95 задержки, покрытие по срезам, расхождения семантики поля при корректной цитате. Для цены ошибки и труда человека приводить отдельные сценарии.
До запуска и после него¶
До eval: записать хеш manifest данных, разделение, политику, разметку, модель, промпты, пороги, лимиты, правила статистического сравнения и утверждённые критерии. Проверить scorer на известных примерах, отрицательные контроли, отсутствие утечки, save/resume, heartbeat и обрезание генерации через smoke. Незапущенные, ошибочные и NaN-случаи записываются и учитываются; результаты сохраняются по документу.
Сначала офлайн пример и проверки цикла «решение → человек → resume → replay» с подставной моделью. Затем разметка и заморозка данных/критериев; только после этого один eval. Положительный исследовательский вывод требует независимого review-result по сырым данным. Если критерий не выполнен, фиксируется отрицательный итог без переименования вторичной метрики в основную.
Далее по результату¶
Если процесс полезен, следующим шагом становится операторское состояние: источник меток, действующее обещание, drift/probation, причина отказа, версия и условия повторной калибровки. Проверить восстановление после перезапуска, повторный resume и совместимость версий. Только затем рассматривать перенос необходимых частей process в стабильный API.
Для laws, skills, relations, changes и stream-обучения отдельно выбрать одну прикладную проверку
на модуль с простым контролем. До неё статус experimental сохраняется; общий план не утверждает их полезность.