Документный процесс: пилот Qwen¶
Дата: 2026-11-02. Пилот завершён. Первичный критерий полезности не выполнен. Обе независимые проверки разрешили записать описательный отрицательный результат; превосходство, новизна и эксплуатационная гарантия этим измерением не подтверждаются.
Что выполнено¶
Пример соединяет типизированные чтения, Decimal-политику сопоставления с заказом, журнал, доверенную файловую очередь человеку, восстановление отдельным процессом, проверку версии и replay. Состояние оператора явно показывает отсутствие обещания и монитора дрейфа, если они не установлены. Экспериментальный Process не перенесён в стабильный API.
После недоступности первоначального Google-маршрута пользователь поручил выбрать Qwen, GLM или Kimi. Выбрана Qwen3-235B-A22B-Instruct-2507 через OpenRouter/DeepInfra. Изменение модели и четыре потока по разным документам зафиксированы до корпусного запуска. GLM и Kimi не были дополнительными вариантами этого сравнения. Контрольные примеры, сохранение/возобновление и лимит бюджета проверены; корпусный inference выполнен один раз.
Данные и задача¶
InvoiceBenchmark, MIT,
ревизия f0699d8c94468fb2fefaa22f669684b22e68c3d3: 200 синтетических счетов.
Просмотренный при разработке поставщик исключён целиком: осталось 190 документов,
169 calibration / 27 поставщиков и 21 eval / 4 поставщика. Все 570 результатов вариантов сохранены.
Это один генератор и одна модель, не независимый реальный поток и не проверка устойчивости по seeds.
Задача — совпадение итоговой суммы и валюты с заранее заданным синтетическим заказом при непустом номере счёта. Это не проверка арифметики строк, не проверка подлинности счёта и не разрешение оплаты. Состав данных, запросы, разделение, пороги и правила оценки описаны в предрегистрации.
Вторичная диагностика до порогового отбора¶
Только 21 eval-документ. Отказы входят в число всех попыток.
| Вариант | Правильные ответы | Ошибки | Отказы | Покрытие |
|---|---|---|---|---|
| Direct: решение модели | 16 | 5 | 0 | 100% |
| Plain: извлечение полей и код | 20 | 0 | 1 | 95.2% |
| Solvi: исходные spans, проверки и код | 7 | 0 | 14 | 33.3% |
Ноль ошибок solvi относится только к семи ответам. Он не доказывает требуемую надёжность и не даёт оснований объявлять преимущество перед plain, который также не ошибся на своих ответах. Модель у plain нормализует сумму в decimal string, у solvi должна вернуть исходный span: это заранее зафиксированное различие реализаций, а не сравнение оптимальных вариантов обоих методов.
После выбора порогов только по calibration¶
Порог direct отсутствует: ни один из восьми кандидатов не достигает установленной границы. Порог solvi также отсутствует: 42/169 ответа calibration без ошибок недостаточно при этой поправке; формальная верхняя граница составляет 13.67% при требовании 5%. У plain выбран порог 0: 146/169 ответов calibration без ошибок, формальная граница 4.14%.
На eval после этого отбора: direct 0/21, plain 20/21, solvi 0/21. Даже для plain формальная верхняя граница ошибки — 18.51%, поэтому его eval error gate тоже не пройден. Границы вычислены по биномиальной формуле; независимость данных не установлена, и они не объявляются валидными эксплуатационными гарантиями. Парные выводы о преимуществе недоступны. Критерии исходного плана, включая ≥1000 реальных eval-документов, сохранены.
Что ограничило покрытие¶
Во всех 14 eval-отказах solvi причиной был разбор значения как Decimal. На всём корпусе solvi отказался в 141/190 случаях: 138 ошибок Decimal, одно отсутствие буквального совпадения total и два сбоя транспорта. Среди наблюдений — апостроф как разделитель тысяч и spans, захватившие подпись поля вместе с суммой. Это диагностическое объяснение данного запуска, не доказательство достаточности будущего исправления.
Следующий инженерный приоритет — точный контракт числового span и поддержка явно определённых форматов, с сохранением знака, единиц и отказа при неоднозначности. Эти случаи теперь можно использовать для регрессионных тестов; новый подтверждающий результат требует свежих данных, а не повторного eval здесь. Расширение списка модулей и ослабление критериев на этом результате не обоснованы.
Расходы и воспроизводимость¶
955 успешных запросов имеют usage.cost суммарно $0.0658577799, включая smoke. В ledger также 16 неуспешных запросов с консервативным резервом $0.0368194; из них 11 и $0.0245434 перенесены из первоначальной попытки Gemini. Общий учёт с резервами — $0.1026771799, ниже лимита $1. Это не утверждение, что вся сумма резерва была фактически списана. Сумма учётных затрат вариантов на 190 корпусных документах — $0.0778473135, включая отказы и их резервы.
Сохранены raw predictions, ответы/ledger, source snapshots и manifest хешей, окружение и оба review. Независимый пересчёт полностью воспроизвёл отчёт, проверил 401 хеш исходных файлов, отсутствие пересечений и все 190 отдельных журналов решения. Результат относится к одному запуску; внешние вызовы вне ledger этими артефактами исключить нельзя. Локальные пути аудита перечислены в handoff этой рабочей сессии.
Итог¶
Проверка чисел/метода: PASS для описательной записи; первичный критерий FAIL. Проверка формулировок/prior work: PASS для описательной записи; BLOCK положительного первичного вывода. Практический выигрыш solvi сверх простого извлечения с кодом в этом пилоте не подтверждён.
Для дальнейшего вывода нужны исправления чтения, новая предрегистрация и достаточно большой реальный корпус с независимой разметкой. Очередь experimental-проверок остаётся отдельной; ни один модуль по результату этого пилота не переводится в stable.