Skip to content

Документный пилот: протокол до запуска

Зафиксирован 2026-11-02 до нового корпусного запуска. Это инженерный пилот, не замена первичной оценке из плана развития. Пользователь поручил выполнить этапы и разрешил выбрать модель и использовать OpenRouter. Расход этой сессии ограничен $1, включая smoke и возобновления.

Источник и границы

Источник: jngb-labs/InvoiceBenchmark, ревизия f0699d8c94468fb2fefaa22f669684b22e68c3d3, MIT. Сохраняются README, тексты и эталоны с SHA-256. В источнике 200 синтетических счетов. Сканирование и OCR не входят в задачу: используется текстовая версия. Это один генератор, а не независимые реальные поставщики; данные не позволяют подтвердить перенос на реальные документы.

При разработке был просмотрен INV-2026-0001. Весь его поставщик Praxis Consulting Group AG исключается из пилота. Остальные поставщики разделяются заранее: SHA-256(invoice-pilot-v1| + vendor) mod 100 < 70 — calibration, остальные — eval. Тексты и идентификаторы не должны пересекаться. Общие семейства шаблонов остаются ограничением. Корпусные ответы модели до фиксации этого протокола не получались. Полные тексты/эталоны не включаются в git.

Задача и сравнения

Задача — сопоставить счёт с внешним заказом: непустой номер, точное совпадение итоговой суммы и валюты. Это не проверка арифметической согласованности всех строк счёта. Заказ моделируется до ответов: canonical total эталона плюс 0.01 при нечётном SHA-256(id), иначе исходный total; валюта из эталона. Эталон решения сравнивает rendered_total с заказом. В запрос попадают текст и заказ, но не gold решения, rendered_total, варианты генератора или эталонные поля. Эталон вычисляется отдельно от solvi.

Три фиксированных варианта на одном тексте и заказе:

  1. Direct: один запрос, решение approve/reject/null и confidence.
  2. Plain: один запрос, три поля (номер, десятичная сумма, валюта) и confidence; затем обычный код политики.
  3. Solvi: solvi.document, по одному чтению на поле, grounding и детерминированная политика.

Текущая модель qwen/qwen3-235b-a22b-2507, OpenRouter, провайдер DeepInfra без fallback, temperature=0, max_tokens=512, retry=0. Это один вызов на вопрос; вывод не распространяется на другие модели/сиды. Предел цены провайдера: prompt $0.20/M, completion $0.80/M. До запроса резервируется верхняя оценка расхода, при отсутствии достоверного usage.cost резерв сохраняется. Сбой после отправки не повторяется автоматически. Все вызовы, включая отказы, входят в стоимость. Кэш хранит сырой ответ и первоначальные время/стоимость; повторный запуск не оплачивает кэш заново. Результаты сравнения показывают стоимость каждого варианта, а ledger — учёт уникальных запросов: подтверждённый usage.cost либо сохранённый резерв, если стоимость неизвестна. Резерв не доказывает фактического списания; при повторном использовании кэша эти суммы различаются.

Метрики и решения

Оценщик invoice_workflow_eval.py выбирает пороги только по calibration. Сетка заранее: 0, .5, .7, .8, .9, .95, .99, 1. Ошибка ≤5%, δ=.05, поправка на 8 порогов ×3 варианта. На eval считаются число всех попыток, ответы, покрытие, условная ошибка, совместный риск, односторонняя точная биномиальная верхняя граница, цена и задержки. Без ответов ошибка/граница неопределены, критерий не пройден. Строки с ошибкой API или разбора сохраняются как отказы, не исключаются. Срезы по поставщику и вариантам генератора описательные. Непороговые accuracy — только вторичная диагностика.

Критерии исходного плана сохраняются: eval ≥1000 реальных документов, верхняя граница ошибки ≤5%, покрытие ≥50%, положительная парная нижняя граница покрытия против обоих сравнений. Этот пилот не может пройти первичный критерий по объёму и происхождению данных. Биномиальные границы при общей структуре генератора не объявляются валидной эксплуатационной гарантией. Положительное вторичное число не заменяет первичный итог. Групповой bootstrap — исследовательская диагностика.

Порядок выполнения

  1. Офлайн тесты политики, сохранения/возобновления, защиты от повторного ответа, версии и replay.
  2. Smoke на двух самостоятельно написанных документах: эталон, отсутствие truncation, сохранение результатов, прерывание и resume без повторных платных запросов, heartbeat, лимит расходов. Корпус smoke не использует.
  3. До первого корпусного запроса сохранить manifest хешей кода, данных и модели; после этого один корпусный run.
  4. При неуспешном API-запросе сохранить отказ и продолжить; при исчерпании бюджета сохранить прогресс и остановиться.
  5. После завершения сформировать отчёт и получить две независимые проверки по review-result. До них результат имеет статус «не подтверждён». Протокол после просмотра eval не изменяется.

Новый корпусный run запрещён ради улучшения числа. Изменение кода после eval требует нового протокола и новых данных.

Смена модели до eval

После HTTP 403 у Gemini пользователь явно поручил использовать открытую модель Qwen, GLM или Kimi. Выбрана Qwen3-235B-A22B-Instruct-2507 через DeepInfra. GLM и Kimi — альтернативы, а не дополнительные варианты сравнения этого пилота. Корпусный eval до смены модели не запускался; данные, разделение, запросы и критерии не меняются. Старый smoke/протокол сохраняются. Новый каталог наследует SQLite с прежними резервами, поэтому предел $1 действует суммарно на старые и новые попытки. Независимые документы обрабатываются четырьмя потоками; варианты внутри документа последовательны. У каждого потока своя SQLite-связь и счётчик вызовов; общий бюджет резервируется транзакционно. Порядок завершения не меняет состав calibration/eval; файл predictions собирается в исходном порядке.