Experimental: следующий прикладной шаг¶
Дата: 2026-11-02. Это очередь предлагаемых проверок по существующим свидетельствам, не новый результат и не разрешение на запуск eval. Исходные ограничения: STATUS, описания измерений, ROADMAP. Ссылки ниже ведут на локальные описания свидетельств и существующие скрипты; наличие скрипта само по себе не доказывает результат. Когда исходный стенд не включён в репозиторий, описание не заменяет воспроизводимых сырых данных.
Приоритет — документный процесс: сначала офлайн цикл с подставной моделью, затем подготовка корпуса и заморозка протокола. Его пороги, сравнения и порядок согласования остаются без изменений. Таблица не утверждает новые численные критерии для остальных модулей. Следующие тесты — предложения: перед каждым нужны отдельная предрегистрация, данные, метрики, бюджет и принятые критерии. Новые прогоны для этого документа не выполнялись. Все перечисленные модули сохраняют статус experimental, API не удаляется.
| Модуль | Текущее свидетельство | Граница вывода | Один следующий прикладной тест | Простой контроль | Решение до теста |
|---|---|---|---|---|---|
process |
Есть ожидание человека, resume, replay и синтетический стенд обещания: описание, скрипт. | Масштабирование и межузловой отзыв не измерены; исполнение идёт по одному пути. | Проверка счёта по фиксированной политике: решение → человек → resume → replay, включая перезапуск и повторный resume. | Тот же document и ручное связывание шагов; модельные сравнения — строго из плана. |
Первый приоритет; использовать существующий API только для ожидания и возобновления, без переноса в stable. |
stream: сертификаты |
Описаны потоковый сертификат, расход δ и replay; есть одно измерение на потоках, исходный стенд отсутствует: свидетельство. | Обещание условно на предпосылки потока, замороженный ответчик и источник меток; после сдвига до тревоги риск не защищён прежним выводом. Детектор риска не должен быть единственным сигналом. | После документного eval проверить поток размеченных счетов с заранее выделенной сменой шаблона: действующее обещание, probation и восстановление после перезапуска. | Фиксированная калибровка с тем же независимым аудитом и тем же бюджетом меток. | Рассматривать отдельно от обучения; не объявлять сертификат доказательством полезности обучающего цикла. |
stream: learning loop |
С золотыми метками прежний LearningLoop не дал выигрыша; adapter loop, checkpoint и подключения описаны, прикладная польза не установлена: свидетельство. |
Синтетические проверки и восстановление состояния не показывают прирост на новых документах; качество oracle ограничивает смысл меток. | На потоке исправлений счетов сравнить замороженные версии по новым семействам шаблонов с учётом полной стоимости обучения и меток. | Замороженный исходный ответчик на том же потоке, с теми же метками и калибровкой. | После проверки документного процесса; оставить experimental, не включать обучение по умолчанию. |
laws |
Есть измерения дискретных миров; преимущество mismatch-предложений над случайными не подтверждено первоначальным контролем; шумные журналы не дали заявленной пользы: описание, toy-скрипт. | Вывод ограничен выразимостью грамматики, группами проверки и доступными пробами; рейтинг не помогает при малом остатке кандидатов. | На политике файлового доступа измерить стоимость нахождения и ложные допуски правил на новых деревьях, включая условие вне грамматики. | Случайный порядок тех же кандидатов с теми же бесплатными проверками и бюджетом проб. | Сохранить область дискретных правил; не обещать пользу для шумных поведенческих логов. |
skills |
В мирах с точной копией навыки используют повторяющиеся проверенные планы; в открытом мире бар доли самостоятельных действий не выполнен: описание, toy-скрипт. | Выигрыш не отделён от преимуществ планировщика с полной картой; прерванные применения требуют отдельного учёта. | На воспроизводимом файловом workflow с точной копией среды проверить повторные операции на новых деревьях: успех, вызовы планировщика и незавершённые навыки. | Планировать каждую цель заново с той же информацией и теми же защитами. | Не расширять обещание за пределы точной модели; иерархию навыков не считать проверенной. |
relations |
Есть синтез, библиотека и дифференциальные проверки; прикладной файловый стенд не прошёл бар отсутствия отказов: описание, компиляция. | Равенство на записанных строках не означает всеобщей эквивалентности; промежуточные понятия нередко заданы, входной граф не равен исходному тексту. | Проверить политику доступа по предкам на новых деревьях с разметкой полного решения, включая непредставимое правило. | Прямой обход предков кодом по той же политике. | Сохранять experimental; не заявлять превосходство над ручным кодом по скорости. |
changes |
Есть журнал, impact analysis, approval и rollback; на потоке банковских запросов gates не изменили итог: описание, кредитный стенд. | Доказательство narrows/widens ограничено подмножеством Python; проверки на пробах вне него не являются доказательством. | На версиях политики проверки счетов внести заранее размеченные точечные и расширяющие изменения и проверить затронутые решения и rollback. | Версионирование и тот же фиксированный набор регрессий без этапов changes. |
Оценивать журнал и контроль изменений отдельно от пользы gates; сохранить ограничения доказателя. |
compile |
Малые чистые функции проверены, но предлагающие механизмы не дали ложных кандидатов для проверки необходимости сертификата: описание. | Посаженная ошибка в smoke не доказывает пользу на живом потоке; более крупные спецификации и скрипт стенда отсутствуют. | Скомпилировать ограниченные правила полей счёта из спецификаций; отдельно считать естественные ложные черновики и их принятие на скрытых примерах. | Те же черновики с небольшим фиксированным набором тестов. | Сначала зафиксировать грамматику и независимый oracle; не объявлять согласие двух черновиков семантической гарантией. |
charts |
Проверка цитируемых чисел и повторяемость есть, соответствие меток и единиц ручному чтению не прошло бар: описание, скрипт. | Число из текста может относиться к другому полю; пропуски не покрыты одной проверкой наличия чисел. | На новых финансовых текстах оценить полные точки «поле, значение, единица» и пропуски по независимой разметке. | Простой rule-based proposer с тем же рендерером и верификатором. | Сохранить отрицательный семантический вывод; происхождение чисел не считать точностью графика. |
lora |
Описан выигрыш относительно fit с переуверенностью; воспроизводимого прикладного скрипта нет: свидетельство. |
Рост accuracy не означает рост покрытия при допустимой ошибке; связка с changes требует проверки. |
Для одного документного вопроса сравнить адаптер на новых шаблонах после независимой калибровки, включая стоимость обучения. | fit на тех же обучающих метках и том же calibration. |
Не включать по умолчанию; решение о полезности принимать по качеству после калибровки. |
hooks |
Есть pre-edit проверки и выбор навыков, но реальные false deny/ask не измерены: описание. | Наличие проверок не доказывает снижение вредных правок и приемлемую нагрузку на пользователя. | На размеченных записанных coding-agent сессиях оценить вредные разрешения, ложные запреты и запросы человеку. | Фиксированный список правил без выбора навыков. | Сначала офлайн replay; не менять пользовательские разрешения и не переносить в stable. |
ood |
Профили confidence обнаруживали смену датасета, но часто пропускали новые intents; данные близки обучению модели: описание. | Это сдвиг выходных признаков, не проверка смысла входа и не детектор каждой новой области. | На документных шаблонах, не использованных при обучении выбранного ответчика, сравнить тревоги и ложные тревоги по размеченным пакетам. | Двусторонний тест среднего confidence при том же уровне ложных тревог. | Оставить дополнительным монитором; не заменять им проверку ошибки или входного домена. |
audit |
Измерен один тип потока и один размер ухудшения; сравнительный NumericDrift не был выровнен по ложным тревогам: описание. | Тревога означает рост расхождения проверки с системой, а не установленную причину; короткая reference и малые сдвиги не измерены. | На журнале счетов проверить умеренное ухудшение только среди автоматических ответов при короткой опорной выборке. | Периодическая оценка ошибки на той же случайной доле аудита с одинаковым бюджетом и уровнем ложных тревог. | Не обещать обнаружение всех сбоев; до теста зафиксировать горизонт и цену аудита. |
numguard |
Прототип показал снижение чисел без источника, но сохранил неверный выбор исходного числа; решение автора — слой происхождения: описание, ROADMAP. | Исследовался прототип; скрипта измерения текущего модуля нет. Источник числа не доказывает правильное поле, единицу или операцию. | На реальных счетах проверить текущий модуль по происхождению и отдельно по правильности выбранного поля и вычисления. | Native tool calling с теми же данными, моделью и лимитами. | Сохранить решение автора; отдельный заранее зарегистрированный тест, без добавления нового варианта в уже замороженный документный eval. |
Что именно подтверждает проверка¶
- Детерминированная проверка (deterministic verification): цитата действительно лежит по offsets, вычисление следует коду, хеш и replay совпадают. Она относится к записи и выполненной процедуре.
- Семантическая корректность (semantic correctness): выбраны нужные поле, единица, правило и смысл ответа. Нужны независимая разметка или соответствующий oracle; существования цитаты недостаточно.
- Статистическая гарантия (statistical guarantee): ограничение конкретной ошибки при явно названных предпосылках, области, источнике меток и бюджете вероятности отказа. Replay не доказывает эти предпосылки; joint risk не заменяет ошибку среди ответивших.
Результаты пока не разрешают перенос этих модулей в stable. Для такого решения остаются отдельные ворота из правил experimental: предзарегистрированный критерий, воспроизводимый скрипт, выполненный и независимо проверенный результат, отсутствие experimental-зависимостей, conformance и документация совместимости. Отрицательный результат сохраняется; он не меняет критерий задним числом и сам по себе в этом плане не даёт команды удалять API.