Skip to content

Experimental: следующий прикладной шаг

Дата: 2026-11-02. Это очередь предлагаемых проверок по существующим свидетельствам, не новый результат и не разрешение на запуск eval. Исходные ограничения: STATUS, описания измерений, ROADMAP. Ссылки ниже ведут на локальные описания свидетельств и существующие скрипты; наличие скрипта само по себе не доказывает результат. Когда исходный стенд не включён в репозиторий, описание не заменяет воспроизводимых сырых данных.

Приоритет — документный процесс: сначала офлайн цикл с подставной моделью, затем подготовка корпуса и заморозка протокола. Его пороги, сравнения и порядок согласования остаются без изменений. Таблица не утверждает новые численные критерии для остальных модулей. Следующие тесты — предложения: перед каждым нужны отдельная предрегистрация, данные, метрики, бюджет и принятые критерии. Новые прогоны для этого документа не выполнялись. Все перечисленные модули сохраняют статус experimental, API не удаляется.

Модуль Текущее свидетельство Граница вывода Один следующий прикладной тест Простой контроль Решение до теста
process Есть ожидание человека, resume, replay и синтетический стенд обещания: описание, скрипт. Масштабирование и межузловой отзыв не измерены; исполнение идёт по одному пути. Проверка счёта по фиксированной политике: решение → человек → resume → replay, включая перезапуск и повторный resume. Тот же document и ручное связывание шагов; модельные сравнения — строго из плана. Первый приоритет; использовать существующий API только для ожидания и возобновления, без переноса в stable.
stream: сертификаты Описаны потоковый сертификат, расход δ и replay; есть одно измерение на потоках, исходный стенд отсутствует: свидетельство. Обещание условно на предпосылки потока, замороженный ответчик и источник меток; после сдвига до тревоги риск не защищён прежним выводом. Детектор риска не должен быть единственным сигналом. После документного eval проверить поток размеченных счетов с заранее выделенной сменой шаблона: действующее обещание, probation и восстановление после перезапуска. Фиксированная калибровка с тем же независимым аудитом и тем же бюджетом меток. Рассматривать отдельно от обучения; не объявлять сертификат доказательством полезности обучающего цикла.
stream: learning loop С золотыми метками прежний LearningLoop не дал выигрыша; adapter loop, checkpoint и подключения описаны, прикладная польза не установлена: свидетельство. Синтетические проверки и восстановление состояния не показывают прирост на новых документах; качество oracle ограничивает смысл меток. На потоке исправлений счетов сравнить замороженные версии по новым семействам шаблонов с учётом полной стоимости обучения и меток. Замороженный исходный ответчик на том же потоке, с теми же метками и калибровкой. После проверки документного процесса; оставить experimental, не включать обучение по умолчанию.
laws Есть измерения дискретных миров; преимущество mismatch-предложений над случайными не подтверждено первоначальным контролем; шумные журналы не дали заявленной пользы: описание, toy-скрипт. Вывод ограничен выразимостью грамматики, группами проверки и доступными пробами; рейтинг не помогает при малом остатке кандидатов. На политике файлового доступа измерить стоимость нахождения и ложные допуски правил на новых деревьях, включая условие вне грамматики. Случайный порядок тех же кандидатов с теми же бесплатными проверками и бюджетом проб. Сохранить область дискретных правил; не обещать пользу для шумных поведенческих логов.
skills В мирах с точной копией навыки используют повторяющиеся проверенные планы; в открытом мире бар доли самостоятельных действий не выполнен: описание, toy-скрипт. Выигрыш не отделён от преимуществ планировщика с полной картой; прерванные применения требуют отдельного учёта. На воспроизводимом файловом workflow с точной копией среды проверить повторные операции на новых деревьях: успех, вызовы планировщика и незавершённые навыки. Планировать каждую цель заново с той же информацией и теми же защитами. Не расширять обещание за пределы точной модели; иерархию навыков не считать проверенной.
relations Есть синтез, библиотека и дифференциальные проверки; прикладной файловый стенд не прошёл бар отсутствия отказов: описание, компиляция. Равенство на записанных строках не означает всеобщей эквивалентности; промежуточные понятия нередко заданы, входной граф не равен исходному тексту. Проверить политику доступа по предкам на новых деревьях с разметкой полного решения, включая непредставимое правило. Прямой обход предков кодом по той же политике. Сохранять experimental; не заявлять превосходство над ручным кодом по скорости.
changes Есть журнал, impact analysis, approval и rollback; на потоке банковских запросов gates не изменили итог: описание, кредитный стенд. Доказательство narrows/widens ограничено подмножеством Python; проверки на пробах вне него не являются доказательством. На версиях политики проверки счетов внести заранее размеченные точечные и расширяющие изменения и проверить затронутые решения и rollback. Версионирование и тот же фиксированный набор регрессий без этапов changes. Оценивать журнал и контроль изменений отдельно от пользы gates; сохранить ограничения доказателя.
compile Малые чистые функции проверены, но предлагающие механизмы не дали ложных кандидатов для проверки необходимости сертификата: описание. Посаженная ошибка в smoke не доказывает пользу на живом потоке; более крупные спецификации и скрипт стенда отсутствуют. Скомпилировать ограниченные правила полей счёта из спецификаций; отдельно считать естественные ложные черновики и их принятие на скрытых примерах. Те же черновики с небольшим фиксированным набором тестов. Сначала зафиксировать грамматику и независимый oracle; не объявлять согласие двух черновиков семантической гарантией.
charts Проверка цитируемых чисел и повторяемость есть, соответствие меток и единиц ручному чтению не прошло бар: описание, скрипт. Число из текста может относиться к другому полю; пропуски не покрыты одной проверкой наличия чисел. На новых финансовых текстах оценить полные точки «поле, значение, единица» и пропуски по независимой разметке. Простой rule-based proposer с тем же рендерером и верификатором. Сохранить отрицательный семантический вывод; происхождение чисел не считать точностью графика.
lora Описан выигрыш относительно fit с переуверенностью; воспроизводимого прикладного скрипта нет: свидетельство. Рост accuracy не означает рост покрытия при допустимой ошибке; связка с changes требует проверки. Для одного документного вопроса сравнить адаптер на новых шаблонах после независимой калибровки, включая стоимость обучения. fit на тех же обучающих метках и том же calibration. Не включать по умолчанию; решение о полезности принимать по качеству после калибровки.
hooks Есть pre-edit проверки и выбор навыков, но реальные false deny/ask не измерены: описание. Наличие проверок не доказывает снижение вредных правок и приемлемую нагрузку на пользователя. На размеченных записанных coding-agent сессиях оценить вредные разрешения, ложные запреты и запросы человеку. Фиксированный список правил без выбора навыков. Сначала офлайн replay; не менять пользовательские разрешения и не переносить в stable.
ood Профили confidence обнаруживали смену датасета, но часто пропускали новые intents; данные близки обучению модели: описание. Это сдвиг выходных признаков, не проверка смысла входа и не детектор каждой новой области. На документных шаблонах, не использованных при обучении выбранного ответчика, сравнить тревоги и ложные тревоги по размеченным пакетам. Двусторонний тест среднего confidence при том же уровне ложных тревог. Оставить дополнительным монитором; не заменять им проверку ошибки или входного домена.
audit Измерен один тип потока и один размер ухудшения; сравнительный NumericDrift не был выровнен по ложным тревогам: описание. Тревога означает рост расхождения проверки с системой, а не установленную причину; короткая reference и малые сдвиги не измерены. На журнале счетов проверить умеренное ухудшение только среди автоматических ответов при короткой опорной выборке. Периодическая оценка ошибки на той же случайной доле аудита с одинаковым бюджетом и уровнем ложных тревог. Не обещать обнаружение всех сбоев; до теста зафиксировать горизонт и цену аудита.
numguard Прототип показал снижение чисел без источника, но сохранил неверный выбор исходного числа; решение автора — слой происхождения: описание, ROADMAP. Исследовался прототип; скрипта измерения текущего модуля нет. Источник числа не доказывает правильное поле, единицу или операцию. На реальных счетах проверить текущий модуль по происхождению и отдельно по правильности выбранного поля и вычисления. Native tool calling с теми же данными, моделью и лимитами. Сохранить решение автора; отдельный заранее зарегистрированный тест, без добавления нового варианта в уже замороженный документный eval.

Что именно подтверждает проверка

  • Детерминированная проверка (deterministic verification): цитата действительно лежит по offsets, вычисление следует коду, хеш и replay совпадают. Она относится к записи и выполненной процедуре.
  • Семантическая корректность (semantic correctness): выбраны нужные поле, единица, правило и смысл ответа. Нужны независимая разметка или соответствующий oracle; существования цитаты недостаточно.
  • Статистическая гарантия (statistical guarantee): ограничение конкретной ошибки при явно названных предпосылках, области, источнике меток и бюджете вероятности отказа. Replay не доказывает эти предпосылки; joint risk не заменяет ошибку среди ответивших.

Результаты пока не разрешают перенос этих модулей в stable. Для такого решения остаются отдельные ворота из правил experimental: предзарегистрированный критерий, воспроизводимый скрипт, выполненный и независимо проверенный результат, отсутствие experimental-зависимостей, conformance и документация совместимости. Отрицательный результат сохраняется; он не меняет критерий задним числом и сам по себе в этом плане не даёт команды удалять API.