DrobyshevDev
Проверки
Что проверяется, а что нет
Каждый проект здесь публикует числа. Эта страница говорит про каждое из них, какой файл держит его в соответствии с кодом и что происходит, когда они расходятся, — а затем перечисляет утверждения, которые пока не держит ничто. Читать такую страницу имеет смысл только если второй список настоящий.
Числа, прибитые к коду
Число в прозе тихо портится, упавший тест — нет. Каждая строка ниже — это утверждение из README, файла цитирования или этого сайта, и файл, который делает его подотчётным тому, что действительно поставляется.
| Утверждение | Где заявлено | Чем держится |
|---|---|---|
| В decisionrl 32 алгоритма и 24 среды, девять из них прикладные | проза и бейджи README, CITATION.cff, .zenodo.json, pyproject.toml, этот сайт |
tests/test_documented_counts.py |
| Прикладные задачи, где обученная политика обыгрывает классический метод, обыгрывают его до сих пор | таблица результатов в README decisionrl | .github/workflows/verify.yml, еженощно, 3 сида |
| Покрытие decisionrl не опускается ниже 80% | этот сайт, бейдж Codecov | fail_under в pyproject.toml |
| glia не нуждается ни в одной зависимости вне стандартной библиотеки | бейдж README glia, этот сайт | dependencies = [], офлайн-набор тестов |
| Покрытие glia не опускается ниже 90% | CI glia | --cov-fail-under=90 |
| Английский и русский README mlango несут одни и те же бейджи и команды | оба README и страница пакета на PyPI | tests/test_pipelines.py::TestReadme |
| Золотой набор praxis того размера, который называет README | README praxis, обе версии | tests/test_eval.py |
| Офлайн-метрики поиска praxis — это то, что печатает прогон | таблица качества в обоих README praxis | tests/test_eval.py, под PRAXIS_OFFLINE=1 |
| praxis зависит от пакетов этой организации, а не от чужих имён | extras в pyproject.toml |
tests/test_packaging.py |
| Этот сайт не делает ни одного запроса к сторонним доменам | юридическая страница | scripts/check_site.py, при каждом изменении |
| Числа на главной совпадают с репозиториями, которые они описывают | главная страница, обе версии | scripts/check_figures.py, еженедельно |
Что работает по расписанию
Проверка, которая запускается только на коммит, перестаёт говорить правду в тот момент, когда мир сдвигается без коммита: ссылка портится, модель отзывают, зависимость патчат. Эти работают независимо от того, пушил кто-нибудь или нет.
| Проверка | Как часто | Что при отказе |
|---|---|---|
| Перепроверка опубликованных результатов decisionrl | еженощно | сборка краснеет — заявленное в README больше не воспроизводится |
| OpenSSF Scorecard: подписанные релизы, закреплённые actions, скорость патчей | еженедельно, по репозиторию | оценка падает публично, находки попадают в code scanning |
| Статический анализ CodeQL | при каждом изменении и еженедельно | алерт во вкладке безопасности репозитория |
| Внешние ссылки на сайте и в исследовательских заметках | еженедельно | одна стоячая issue перечисляет, что сломалось |
| Числа на этом сайте против их источников | еженедельно | одна стоячая issue называет страницу, её версию и версию источника |
| Триаж обслуживания по всей организации | еженедельно | одна issue перечисляет то, что требует решения, в порядке важности, а не по репозиториям |
Сами наборы тестов гоняются на Linux, macOS и Windows, на каждом интерпретаторе, который пакет обещает поддерживать, — потому что «у меня работает» и есть тот отказ, ради исключения которого всё это существует.
Что пока не проверяется
Это та часть страницы, ради которой стоит читать остальные. Эти утверждения опубликованы и не держатся ничем; они перечислены здесь, а не тихо засчитаны в проверенные.
- praxis на реальных моделях
- recall@5 0.92 и MRR 0.94 по полному корпусу заявлены прозой и замерены на GPU, которого в CI нет. Офлайн-колонка той же таблицы теперь держится тестом — у офлайн-пути нет ни моделей, ни сети, ни случайности, поэтому его прогон воспроизводим, — а колонка с реальными моделями требует перезапуска по расписанию на настоящем железе, как decisionrl перепроверяет свои прикладные заявления еженощно.
- Корпус praxis против официальной публикации
- Шесть кодексов в репозитории — транскрипции с Wikisource, помеченные в корпусе как ожидающие сверки с pravo.gov.ru. Парсер этого источника и есть способ подтвердить редакцию, и он прогнан не по каждой статье.
- Что угодно про распространение
- Ни числа загрузок, ни числа звёзд, ни числа пользователей на этом сайте нет, потому что ни одно из них не выдержало бы планку, которую задаёт остальная часть страницы.
Каждый из этих пунктов — пробел, который закрывается там, где он живёт, а не переписыванием формулировки здесь. Когда пробел закроется, строка переедет в первую таблицу.
Страница описывает режим проверок, а не их текущее состояние; за статусом конкретного запуска — вкладка Actions соответствующего репозитория. История страницы — в репозитории.