1.24%
Ложные блокировки, русский корпус
Доля безобидных текстов, ошибочно заблокированных в русском тестовом корпусе из 30 000 текстов; в скобках счёт и односторонняя верхняя 95-процентная граница. (373 / 30 000; ≤ 1.35%)
Замер:
Измеренное, с датами
Каждое число на этой странице получено прогоном, у него есть дата, и его можно перепроверить повторным прогоном. Здесь же перечислено то, что пока не закрыто: страница, на которой есть только выигрышная половина, неотличима от рекламы.
Что измерено
- 1.30%
Ложные блокировки, английский корпус
Доля безобидных текстов, ошибочно заблокированных в английском тестовом корпусе из 20 058 текстов; в скобках счёт и односторонняя верхняя 95-процентная граница. (261 / 20 058; ≤ 1.44%)
Замер:
- 193/193
Страж действий агентов
Проходит все 345 спроектированных регрессионных случаев: 193 варианта атак из 19 семейств и 152 легитимных варианта из 14 сценариев. Это тест-план, а не оценка доли ошибок на реальном трафике. (0/152)
Замер:
- 112/112
Покрытие корпуса атак
Каждая запись корпуса атак покрыта, но корпус внутривыборочный: правила писались по нему; известные пропуски не спрятаны, а ведутся реестром с числом. (20)
Замер:
- 20 / 65
Атаки, не похожие на обучающие
Доля заблокированных на отложенной выборке атак, не встречавшихся ни в одном обучающем наборе; в скобках односторонние 95-процентные границы. (31%; 21.4–41.5%)
Замер:
- verified 3/3
Личность набора правил
Каждая часть загруженного пакета сигнатур сверяется по криптографическому отпечатку; вердикт можно связать с конкретным набором правил. (sha256)
Замер:
Что не закрыто
Эти пункты стоят нам точности или полноты прямо сейчас. Они записаны с той же строгостью, что и результаты, и уходят со страницы только после замера, который их закрывает.
20 известных пропусков в корпусе атак: пять про отравление памяти без инъекционной лексики, три про поведение агента, SSRF и письма-приманки. Ведутся реестром; реестр не даёт им молча исчезнуть.
Замер:
26 из 45 многоязычных обходов пока не ловятся: распределения серьёзности перекрываются, и порогом это не закрывается. Работа идёт над правилами транслитерации.
Замер:
Манифест пакета не объявляет собственный отпечаток: части проверяемы, сам манифест пока нет. Мы говорим это здесь, потому что «проверено» и «заявлено» — разные утверждения.
Замер:
Как это измерено
Все прогоны выполняются на производственном железе на коде релиза, который стоит в проде, корпуса целиком, без выборок. Ложные срабатывания меряются на том виде текста, который видит продовый конвейер, а не на сыром корпусе. Каждая цифра хранится вместе с командой, которая её воспроизводит.