Метка сбоя в судовом журнале: найденные случаи и достоверные метки — разные доли
Представим учебный архив из ста условных эпизодов. Независимая заранее заданная разметка относит десять эпизодов к сбою, девяносто — к норме. Условный алгоритм отметил восемь из десяти сбоев, пропустил два и поставил метку сбоя ещё десяти нормальным эпизодам. Остальные восемьдесят нормальных эпизодов оставлены без метки. Такие данные позволяют посчитать несколько разных долей; ни одна из них не должна называться просто «процентом качества» без определения.
Какие знаменатели нужны
Доля найденных сбоев среди всех действительно размеченных сбоев равна 8 / 10 = 80%. Она отвечает на вопрос о найденных случаях и оставляет видимыми два пропуска. Доля верных меток среди всех поставленных меток сбоя равна 8 / 18, примерно 44,4%. Она отвечает на другой вопрос: какая часть восемнадцати меток совпала с исходной разметкой. Один и тот же набор поэтому даёт разные осмысленные проценты.
Если посчитать все совпадения с разметкой, получится 8 + 80 = 88 эпизодов из ста, то есть 88%. Этот итог включает большое количество нормальных случаев. Из него нельзя восстановить два предыдущих показателя без дополнительных чисел. Короткое сообщение «совпадение 88%» не сообщает, сколько сбоев пропущено и сколько меток оказалось ложными. Для понимания нужны четыре исходные клетки таблицы, а не только один итог.
Разметка является отдельным основанием
В этом примере правильные ответы заданы заранее как часть учебной задачи. В реальном разборе происхождение разметки требуется установить отдельно. Метка самого проверяемого алгоритма не может одновременно служить независимым подтверждением своей правильности. Иначе сравнение становится круговым: система признаётся верной только потому, что её вывод совпал с тем же выводом, записанным в другой колонке.
Полезно сохранять определения эпизода и сбоя, правило разметки, источник метки и область охвата архива. Если часть эпизодов исключена, это изменяет основание долей. Нельзя переносить процент из одного набора на другой без понимания состава. Также по данным этой учебной таблицы не устанавливаются причины ложных меток и пропусков; для них потребовалась бы самостоятельная информация о конкретных случаях.
Что передать следующему участнику
Понятная карточка содержит таблицу из четырёх чисел, выбранный показатель с формулой и точное название вопроса. Например, «найдено среди размеченных сбоев» остаётся отличимым от «верно среди меток». Тогда следующему участнику не приходится угадывать знаменатель. Исходные количества позволяют проверить арифметику и при необходимости вычислить другой показатель для своей задачи, не подменяя его уже объявленным числом.
Статья не оценивает реальный диагностический продукт, не определяет допустимый уровень ошибок и не предлагает действия при судовой аварии. Все эпизоды вымышлены. Практическая цель — читать отчёт о метках точно: 80%, 44,4% и 88% относятся к разным вопросам и могут одновременно быть правильными для одной явно заданной таблицы.