Статистическая модель Миллса

Модель Миллса — способ оценки количества ошибок в программном коде, созданный в 1972 году программистом Харланом Миллсом. Он получил широкое распространение благодаря своей простоте и интуитивной привлекательности.

Методология

Допустим, имеется программный код, в котором присутствует заранее неизвестное количество ошибок (багов) $N$, требующее максимально точной оценки. Для получения этой величины можно внести в программный код $M$ дополнительных ошибок, о наличии которых ничего не известно специалистам по тестированию.

Предположим, что после проведения тестирования было обнаружено $n$ естественных ошибок (где $n<N$) и $m$ искусственных (где $m<M$). Тогда, полное количество оставшихся ошибок можно оценить предположив, что вероятности обнаружить естественную и искусственную ошибку одинаковы и зависят только от их полного количества. Тогда процент естественных и внесённых ошибок должен быть одинаков и выполняется следующее соотношение ${\frac {n}{N}}={\frac {m}{M}}$.

Из которого следует, что оценка полного количества естественных ошибок в коде равна $N=n{\frac {M}{m}}$, а количество всё ещё не выловленных багов кода равно разности $N-n$. Сам Миллс полагал, что процесс тестирования необходимо сопровождать постоянным обновлением графиков для оценки количества ошибок.

Очевидно, что такой подход не лишён недостатков. Например, если найдено 100% искусственных ошибок, то значит и естественных ошибок было найдено около 100%. Причём, чем меньше было внесено искусственных ошибок, тем больше вероятность того, что все они будут обнаружены. Из чего следует заведомо абсурдное следствие: если была внесена всего одна ошибка, которая была обнаружена при тестировании, значит ошибок в коде больше нет.

В целях количественной оценки доверия модели был введён следующий эмпирический критерий: $C={\begin{cases}1,&{\mbox{при }}n>N,\\{\frac {M}{M+N+1}},&{\mbox{при }}n\leq N.\end{cases}}$

Уровень значимости $C$ оценивает вероятность, с которой модель будет правильно отклонять ложное предположение. Выражение для $C$ было сконструировано Миллсом, но в силу своей эмпирической природы при необходимости оно допускает некоторую вариативность в разумных пределах.

Исходя из формулы для $C$ можно получить оценку количества искусственно вносимых багов $M$ для достижения нужной меры доверия $C$. Это количество даётся выражением вида $M={\frac {C(N+1)}{1-C}}$.

Слабостью подхода Миллса является необходимость вести тестирование продукта до обнаружения абсолютно всех искусственно введённых багов, однако существуют обобщения этой модели, где это ограничение снято. Например, если порог на допустимое количество из обнаруженных внесённых ошибок равен величине $j$ ($j<M$), то критерий перезаписывается следующим образом: $C={\begin{cases}1,&{\mbox{при }}n>N,\\{\frac {\binom {M}{j-1}}{\binom {N+M+1}{N+j}}},&{\mbox{при }}n\leq N,\end{cases}}$

Источники

• Г. Майерс. Статистическая модель Миллса // Надёжность программного обеспечения = Software Reliability. Principles and Practices / В. Ш. Кауфман. — М. : «Мир», 1980. — С. 336.
• М. Плаксин. Модель Миллса // Тестирование и отладка программ для профессионалов будущих и настоящих. — 2-е изд. — М. : БИНОМ, 2013. — С. 71. — 167 с. — ISBN 978-5-9963-0946-7.
• H. Pham. Mills' Error Seeding Model // System Software Reliability. — Springer, 2006. — P. 159. — (Springer series in reliability engineering). — ISBN 978-1-85233-950-0.