Компания Coverity, развивающая инструментарий для автоматического анализа кода на предмет наличия проблем безопасности и ошибок, опубликовала (PDF, 470 Кб) результаты оценки качества интерпретатора языка Python (CPython 3.3.2). Исследование показало, что реализация Python демонстрируют наименьший уровень дефектов по сравнению с другими проприетарными и открытыми проектами, что позволяет рассматривать Python как новый эталон качества.

Если для ранее проанализированных открытых проектов зафиксирован средний уровень дефектов в 0.69 ошибок на 1000 строк кода, то для кода Python уровень дефектов составил всего 0.005. Если учесть, что требования промышленных стандартов качества допускают наличие 1 ошибки на 1000 строк кода, то качество кода Python в 200 раз выше данных требований.

В процессе проведения исследования было проанализировано около 396 тысяч строк кода CPython 3.3.2. В итоге было выявлено 278 новых дефектов, из которых 181 уже исправлен разработчиками Python (в сумме, с 2006 года в Python выявлено 996 ошибок, исправлено - 860). При рассмотрении других проектов размером от 100 до 500 тысяч строк кода, средний показатель дефектов для открытых разработок составляет 0.60, а для проприетарных - 0.66.

Система Coverity Scan была создана в 2006 году по инициативе Министерства национальной безопасности США для обеспечения и усиления безопасности информационной инфраструктуры Соединённых Штатов, в которой используются различные Open Source проекты. В настоящее время программа тестирования Coverity Scan охватывает около 400 открытых проектов, суммарный размер кода которых превышает 68 млн строк. При автоматическом анализе данного кода было выявлено 47 тысяч дефектов из которых уже исправлена 21 тысяча ошибок.