Об итогах испытаний статических анализаторов исходного кода при организационной и методической поддержке ФСТЭК России в 2025 году (часть 1 из 6)

Если читатель ждёт судьбоносных новостей о том, как что-то изменилось в сфере статического анализа и инструментария, то их нет. Не имея опыта организации таких испытаний, мы все (организаторы, вендоры, жюри и т.д.) недооценили сложность и попытались сразу откусить непосильно большой кусок.

Многое из задуманного не реализовано. Что-то формулировалось или менялось на ходу, когда становилось понятно, что выбранный ранее сценарий не получается на практике. Поэтому, хотя какие-то частичные результаты получены, опираться на них для окончательных выводов нерационально. Поэтому в докладах и нет утверждений, что какой-то инструмент прошёл или не прошёл испытания и что именно является окончательными критериями отбора.

Откуда непредвиденная сложность и дополнительные затраты времени, из-за которых не удалось провести планируемый объём испытаний? Один пример.

Анализаторы должны запускаться на отечественной ОС. Непосредственно перед началом этапа по проверке открытых проектов регулятор выбрал несколько важных для индустрии проектов. Хорошие проекты, нормальный выбор. Но на практике оказывается, что некоторые из этих проектов сходу не получается собрать на целевой операционной системе. И вместо анализа команды участников на площадке испытаний занимались попыткой собрать эти проекты. В результате досборку и анализ некоторых из них пришлось перенести другой день.

В ретроспективе выглядит так, что такую нестыковку можно было предвидеть и избежать. Но в ходе реального процесса получилось так, как получилось, и это только один пример нестыковки. Никто не виноват, но незапланированное замедление. Польза – опыт, но часть времени уже ушло.

Итак, в испытаниях участвовали [в скобка указано сокращение, которое я буду использовать далее для краткости]:
1) ООО «ПВС», PVS-Studio. [PVS]
2) АО «НПО «Эшелон», АК-ВС 3. [Echelon]
3) АО «Позитив Текнолоджиз», Positive Technologies Application Inspector. [PT]
4) АО «СОЛАР СЕКЬЮРИТИ», Solar AppScreene. [Solar]
5) ИСП РАН, Svace. [ISP RAS]
6) Базальт СПО представляет CodeChecker, включающей связку из: clang-static-analyzer, clang-tidy, cppcheck и gcc. [Basealt]

Echelon, PT, Solar и ISP RAS заявили к испытаниям все языки: C/C++, C#, Java, Go, Python, JavaScript. PVS языки: C/C++, C#, Java. Набор от Basealt испытывался только на C/C++.

С записью докладов, посвящённых испытаниям, можно познакомиться здесь (06:05:10 - приблизительно начало).

Соответствующие презентации лежат здесь (в папке 2. 16-17 Стат. анализаторы).