ИИ способен находить уязвимости в программном обеспечении, но для их исправления нужны специалисты

Искусственный интеллект продемонстрировал свою способность эффективно находить уязвимости в программном обеспечении, однако его возможности по исправлению этих уязвимостей остаются ограниченными. Это стало очевидно в ходе исследования, проведенного специалистами лаборатории Off-by-1, входящей в состав компании 1Password, которые изучили работу моделей OpenAI ChatGPT 5.5 и Anthropic Claude Opus 4.8.

Согласно результатам тестирования, ИИ смог успешно создать патчи для устранения уязвимостей лишь в 26% случаев, если говорить о полных исправлениях, без изменения поведения приложения. Из 6080 выпущенных патчей только 20,1% действительно устранили проблему, но при этом изменили функциональность приложения. В 49,3% случаев ИИ не справился с задачей и не создал защиты ни от одного из эксплойтов.

Успех работы ИИ в создании патчей во многом зависит от изначальных инструкций, которые задаются как искусственному интеллекту, так и человеку, работающему над исправлением. При корректной подаче запросов вероятность успешного создания патча возрастает до 65%, тогда как отсутствие запроса или некорректный запрос значительно снижают этот показатель. Человеческие разработчики при анализе кода уязвимых приложений имеют высокие шансы выявить проблемы, оставшиеся после вмешательства ИИ.

Создание правильного патча обходится в среднем в $6,74, включая затраты на неудачные попытки. Однако важно учитывать, что для достижения эффективных результатов требуется значительный уровень экспертного надзора, который делает использование ИИ оправданным.