Баги-призраки: ИИ – новая головная боль open source разработчиков

Разработчики программного обеспечения с открытым исходным кодом столкнулись с новой проблемой - потоком некачественных отчетов об ошибках, сгенерированных искусственным интеллектом. Специалисты отмечают, что ситуация начинает напоминать наводнение социальных сетей дезинформацией, с которой безуспешно борются системы проверки фактов.

Сет Ларсон , специалист по безопасности Python Software Foundation, поделился своими наблюдениями в недавней публикации. По его словам, в последнее время резко возросло количество спам-отчетов об уязвимостях, созданных с помощью языковых моделей. Отчеты эти выглядят очень правдоподобно, из-за чего разработчикам приходится тратить время на их тщательный анализ и опровержение.

Это особенно серьезная проблема для крупных проектов с открытым исходным кодом вроде Python, WordPress и Android, которые лежат в основе современного интернета. Большинство из них поддерживается небольшими группами энтузиастов-добровольцев, работающих без оплаты. Реальные уязвимости в широко используемых библиотеках кода представляют серьезную опасность, так как их эксплуатация способна нанести ущерб в масштабах всей системы.

Разработчик Даниэль Штернберг на HackerOne открыто раскритиковал одного из пользователей за подачу сгенерированного отчета об ошибке:

"Вы отправили бессмысленный отчёт, похоже, сгенерированный искусственным интеллектом, где упоминаете некую проблему безопасности — видимо, потому что ИИ убедил вас в её существовании. Затем вы потратили наше время, умолчав о том, что за вас это сделала программа, и продолжили обсуждение, отвечая такой же чепухой — вероятно, тоже сгенерированной ИИ".

Генерация кода становится все более популярным применением больших языковых моделей, хотя среди разработчиков споры о полезности этой технологии еще ведутся. Такие инструменты как GitHub Copilot или генератор кода ChatGPT успешно справляются с созданием базовой структуры проекта и помогают находить нужные функции в программных библиотеках. Однако языковые модели, как и любые ИИ-системы, иногда создают ошибочный или неполный код. Они не понимают программирование на концептуальном уровне, а работают на основе вероятностных моделей, предсказывая возможный результат на основе обучающих данных.

Для создания полноценного проекта разработчикам по-прежнему необходимо глубокое понимание используемого языка, умение отлаживать код и видеть общую архитектуру приложения. Эксперты отмечают, что инструменты генерации кода окажут наибольшее влияние на начинающих программистов, при этом простые приложения, которые можно создать исключительно с помощью ИИ, вероятно, уже существуют.

Платформы вроде HackerOne, которые платят за поиск уязвимостей, вероятно, невольно побуждают использовать ChatGPT для анализа кода и отправки ложных отчетов об ошибках, созданных нейросетью.

Хотя спам - совсем не новое явление для интернета, умные технологии сильно упростили его массовое “производство”. Вероятно, для борьбы с этим явлением потребуется разработка новых защитных механизмов вроде CAPTCHA.