Curl попереджує про бан за повідомлення про уразливості, створені за допомогою LLM

Засновник і головний розробник проекту curl Деніел Стенберг звернув увагу на проблему масової відправки повідомлень про вразливості, створених LLM через платформу HackerOne. Такі повідомлення перевантажують розробників, оскільки для їх перевірки потрібен час, який незрівнянно більший порівняно з часом, необхідним для створення подібних звітів за допомогою LLM.

Приклад проблеми з LLM-генерованими звітами

Як приклад такого повідомлення він опублікував один із таких звітів – #3125832. Початковий патч у ньому не підходить до жодної версії утиліти, для якої він зроблений. На уточнюючі запитання від розробників його автор відповідав на не поставлені запитання (наприклад, що таке циклічна залежність), наводив приклади неіснуючих функцій в утиліті та давав інструкції, як використовувати git для застосування патча.

Нові вимоги до авторів звітів про вразливості

У відповідь на збільшення кількості таких повідомлень Деніел Стенберг попередив, що тепер авторам необхідно буде відповідати на запитання “чи використовувався AI при його створенні” та бути готовими до додаткових запитань, щоб довести, що автор дійсно перевірив результат. Крім того, будь-який автор, запідозрений у відправці повідомлень, які можна класифікувати як “AI slop” (низькоякісний контент, згенерований LLM) буде негайно заблокований.

Деніел Стенберг зазначає, що наразі у них немає жодного прикладу корисного повідомлення про вразливість, створеного за допомогою AI.

Попередні обговорення проблеми LLM у безпеці

Раніше Деніел Стенберг уже писав про цю проблему у своєму блозі. Також про схожу ситуацію повідомляв Сет Ларсон, розробник із security team у Python Software Foundation.

Варто зазначити, що проблема низькоякісних звітів про вразливості стає все більш поширеною. Однак команда curl вирішила вжити рішучих заходів для захисту свого часу та ресурсів.

Для розробників опен-сорс проектів важливо знаходити баланс між відкритістю для повідомлень про вразливості та захистом від неякісних звітів. Curl, як один із найпоширеніших інструментів для передачі даних через різні протоколи, привертає особливу увагу потенційних дослідників безпеки.

Більше інформації про проект curl можна знайти на офіційному сайті, а деталі про політику безпеки проекту доступні у розділі безпеки.