Як повідомляє Anthropic, кібероперація, що відбулася в середині вересня, була націлена на великі технологічні компанії, фінансові установи, виробників хімічної продукції та державні установи, пише The Register.
Хоча вибір цілей здійснювався людьми, фахівці з кібербезпеки Anthropic вважають, що це «перший зафіксований випадок, коли агентний штучний інтелект успішно отримав доступ до підтверджених важливих цілей для збору розвідданих, включаючи великі технологічні корпорації та державні установи».
За даними компанії, за цією шпигунською кампанією стоїть китайська група GTG-1002, яку підтримує держава. Зловмисники використовували Claude Code та MCP для виконання атак без тактичного втручання людини.
Розроблений людиною фреймворк використовував Claude для оркестрування багатоетапних атак, які потім виконувалися декількома субагентами Claude, кожен з яких здійснював конкретні завдання. Ці завдання включали визначення зон атаки, сканування інфраструктури, виявлення вразливостей та пошук методів їх використання.
Після розробки ланцюгів експлойтів і цільових корисних навантажень субагентами, людина протягом двох-десяти хвилин переглядала результати дій штучного інтелекту та давала дозвіл на наступні атаки.
Потім субагенти бралися за роботу з пошуку та перевірки облікових даних, підвищення привілеїв, переміщення по мережі, доступу та крадіжки конфіденційних даних. Далі людині потрібно було лише ще раз переглянути роботу штучного інтелекту, перш ніж схвалити остаточне вилучення даних.
«Представляючи ці завдання Claude як стандартні технічні запити за допомогою продуманих промптів та створених персон, зловмисник домігся того, що Claude виконав окремі етапи ланцюжка атаки, не розуміючи загального зловмисного плану», — йдеться у звіті.
Anthropic заявляє, що після виявлення атак вона розпочала розслідування, яке призвело до блокування пов’язаних облікових записів, встановлення повного масштабу операції, повідомлення постраждалих сторін та координації дій із правоохоронними органами.
Проте, є невеликий позитивний момент: під час атак Claude мав галюцинації і заявляв про кращі результати, ніж свідчили докази.
Штучний інтелект «часто перебільшував результати та іноді фальсифікував дані під час автономних операцій», що вимагало від оператора-людини перевіряти всі отримані дані. Серед цих галюцинацій були заяви Claude про отримання облікових даних, які не працювали, або ідентифікація критичних відкриттів, які насправді виявилися публічно доступною інформацією.
Anthropic стверджує, що такі помилки є «перешкодою для повністю автономних кібератак».
Добавить комментарий