«Тепер ШІ працює в реальному часі, всередині хаотичних і динамічних сторінок, постійно запитуючи інформацію, приймаючи рішення та коментуючи кожну свою дію. Щоправда, слово „коментує“ тут надто м’яке — він базікає, і значно більше, ніж треба! Ми називаємо це „агентним базіканням“: ШІ-браузер вибовкує все: що він бачить, що, на його думку, відбувається, які в нього плани на наступний крок, і які сигнали він вважає підозрілими, а які — безпечними», — розповів The Hacker News Шейкед Чен, дослідник з кібербезпеки компанії Guardio, яка проводила дослідження.
Читайте также: Після появи верифікації терміналів трафік Starlink в Україні впав на 75%. Окупанти нарікають, що в них лишилося лише радіо і голуби
Перехоплюючи обмін даними між браузером і хмарними сервісами ШІ, а потім використовуючи ці дані для навчання генеративно-змагальної мережі (GAN), фахівці Guardio змогли менш ніж за чотири хвилини ошукати ШІ-браузер Perplexity Comet, залучивши його до фішингової пастки.
Це дослідження базується на попередніх методах, таких як VibeScamming та Scamlexity, які виявили, що платформи для вайбкодингу та ШІ-браузери можна спонукати до створення шахрайських сторінок або виконання шкідливих дій за допомогою прихованих ін’єкцій запитів.
Іншими словами, коли ШІ-агент виконує завдання без постійного нагляду людини, відбувається зміщення вектора атаки: шахрайству більше не потрібно обманювати користувача. Натомість воно спрямоване на те, щоб обманути саму ШІ-модель.
«Якщо ви можете спостерігати за тим, що саме агент позначає як підозріле, у чому він вагається, і, що найважливіше, що він думає і вибовкує про сторінку, ви можете використовувати це як сигнал для навчання», — пояснює Чен. «Шахрайство розвивається доти, доки ШІ-браузер гарантовано не потрапить у пастку, яку для нього підготував інший ШІ».
Читайте также: «Нова пошта» запустила нову функцію у застосунку — декілька номерів в одному акаунті
Суть ідеї полягає в створенні «машини для шахрайства» (scamming machine), яка ітеративно оптимізує та генерує фішингову сторінку доти, доки агентний браузер не перестане чинити опір і не виконає вказівку зловмисника — наприклад, введення облікових даних жертви на підробленій сторінці, створеній для викрадення коштів під виглядом повернення платежу.
Унікальність та небезпека цієї атаки полягають у тому, що як тільки шахрай ітеративно оптимізує вебсторінку до рівня, коли вона успішно обходить захист конкретного ШІ-браузера, вона починає працювати проти всіх користувачів, які покладаються на цей же агент. Іншими словами, вектор атаки змістився з людини-користувача безпосередньо на ШІ-браузер.
«Це відкриває перед нами не надто втішне майбутнє: шахрайські схеми більше не будуть просто запускатися та підлаштовуватися під час роботи з користувачами — їх тренуватимуть офлайн, на точних копіях моделей, якими користуються мільйони, доки вони не спрацьовуватимуть бездоганно з першої ж спроби», — зазначають у Guardio. — «Бо коли ваш ШІ-браузер пояснює, чому він зупинив дію, він фактично вчить зловмисників, як обійти цей захист».
Читайте также: У Telegram стався збій: користувачі скаржаться на проблеми з повідомленнями та медіа