Що трапилося
У своєму LinkedIn Денис Кірєв, розробник ШІ-асистента для менеджерів Adminly, розповів деталі інциденту.
Читайте также: Claude на Windows масово поглинає оперативну пам’ять без можливості це зупинити
Того дня він активно налаштовував формат відповідей і прогоняв автоматичні тести, які повторювали ті самі діалоги листування. Водночас айтівець помітив дивний рахунок на $27 за майже невикористовуваний API, що свідчило про витік ключа.
Поєднання цих двох факторів — циклічних тестів та компрометації ключа — автоматичні системи безпеки OpenAI розцінили як спробу дистиляції моделі, що й призвело до бану.
Висновки
Ситуація змусила розробника переосмислити те, як сервіси сприймають поведінку користувача під час тестування.
Денис Кірєв зрозумів, що звичайний процес тестування за своїми поведінковими патернами може виглядати підозріло для автоматичних систем захисту, оскільки надсилання повторюваних однакових запитів із незначними варіаціями є класичною ознакою дистиляції моделей. Через це алгоритми провайдера сприймають таку активність як спробу збору датасету для навчання сторонньої нейромережі.
Крім того, цей досвід показав, що наслідки можуть бути значно серйознішими.
«Скомпрометований ключ може коштувати не тільки грошей, але й акаунту», — написав розробник.
Читайте также: GSC Game World представила другий трейлер доповнення Cost of Hope до S.T.A.L.K.E.R. 2
Щоб уникнути подібних проблем у майбутньому, розробник кардинально змінив свій підхід до роботи й упровадив кілька нових правил.
Тепер під час тестування він обов’язково робить паузу між запитами тривалістю мінімум в одну-дві секунди, а замість одного повідомлення з дрібними варіаціями використовує максимально різноманітні тестові таски.
Крім того, для захисту від фінансових сюрпризів розробник виставляє ліміт витрат безпосередньо в консолі, що дозволяє миттєво фіксувати будь-які аномалії, а також налаштував локальне логування, завдяки якому більше немає потреби повторно відправляти однакові запити до API.
У підсумку Денис Кірєв закликав усіх, хто створює ШІ-продукти, пам’ятати: «Автоматика не знає ваших намірів, вона бачить тільки патерни».
Що з проєктом
Розробник подав апеляцію до OpenAI з детальним описом проблеми й наразі чекає на відповідь. Тим часом проєкт продовжує працювати на Anthropic Claude API.
Читайте также: Хакери стверджують, що злили в мережу дані 2,4 млрд користувачів TikTok