Як ідеться у технічному звіті Cloudflare, інцидент стартував о 11:20 за UTC. Під час зміни прав доступу до бази ClickHouse, яка формує конфігураційний файл для системи Bot Management, у файл помилково потрапила подвоєна кількість «ознак» ботів. Файл перевищив ліміт розміру, модуль перевірки трафіку на боти не зміг його обробити й почав масово повертати користувачам 5xx-помилки замість сайтів.
Оскільки цей файл оновлюється кожні кілька хвилин і миттєво розповсюджується на всі сервери, збій швидко став глобальним. Частина дата-центрів встигала завантажити коректну версію, інші «биту», тому мережа то падала, то частково відновлювалась. Лише о 14:30 UTC інженери зупинили розповсюдження некоректного файлу, підмінили його стабільною версією й перезапустили проксі; повністю нормальну роботу мережі відновили о 17:06.
У Cloudflare наголошують, що інцидент не був DDoS-атакою. Спершу команда підозрювала саме її, напередодні компанія відбивала рекордні атаки ботнету Aisuru, а під час збою ще й перестав відкриватися незалежний статус-сайт. Однак аналіз логів показав, що «винен» внутрішній конфігураційний файл, який сформувався неправильно після зміни налаштувань доступу.
Зупинка торкнулася не лише основного CDN, а й інших продуктів: не працював Turnstile (перевірка «людина чи бот»), ламався вхід у панель керування, зростали помилки в Workers KV та сервісі доступу Access. Після заміни файла компанія кілька годин перезапускала модулі й розгрібала чергу завислих запитів, що обвалювали частину внутрішніх API.
Cloudflare вже пообіцяла жорсткіше перевіряти системні конфігурації, додати «kill switch» для ризикових функцій і не дозволяти службам логування забирати всі ресурси сервера під час помилок. CEO компанії назвав збій «найгіршим із 2019 року» та вибачився перед клієнтами за те, що мережа деякий час не могла виконувати базову функцію маршрутизувати трафік.
Раніше dev.ua писав про глобальний збій сервісу Cloudflare спричинив перебої в роботі сервісів з фіскалізації в Україні. Мова про програмні РРО, якими користуються багато українських бізнесів.
Добавить комментарий