Дата публикации:Wed, 19 Nov 2025 07:34:43 +0300
Компания Cloudflare опубликовала разбор одного из крупнейших инцидентов в своей инфраструктуре, из-за которого вчера большая часть сети доставки контента оказалась неработоспособной на протяжении более 3 часов. Сбой произошёл после изменения в структуре БД, размещённой в хранилище ClickHouse, после которого файл с параметрами для системы противодействия ботам в два раза увеличился в размере. В БД были образованы дублирующиеся таблицы, при том, что SQL-запрос для формирования файла просто выводил все данные из всех таблиц по ключу, без отсеивания дубликатов.
SELECT name, type FROM system.columns WHERE table = 'http_requests_features' order by name;
Проблема оказалась в том, что вместо корректной обработки превышения лимита и продолжения использования прошлой версии файла с информированием системы мониторинга о внештатной ситуации, в обработчике срабатывало аварийное завершение работы, которое блокировало проброс трафика. Ошибка была вызвана использованием в коде на языке Rust метода unwrap() с типом Result.
Ссылка на оригинал: https://www.opennet.ru/opennews/art.shtml?num=64282