Вчера полмира испытало на себе последствия сбоя в инфраструктуре Cloudflare. Несколько часов были недоступны ряд сервисов - у кого-то отвалился ChatGPT, кто-то не смог воспользоваться почтой.

Это еще одно напоминание о том, что:
1️⃣ нет идеальных систем
2️⃣ всегда надо иметь план Б

Надо отдать должное Cloudflare, они признали, починили и опубликовали подробный постмортем. Это были не русские китайские хакеры, а несчастный случай.

У них есть Bot Management system, которая работает на основе записей в некоем файле конфигурации с лимитированной длиной. А он наполняется данными из ClickHouse.

Вчера они расширили доступы пользователей в базе, из-за чего в результаты запроса стали попадать данные из других таблиц, и лимит конфига был превышен.

Подробности с картинками, таймингом и кодом - у них в блоге.

#web