Cloudflack 's Major Novembar 18th Outage -

18. novembra 2025, veliki deo interneta je pao.
Ako otvorite ChatGPT, X (Twitter), Ligu legendi, Shopify, Coinbase, ili bezbroj manjih sajtova, dočekani ste stranicom Cloudflare- žigosanom 5xx - ili se sajtovi jednostavno ne bi punili uopšte. Ono što je na prvi pogled lièilo na još jedan veliki "Internet je pokvaren" trenutak ispostavilo se da je nešto suptilnije i, na neki naèin, zabrinutije: buba koja se sama nanela duboko unutar sopstvene infrastrukture Kludbakra.

Ispod je detaljan prolaz Ono što se desilo u juèerašnjem nestanku Cloudbakla (18. novembra 2025)Zašto se to dogodilo, na koga je uticalo, i šta bi infrastrukturni timovi trebali da oduzmu.

Šta se desilo juèe?

Dalje Utorak, 18. novembar 2025.Oko kasnog jutra, Cloudflack je poèeo da vraæa velike kolièine Грешке ХТТП ‑ а 5xx сервера za saobraæaj koji je prošao kroz njegovu mrežu. За крајње кориснике, то је значило "унутрашња грешка сервера" или "Грешка капија" странице када покушавате да приступите многим популарним сајтовима и апликацијама.

Prema Cloudburkovom blogu o posleincidentu, nestajanje:

• Poèeo je da utièe na HTTP. 11: 28 UTC

• Video sam rasprostranjene greške u sistemu CDN i bezbednosne službe

• Imao je velike korake ublažavanja. 13: 05-14: 30 UTC

• Вратио је запремину грешке на основу 17: 06 UTC Блог облака

Sama baklja ga je opisala kao Njegov najgori nestanak od 2019.Zato što to nije uticalo samo na jednu karakteristiku ili komandnu tablu, poremetilo je glavni sloj proksija koji usmerava većinu potrošačkog saobraćaja kroz njegovu mrežu. Блог облака

Nadzor treæe partije je ovo potvrdio. Cisco i Oci su videli глобални прекид Utiče na Cloudbakler, sa tajmautom i 5xx greškama na uslugama kao što su X, Openai (ChatGPT) i Antropic, dok su i sami mrežni putevi izgledali zdravo. To je jako ukazalo na... неуспех позадине сервиса, ne ISP nivo ili ruting pitanje. Очи и очи

Ko je pogoðen?

Jer Cloudflack sjedi ispred masivnog dijela interneta (oko 20% internet sajtova Oslanjajuæi se na Cloudflake za izvedbu i sigurnost, radijus eksplozije je bio ogroman. AP vesti+ 1

Među uslugama koje su prijavljene kao uticajne:

• ChatGPT / OpenaI

• X (некадашњи Твитер)

• Canva, Shopify, Dropbox, Coinbase

• Liga legendi и друге платформе за играње

• разни Javni tranzit i vladine lokacije, ukljuèujuæi New Jersey Tranzit i francuski SNCF železnièki digitalni sistem AP vesti+ 1

Out trackers like Downdetector zabilježen Hiljade stalnih izveštaja na vrhu. Rojters je u jednom trenutku izvestio o 5.000 pogođenih korisnika samo za X, pre nego što su se brojanja smanjila kako su se ispravljale popravke. Rojters

Iz perspektive korisnika, ovo se manifestovalo kao:

• Место се уопште не учитава

• Пријављивање токова виси или не успева (посебно где је облакобарин приступ или Турнстиле су умешани)

• АПИС одговара нагло или са грешкама 5xx

• Dashboards and admin panels timing out

Drugim rečima: ogromni delovi interneta "osetili su se dole", iako je koren uzroka bio koncentrisan u unutrašnje sisteme jednog provajdera.

Како облак нормално функционише (у једноставним терминима)

Da bi razumeli zašto je ovaj nestanak bio tako ozbiljan, pomaže da se spozna grubi put zahteva preko Cloudbakrine mreže.

Oblaci se ponašaju kao... obrnuti proksi CDN i sigurnosni sloj:

1. Ваш прегледач или апликација повезује се са Клаудбакером уместо директно на место порекла.

2. Oblaèna baklja prekida TLS i HTTP na ivici.

3. Zahtevi se ulivaju u Cloudbaklov суштински прокси систем, FL ("Frontline") i nove generacije ФЛ2.

4. Taj osnovni proksi:

   • Примени WAF (заштитни зид веб програма) правила

   • покреће Управљање ботом модели

   • Ручке ДДОС заштита, Caching, izlaz na poèetak

   • Preusmerava saobraæaj na druge unutrašnje proizvode kao što su Radnici, Р2, Приступ, itd. Блог облака

У нормалној операцији ова архитектура је веома отпорна: ако један центар података има проблем, саобраћај се усмерава кроз друге; промене поставе се пажљиво ваљају; појединачне могућности би требало да пропадну на конзистентне начине.

Juèerašnji ispad je bio baš loš jer Neuspeh je bio unutar same proksi staze.i bila je èvrsto spojena sa konfiguracionim fajlom koji je gurnut širom sveta. често и аутоматски.

Корен узрока: бот- управљање филе отишао одметнути

Cloudflakeovo službeno objašnjenje upuæuje na jednog kljuènog krivca:
могућност поставног фајла који користи њихов систем управљања Ботом. Блог облака

Evo lanca dogaðaja na obiènom jeziku:

1. Управљање Ботом користи "означени фајл"

   • Cloudflakerov model detekcije se oslanja na skup "karakteristika" - signala o svakom zahtevu koji se koristi da se odluèi da li je ljudski ili robot.

2. Ове могућности су укрштене у поставни фајл који се регенерише сваких неколико минута i otkotrljao se globalno, tako da se Cloudflack može brzo prilagoditi novim napadaèkim obrascima. Блог облака

3. Промена у кликхаусу.

   • Fajl se stvara upitima u bazi podataka Klikhausa.

4. Cloudflack je napravio promenu 11: 05 UTC за побољшање безбедности и дозволе за расподељена упита - омогућавајући корисницима да виде метаподатке не само из default Schema, ali i iz podloga. r0 stolovi. Блог облака

5. Упит који гради листу могућности није филтриран именом базе података; изненада је почео да добија дупликат колона из оба default и r0, efektivno дуплира број редова.

6. Поставни фајл експлодирао величине

   • Модул за управљање ботом има тешко ограничење на колико могућности ће прихватити (постављено на 200, далеко изнад ~ 60 обично у употреби).

   • Када је нови фајл прешао границу, модул је погодио капу и panika, zbog neriješene greške u Rust kodu koja je korištena Result::unwrap() na vrednost greške. Блог облака

7. Језгро проксија почело је да враћа грешке 5xx

   • Pošto je Uprava Bota integrisana u glavni proksi put, panika se pojavila kao ХТТП 5 × х одговори Za svaki promet koji zavisi od tog modula.

   • Na novom ФЛ2 Motor, kupci su videli eksplicitne greške 5xx.

   • Na starije. FL Motori, roboti, rezultati su tiho otišli na nulu, što bi moglo da izazove lažne pozitivne u pravilima o blokiranju botova. Блог облака

8. Gadan dio: datoteka se stalno okretala izmeðu "dobro" i "loše"

   • Klikhausova grupa je bila постепено ажуриранi osnov je regenerisan svakih pet minuta.

   • Понекад упит ради на ажуриране чворове (производећи лош фајл), понекад на неажуриране чворове (производећи добар фајл).

   • To je znaèilo da je Cloudflakeova mreža oscilirana izmeðu normalne operacije i neuspeha, dok su se razlièite verzije fajla širile. Блог облака

Ova oscilacija je uèinila situaciju ekstremno zbunjujuæom iznutra. U poèetku, Cloudflakeovi timovi su sumnjali Masivni DDOS napad Zato što obrazac greške nije izgledao kao jednostavna softverska nesreæa. Èak i oblak страница стањаkoja je domaćin van sopstvene infrastrukture, na kratko je pokazala greške - koincidencija koja je dodatno podstakla sumnju spoljnog napada. Блог облака+ 1

Tek kada su shvatili da je zajednički faktor u tome da li je snimak bio jasan.

Vremenska linija incidenta

Na osnovu Cloudflakeovog obdukcijskog i treæeg izveštaja, možemo sastaviti grubu vremensku liniju za 18. novembar 2025: Блог облака+ 2Очи и очи+ 2

• 11: 05 UTC Promjena kontrole baze podataka je u Klikhausu.

• 11: 20-11: 30 UTC - Loše verzije Bot Management fajla poèinju da se generišu i šire.

• 11: 28 UTC Prvi udar korisnika: povišena HTTP 5xx greška viðena na prometu.

• 11: 30- 11: 32 UTC Spoljni alati za nadgledanje i automatski testovi poèinju da otkrivaju prekinute neuspehe.

• 11: 35 UTC - Cloudflake otvara unutarnji incident poziv; istraga poèinje.

• ~ 11: 48 UTC - Cloudflack objavljuje status koji potvrðuje incident. Изм › ијени

• 11: 30- 13: 05 UTC - Timovi se fokusiraju na ono što izgleda da je degradirano ponašanje radnika KV i istražuju više mogućih uzroka (uključujući scenarije napada).

• 13: 05 UTC - Ključno ublažavanje: pristup radnicima KV-u i Cloudflack-u je pomeren da zaobiđe glavni proksi; udar je smanjen. Блог облака

• 14: 30 UTC - Корен узрок идентификован; генерација и проширење лоших фајлова је заустављен. Знано-добар поставни фајл се ручно убацује и проксија се поново покреће. Veæina saobraæaja se vraæa u normalu. Блог облака

• 14: 40- 15: 30 UTC - Dashboard i prijava se zadržavaju dok Turnstile i pozadina pokušaja autentifikacije stvaraju sekundarne izboèine. Блог облака

• 17: 06 UTC - Stopa grešaka se vraæa na osnovnu liniju; Cloudflake objavljuje potpuno normalne sisteme. Блог облака

Sa taèke gledišta korisnika, nestanak je bio najgori u Kasno ujutro do ranog popodneva UTCIako su tačni prozori za uticaj razlikovali se po regiji i od kojih su proizvodi Cloudbakra zavisili od svake usluge.

Zašto je ovaj nestanak toliko važan?

Централизациони ризик

Cloudflack je deo malog seta централни инфраструктураNameUz glavne platforme oblaka (AWS, Azure, GCP) i druge velike CDN-ove. Kada jedan od ovih igraèa propadne, udar je širok i èesto neoèigledan.

Ovaj nestanak:

• Nije došlo od BGP-ove nesreæe ili ISP-a.

• Nije došlo od zlonamernog napada (uprkos poèetnim sumnjama).

• Dolazi iz једна постава и ограничи грешку u unutrašnjoj komponenti.

To je važno jer pokazuje kako комплексни, чврсто-спојени системи može katastrofalno da propadne èak i bez spoljnih smetnji. Kada mnoge organizacije grade na istom provajderu, taj provajder postaje defakto. Системски важан део интернета.

"Mekan" je takoðe povreðen.

Neke od pogoðenih usluga nisu samo koristile Cloudflack kao glupi CDN. Bili su:

• Коришћење Приступ облачној бакљи Za autentiènost i pristup poverenju.

• Коришћење Radnici KV kao deo unutrašnjih kontrolnih aviona.

• Oslanjam se na Turnstil za otporne loginse. Блог облака+ 1

Kada su ti proizvodi propali, nije se samo sadržaj vebsajta spustio - пријаве, административне функције и унутрашње апилете i švorc. То опоравак чини сложенијим: ваша страница стања, инцидент тулинг, или администратор УИ може такође ослањати на самог добављача који управо није успео.

Ono što Cloudbark kaže promeniæe se.

Cloudflakerov blog navodi nekoliko koraka za popravku koje kompanija već preduzima da bi smanjila rizik od bilo čega sličnog što se ponavlja: Блог облака

1. Оштро уношење аутогенерисаних поставних фајлова
   Lečenje interno generisanih poverenika sa istim skepticizmom i potvrdom kao i korisnički unos, uključujući striktnu šemu i proveru veličine pre nego što se odjavi.

2. Још глобалних прекидача за убијање
   Олакшавам брзо искључивање проблематичних унутрашњих модула (као што је управљање Ботом) преко мреже, тако да не успеју отворено umesto da panièi ceo proksi put.

3. Заштити системске ресурсе од грешака
   Osigurajte da jezgro padne, debug metapodatke i posmatranje ne može da preplavi CPU i memoriju kada greške počnu da rastu.

4. Ревизори неуспелих режима преко основних проксија
   Систематски ревизира како се сваки унутрашњи модул понаша под неочекиваним улазом или поставом, и обезбеђује грациозну деградацију уместо глобалног неуспеха.

5. Префините ролације и изолацију
   Iako nije zapisano u velikim detaljima, incident ukazuje da æe Cloudbark verovatno produžiti naèin na koji se nove konfiguracije i ponašanje DB-a šire, kako bi se smanjila šansa da jedna loša promena utièe na celu flotu.

Oni su takođe smestili incident kao apsolutni neuspeh svojih očekivanja otpornosti, nazivajući ga "neprihvatljivim" i eksplicitno priznajući bol koji je naneo i kupcima i običnim korisnicima interneta. Блог облака

Лекције за инфраструктуру и тимове СРЕ

Èak i ako ne vodite nešto tako veliko kao što je Cloudflack, postoje neke vrlo praktiène dizajne i operativne lekcije u ovom nestanku:

Третирајте унутрашње подешавање као неповерљив улаз

Lako je pretpostaviti da je "naša sopstvena" konfiguracija uvek taèna. Juèe se vidi zašto je to opasno.

• Увек потврди величина, облик и границе за поставне фајлове пре примене.

• Размотри Програм канаринаName Povezivanje sa malim sklopom saobraćaja ili čvorova prvo, sa automatskim okretanjem anomalija.

• Budite strogi. горње границе i prekidaèi sklopova oko sadržaja, memorija i CPU upotreba.

Dizajn za graciozni delimièni neuspeh

Једна грешка у модулу за управљање ботом не би требало да може Panika.:

• подразумевано Неуспех - отворен - в - пропуст - затворен U nekim slojevima sigurnosti kada je alternativa potpuni nestanak.

• Изгради јасно, тестирај прекидачи за убијање za neosnovne karakteristike.

• Побрините се да критични субсистеми (аут, страница стања, инцидент који се остварује) могу да раде у деградираном режиму или алтернативним путевима.

Posmatraj Dobro. сигнали

Oscilacija izmeðu "dobre konfiguracije" i "loše konfiguracije" svakih pet minuta èini da signal izgleda kao napad ili buèno spoljašnje ponašanje:

• Pobrini se da imaš перверзија или per- config korelacija u vašem cevovodu za posmatranje.

• Направи табле које чине да се поставне промене визуелно очигледне на графиконима грешака.

• Укључи јак синтетички тестови Sa spoljne taèke gledišta, tako da brzo možete da razlikujete unutrašnji neuspeh od problema mreže / puta.

Ne stavljaj sva jaja u jednu infra korpu.

Za organizacije koje koriste Cloudflake:

• Размотри мулти- ЦДН Setups za stvarno misionar- kritièna svojstva.

• Izbegavaj da praviš svoje страница стања У потпуности зависи од истог добављача као и ваша примарна гомила (Клаудбаук ради ово, али било је случајних проблема са њиховим домаћином странице стања јуче што је још више збунило ствари). Блог облака+ 1

• Razmisli dvaput pre nego što èvrsto spojiš аутентификација, API kontroliše avione, i предња испорука do istog prodavca bez sporednih staza.

Veæa slika.

Samo u poslednjih nekoliko meseci, videli smo velike nestanke u микрософтова азурName, ~ @ ¦ Амазон ¦ Amazon ¦ веб сервисиA sada Cloudflack, koji su privremeno ugasili velike delove potrošaèkih i preduzetnièkih usluga. AP vesti+ 2The Washington Post+ 2

Obrazac je jasan:

• Internet raste. Zavisi od šaèice ogromnih provajdera infrastrukture..

• Izljevi su èesto самонанесеноDolazi od kompleksnih unutrašnjih promena, a ne od spoljašnjih napada.

• Èak i provajderi sa svetskom klasom SRE mogu da se spotaknu неочекиване интеракције између поставе, понашања базе података и чврстокодираних ограничења.

Jučerašnji incident sa Cloudbaklom je jasan podsetnik da "Oblak" nije magijaNa dnu, to je još uvek softver koji su napisali ljudi, podložan istoj klasi buba kao i bilo koja druga aplikacija - samo sa naredbama veličine više ljudi zavisi od toga.

Za korisnike će incident uglavnom biti zapamćen kao "to jutro kada X i ChatGPT nisu hteli da pune".
Za inženjere, to će verovatno biti proučavano kao primer kako суптилне поставне грешке у систему дистрибуираног у језгру могу да се претопе у глобални интернет догађај.