ਕਲਾਉਡਫਲੇਅਰ ਦਾ 18 ਨਵੰਬਰ ਦਾ ਮੁੱਖ ਆਊਟੇਜ - ਇੱਕ ਸੰਖੇਪ

18 ਨਵੰਬਰ, 2025 ਨੂੰ, ਇੰਟਰਨੈੱਟ ਦਾ ਇੱਕ ਵੱਡਾ ਹਿੱਸਾ ਡਿੱਗ ਪਿਆ।

ਜੇਕਰ ਤੁਸੀਂ ChatGPT, X (Twitter), League of Legends, Shopify, Coinbase, ਜਾਂ ਅਣਗਿਣਤ ਛੋਟੀਆਂ ਸਾਈਟਾਂ ਖੋਲ੍ਹਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਡਾ ਸਵਾਗਤ Cloudflare-ਬ੍ਰਾਂਡ ਵਾਲੇ 5xx ਗਲਤੀ ਪੰਨੇ ਨਾਲ ਕੀਤਾ ਗਿਆ ਸੀ—ਜਾਂ ਸਾਈਟਾਂ ਬਿਲਕੁਲ ਵੀ ਲੋਡ ਨਹੀਂ ਹੋਣਗੀਆਂ। ਜੋ ਪਹਿਲਾਂ ਇੱਕ ਹੋਰ ਵੱਡਾ "ਇੰਟਰਨੈੱਟ ਟੁੱਟ ਗਿਆ ਹੈ" ਪਲ ਵਰਗਾ ਦਿਖਾਈ ਦਿੰਦਾ ਸੀ ਉਹ ਕੁਝ ਹੋਰ ਸੂਖਮ ਅਤੇ, ਕੁਝ ਤਰੀਕਿਆਂ ਨਾਲ, ਵਧੇਰੇ ਚਿੰਤਾਜਨਕ ਨਿਕਲਿਆ: Cloudflare ਦੇ ਆਪਣੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਅੰਦਰ ਇੱਕ ਸਵੈ-ਪ੍ਰੇਰਤ ਬੱਗ।

ਹੇਠਾਂ ਕੱਲ੍ਹ ਦੇ Cloudflare ਆਊਟੇਜ (18 ਨਵੰਬਰ 2025) ਵਿੱਚ ਕੀ ਹੋਇਆ, ਇਹ ਕਿਉਂ ਹੋਇਆ, ਇਸਦਾ ਕਿਸਨੂੰ ਅਸਰ ਪਿਆ, ਅਤੇ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਟੀਮਾਂ ਨੂੰ ਇਸ ਤੋਂ ਕੀ ਸਬਕ ਲੈਣਾ ਚਾਹੀਦਾ ਹੈ, ਇਸਦਾ ਵਿਸਤ੍ਰਿਤ ਵਾਕਥਰੂ ਹੈ।

ਕੱਲ੍ਹ ਅਸਲ ਵਿੱਚ ਕੀ ਹੋਇਆ?

ਮੰਗਲਵਾਰ, 18 ਨਵੰਬਰ, 2025 ਨੂੰ, ਦੇਰ ਸਵੇਰ UTC ਦੇ ਆਸਪਾਸ, Cloudflare ਨੇ ਆਪਣੇ ਨੈੱਟਵਰਕ ਵਿੱਚੋਂ ਲੰਘਣ ਵਾਲੇ ਟ੍ਰੈਫਿਕ ਲਈ HTTP 5xx ਸਰਵਰ ਗਲਤੀਆਂ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਵਾਪਸ ਕਰਨੀ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤੀ। ਅੰਤਮ ਉਪਭੋਗਤਾਵਾਂ ਲਈ, ਇਸਦਾ ਮਤਲਬ ਸੀ "ਅੰਦਰੂਨੀ ਸਰਵਰ ਗਲਤੀ" ਜਾਂ "ਗੇਟਵੇ ਗਲਤੀ" ਪੰਨੇ ਜਦੋਂ ਬਹੁਤ ਸਾਰੀਆਂ ਪ੍ਰਸਿੱਧ ਵੈੱਬਸਾਈਟਾਂ ਅਤੇ ਐਪਸ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਸਨ।

ਕਲਾਉਡਫਲੇਅਰ ਦੇ ਆਪਣੇ ਪੋਸਟ-ਇੰਸੀਡੈਂਟ ਬਲੌਗ ਦੇ ਅਨੁਸਾਰ, ਆਊਟੇਜ:

11:28 UTC 'ਤੇ ਗਾਹਕ HTTP ਟ੍ਰੈਫਿਕ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ

ਕੋਰ CDN ਅਤੇ ਸੁਰੱਖਿਆ ਸੇਵਾਵਾਂ ਵਿੱਚ ਵਿਆਪਕ 5xx ਗਲਤੀਆਂ ਵੇਖੀਆਂ

13:05–14:30 UTC ਦੇ ਆਸਪਾਸ ਵੱਡੇ ਘਟਾਉਣ ਦੇ ਕਦਮ ਸਨ

17:06 UTC ਤੱਕ 5xx ਗਲਤੀ ਵਾਲੀਅਮ ਨੂੰ ਬੇਸਲਾਈਨ 'ਤੇ ਵਾਪਸ ਕਰ ਦਿੱਤਾ ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਕਲਾਉਡਫਲੇਅਰ ਨੇ ਖੁਦ ਇਸਨੂੰ 2019 ਤੋਂ ਬਾਅਦ ਇਸਦਾ ਸਭ ਤੋਂ ਭੈੜਾ ਆਊਟੇਜ ਦੱਸਿਆ, ਕਿਉਂਕਿ ਇਸਨੇ ਸਿਰਫ਼ ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਜਾਂ ਡੈਸ਼ਬੋਰਡ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਨਹੀਂ ਕੀਤਾ - ਇਸਨੇ ਕੋਰ ਪ੍ਰੌਕਸੀ ਲੇਅਰ ਨੂੰ ਵਿਗਾੜ ਦਿੱਤਾ ਜੋ ਇਸਦੇ ਨੈੱਟਵਰਕ ਰਾਹੀਂ ਜ਼ਿਆਦਾਤਰ ਗਾਹਕ ਟ੍ਰੈਫਿਕ ਨੂੰ ਰੂਟ ਕਰਦਾ ਹੈ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਤੀਜੀ-ਧਿਰ ਨਿਗਰਾਨੀ ਨੇ ਇਸਦਾ ਸਮਰਥਨ ਕੀਤਾ। Cisco ThousandEyes ਨੇ Cloudflare ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਨ ਵਾਲਾ ਇੱਕ ਗਲੋਬਲ ਆਊਟੇਜ ਦੇਖਿਆ, ਜਿਸ ਵਿੱਚ X, OpenAI (ChatGPT), ਅਤੇ Anthropic ਵਰਗੀਆਂ ਸੇਵਾਵਾਂ 'ਤੇ ਟਾਈਮਆਉਟ ਅਤੇ 5xx ਗਲਤੀਆਂ ਸਨ, ਜਦੋਂ ਕਿ ਨੈੱਟਵਰਕ ਮਾਰਗ ਖੁਦ ਸਿਹਤਮੰਦ ਦਿਖਾਈ ਦੇ ਰਹੇ ਸਨ। ਇਹ ਇੱਕ ਬੈਕਐਂਡ ਸੇਵਾ ਅਸਫਲਤਾ ਵੱਲ ਜ਼ੋਰਦਾਰ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੈ, ISP-ਪੱਧਰ ਜਾਂ ਰੂਟਿੰਗ ਮੁੱਦੇ ਵੱਲ ਨਹੀਂ। ThousandEyes

ਕੌਣ ਪ੍ਰਭਾਵਿਤ ਹੋਇਆ?

ਕਿਉਂਕਿ Cloudflare ਇੰਟਰਨੈੱਟ ਦੇ ਇੱਕ ਵੱਡੇ ਹਿੱਸੇ ਦੇ ਸਾਹਮਣੇ ਬੈਠਾ ਹੈ (ਲਗਭਗ 20% ਵੈੱਬ ਸਾਈਟਾਂ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਸੁਰੱਖਿਆ ਲਈ Cloudflare 'ਤੇ ਨਿਰਭਰ ਕਰਦੀਆਂ ਹਨ), ਧਮਾਕੇ ਦਾ ਘੇਰਾ ਬਹੁਤ ਵੱਡਾ ਸੀ। AP News+1

ਪ੍ਰਭਾਵਿਤ ਵਜੋਂ ਰਿਪੋਰਟ ਕੀਤੀਆਂ ਗਈਆਂ ਸੇਵਾਵਾਂ ਵਿੱਚੋਂ:

ChatGPT / OpenAI

X (ਪਹਿਲਾਂ ਟਵਿੱਟਰ)

Canva, Shopify, Dropbox, Coinbase

League of Legends ਅਤੇ ਹੋਰ ਗੇਮਿੰਗ ਪਲੇਟਫਾਰਮ

ਨਿਊ ਜਰਸੀ ਟ੍ਰਾਂਜ਼ਿਟ ਅਤੇ ਫਰਾਂਸ ਦੇ SNCF ਰੇਲਵੇ ਡਿਜੀਟਲ ਸਿਸਟਮ AP News+1 ਸਮੇਤ ਵੱਖ-ਵੱਖ ਜਨਤਕ ਆਵਾਜਾਈ ਅਤੇ ਸਰਕਾਰੀ ਸਾਈਟਾਂ

ਡਾਊਨਡਿਟੈਕਟਰ ਵਰਗੇ ਆਊਟੇਜ ਟਰੈਕਰਾਂ ਨੇ ਸਿਖਰ 'ਤੇ ਹਜ਼ਾਰਾਂ ਸਮਕਾਲੀ ਮੁੱਦੇ ਰਿਪੋਰਟਾਂ ਦਰਜ ਕੀਤੀਆਂ। ਰਾਇਟਰਜ਼ ਨੇ ਇੱਕ ਸਮੇਂ 'ਤੇ X ਲਈ ਲਗਭਗ 5,000 ਪ੍ਰਭਾਵਿਤ ਉਪਭੋਗਤਾਵਾਂ ਦੀ ਰਿਪੋਰਟ ਕੀਤੀ, ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਫਿਕਸ ਸ਼ੁਰੂ ਹੋਣ 'ਤੇ ਗਿਣਤੀ ਘਟ ਗਈ। ਰਾਇਟਰਜ਼

ਇੱਕ ਉਪਭੋਗਤਾ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਪ੍ਰਗਟ ਹੁੰਦਾ ਹੈ:

ਸਾਈਟਾਂ ਬਿਲਕੁਲ ਵੀ ਲੋਡ ਨਹੀਂ ਹੋ ਰਹੀਆਂ

ਲੌਗਇਨ ਫਲੋ ਲਟਕ ਰਹੇ ਹਨ ਜਾਂ ਅਸਫਲ ਹੋ ਰਹੇ ਹਨ (ਖਾਸ ਕਰਕੇ ਜਿੱਥੇ ਕਲਾਉਡਫਲੇਅਰ ਐਕਸੈਸ ਜਾਂ ਟਰਨਸਟਾਇਲ ਸ਼ਾਮਲ ਸਨ)

API ਰੁਕ-ਰੁਕ ਕੇ ਜਾਂ 5xx ਗਲਤੀਆਂ ਦੇ ਨਾਲ ਜਵਾਬ ਦੇ ਰਹੇ ਹਨ

ਡੈਸ਼ਬੋਰਡ ਅਤੇ ਐਡਮਿਨ ਪੈਨਲ ਟਾਈਮਿੰਗ ਆਉਟ

ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ: ਇੰਟਰਨੈੱਟ ਦੇ ਵੱਡੇ ਹਿੱਸੇ "ਨਿਰਾਸ਼ ਮਹਿਸੂਸ ਹੋਏ", ਭਾਵੇਂ ਮੂਲ ਕਾਰਨ ਇੱਕ ਸਿੰਗਲ ਪ੍ਰਦਾਤਾ ਦੇ ਅੰਦਰੂਨੀ ਸਿਸਟਮਾਂ ਵਿੱਚ ਕੇਂਦ੍ਰਿਤ ਸੀ।

ਕਲਾਉਡਫਲੇਅਰ ਆਮ ਤੌਰ 'ਤੇ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ (ਸਰਲ ਸ਼ਬਦਾਂ ਵਿੱਚ)
ਇਹ ਸਮਝਣ ਲਈ ਕਿ ਇਹ ਆਊਟੇਜ ਇੰਨਾ ਗੰਭੀਰ ਕਿਉਂ ਸੀ, ਇਹ ਕਲਾਉਡਫਲੇਅਰ ਦੇ ਨੈੱਟਵਰਕ ਰਾਹੀਂ ਬੇਨਤੀ ਦੇ ਮੋਟੇ ਮਾਰਗ ਨੂੰ ਜਾਣਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।

ਕਲਾਉਡਫਲੇਅਰ ਇੱਕ ਰਿਵਰਸ ਪ੍ਰੌਕਸੀ CDN ਅਤੇ ਸੁਰੱਖਿਆ ਪਰਤ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ:

ਤੁਹਾਡਾ ਬ੍ਰਾਊਜ਼ਰ ਜਾਂ ਐਪ ਸਿੱਧੇ ਮੂਲ ਸਾਈਟ ਦੀ ਬਜਾਏ ਕਲਾਉਡਫਲੇਅਰ ਨਾਲ ਜੁੜਦਾ ਹੈ।

ਕਲਾਉਡਫਲੇਅਰ ਆਪਣੇ ਕਿਨਾਰੇ 'ਤੇ TLS ਅਤੇ HTTP ਨੂੰ ਖਤਮ ਕਰਦਾ ਹੈ।

ਬੇਨਤੀਆਂ ਕਲਾਉਡਫਲੇਅਰ ਦੇ ਕੋਰ ਪ੍ਰੌਕਸੀ ਸਿਸਟਮ, ਜਿਸਨੂੰ FL ("ਫਰੰਟਲਾਈਨ") ਕਿਹਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਇਸਦੀ ਨਵੀਂ ਪੀੜ੍ਹੀ FL2 ਵਿੱਚ ਆਉਂਦੀਆਂ ਹਨ।

ਉਹ ਕੋਰ ਪ੍ਰੌਕਸੀ:

WAF (ਵੈੱਬ ਐਪਲੀਕੇਸ਼ਨ ਫਾਇਰਵਾਲ) ਨਿਯਮਾਂ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ

ਬੋਟ ਪ੍ਰਬੰਧਨ ਮਾਡਲ ਚਲਾਉਂਦਾ ਹੈ

DDoS ਸੁਰੱਖਿਆ, ਕੈਚਿੰਗ, ਮੂਲ ਵੱਲ ਜਾਣ ਦਾ ਪ੍ਰਬੰਧ ਕਰਦਾ ਹੈ

ਹੋਰ ਅੰਦਰੂਨੀ ਉਤਪਾਦਾਂ ਜਿਵੇਂ ਕਿ ਵਰਕਰਜ਼, R2, ਐਕਸੈਸ, ਆਦਿ ਲਈ ਟ੍ਰੈਫਿਕ ਨੂੰ ਰੂਟ ਕਰਦਾ ਹੈ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਆਮ ਕਾਰਵਾਈ ਵਿੱਚ ਇਹ ਆਰਕੀਟੈਕਚਰ ਬਹੁਤ ਲਚਕੀਲਾ ਹੁੰਦਾ ਹੈ: ਜੇਕਰ ਇੱਕ ਡੇਟਾ ਸੈਂਟਰ ਵਿੱਚ ਕੋਈ ਸਮੱਸਿਆ ਹੈ, ਤਾਂ ਟ੍ਰੈਫਿਕ ਨੂੰ ਦੂਜਿਆਂ ਰਾਹੀਂ ਰੂਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ; ਕੌਂਫਿਗਰੇਸ਼ਨ ਤਬਦੀਲੀਆਂ ਨੂੰ ਧਿਆਨ ਨਾਲ ਰੋਲ ਆਊਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ; ਵਿਅਕਤੀਗਤ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਸੀਮਤ ਤਰੀਕਿਆਂ ਨਾਲ ਅਸਫਲ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।

ਕੱਲ੍ਹ ਦਾ ਆਊਟੇਜ ਬਿਲਕੁਲ ਮਾੜਾ ਸੀ ਕਿਉਂਕਿ ਅਸਫਲਤਾ ਆਮ ਪ੍ਰੌਕਸੀ ਮਾਰਗ ਦੇ ਅੰਦਰ ਸੀ, ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਕੌਂਫਿਗਰੇਸ਼ਨ ਫਾਈਲ ਨਾਲ ਜੋੜਿਆ ਗਿਆ ਸੀ ਜੋ ਦੁਨੀਆ ਭਰ ਵਿੱਚ ਅਕਸਰ ਅਤੇ ਆਪਣੇ ਆਪ ਧੱਕਿਆ ਜਾਂਦਾ ਹੈ।

ਮੂਲ ਕਾਰਨ: ਇੱਕ ਬੋਟ-ਪ੍ਰਬੰਧਨ ਵਿਸ਼ੇਸ਼ਤਾ ਫਾਈਲ ਠੱਗ ਹੋ ਗਈ
ਕਲਾਊਡਫਲੇਅਰ ਦੀ ਅਧਿਕਾਰਤ ਵਿਆਖਿਆ ਇੱਕ ਮੁੱਖ ਦੋਸ਼ੀ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੀ ਹੈ:

ਉਨ੍ਹਾਂ ਦੇ ਬੋਟ ਪ੍ਰਬੰਧਨ ਸਿਸਟਮ ਦੁਆਰਾ ਵਰਤੀ ਗਈ ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਸੰਰਚਨਾ ਫਾਈਲ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਇੱਥੇ ਸਾਦੀ ਭਾਸ਼ਾ ਵਿੱਚ ਘਟਨਾਵਾਂ ਦੀ ਲੜੀ ਹੈ:

ਬੋਟ ਪ੍ਰਬੰਧਨ ਇੱਕ "ਵਿਸ਼ੇਸ਼ਤਾ ਫਾਈਲ" ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ

ਕਲਾਉਡਫਲੇਅਰ ਦਾ ਬੋਟ-ਡਿਟੈਕਸ਼ਨ ਮਾਡਲ "ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ" ਦੇ ਇੱਕ ਸਮੂਹ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ - ਹਰੇਕ ਬੇਨਤੀ ਬਾਰੇ ਸਿਗਨਲ ਜੋ ਇਹ ਫੈਸਲਾ ਕਰਨ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ ਕਿ ਇਹ ਮਨੁੱਖੀ ਹੈ ਜਾਂ ਬੋਟ।

ਇਹ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਇੱਕ ਸੰਰਚਨਾ ਫਾਈਲ ਵਿੱਚ ਬੰਡਲ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ ਜੋ ਹਰ ਕੁਝ ਮਿੰਟਾਂ ਵਿੱਚ ਦੁਬਾਰਾ ਤਿਆਰ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ ਅਤੇ ਵਿਸ਼ਵ ਪੱਧਰ 'ਤੇ ਰੋਲ ਆਊਟ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਕਲਾਉਡਫਲੇਅਰ ਨਵੇਂ ਹਮਲੇ ਦੇ ਪੈਟਰਨਾਂ ਦੇ ਅਨੁਸਾਰ ਤੇਜ਼ੀ ਨਾਲ ਅਨੁਕੂਲ ਹੋ ਸਕਦਾ ਹੈ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਕਲਿੱਕਹਾਊਸ ਪੁੱਛਗਿੱਛ ਵਿਵਹਾਰ ਵਿੱਚ ਤਬਦੀਲੀ

ਵਿਸ਼ੇਸ਼ਤਾ ਫਾਈਲ ਇੱਕ ਕਲਿੱਕਹਾਊਸ ਡੇਟਾਬੇਸ ਦੇ ਵਿਰੁੱਧ ਪੁੱਛਗਿੱਛਾਂ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

ਕਲਿਉਡਫਲੇਅਰ ਨੇ ਵੰਡੀਆਂ ਗਈਆਂ ਪੁੱਛਗਿੱਛਾਂ ਲਈ ਸੁਰੱਖਿਆ ਅਤੇ ਅਨੁਮਤੀਆਂ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਲਗਭਗ 11:05 UTC ਵਿੱਚ ਇੱਕ ਬਦਲਾਅ ਕੀਤਾ - allo

ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਡਿਫਾਲਟ ਸਕੀਮਾ ਤੋਂ ਹੀ ਨਹੀਂ ਸਗੋਂ ਅੰਡਰਲਾਈੰਗ r0 ਟੇਬਲਾਂ ਤੋਂ ਵੀ ਮੈਟਾਡੇਟਾ ਦੇਖਣ ਲਈ ਵਿੰਗ ਕਰਦਾ ਹੈ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਵਿਸ਼ੇਸ਼ਤਾ ਸੂਚੀ ਬਣਾਉਣ ਵਾਲੀ ਪੁੱਛਗਿੱਛ ਡੇਟਾਬੇਸ ਨਾਮ ਦੁਆਰਾ ਫਿਲਟਰ ਨਹੀਂ ਕੀਤੀ ਗਈ; ਅਚਾਨਕ ਇਸਨੂੰ ਡਿਫਾਲਟ ਅਤੇ r0 ਦੋਵਾਂ ਤੋਂ ਡੁਪਲੀਕੇਟ ਕਾਲਮ ਮਿਲਣੇ ਸ਼ੁਰੂ ਹੋ ਗਏ, ਜਿਸ ਨਾਲ ਵਿਸ਼ੇਸ਼ਤਾ ਕਤਾਰਾਂ ਦੀ ਗਿਣਤੀ ਦੁੱਗਣੀ ਹੋ ਗਈ।

ਵਿਸ਼ੇਸ਼ਤਾ ਫਾਈਲ ਆਕਾਰ ਵਿੱਚ ਫਟ ਗਈ

ਬੋਟ ਪ੍ਰਬੰਧਨ ਮੋਡੀਊਲ ਦੀ ਇੱਕ ਸਖ਼ਤ ਸੀਮਾ ਹੈ ਕਿ ਇਹ ਕਿੰਨੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਸਵੀਕਾਰ ਕਰੇਗਾ (200 'ਤੇ ਸੈੱਟ ਕੀਤਾ ਗਿਆ ਹੈ, ਆਮ ਤੌਰ 'ਤੇ ਵਰਤੋਂ ਵਿੱਚ ਆਉਣ ਵਾਲੇ ~60 ਤੋਂ ਬਹੁਤ ਉੱਪਰ)।

ਜਦੋਂ ਨਵੀਂ ਤਿਆਰ ਕੀਤੀ ਗਈ ਫਾਈਲ ਉਸ ਸੀਮਾ ਨੂੰ ਪਾਰ ਕਰ ਗਈ, ਤਾਂ ਮੋਡੀਊਲ ਕੈਪ ਨੂੰ ਮਾਰਿਆ ਅਤੇ ਘਬਰਾ ਗਿਆ, ਰਸਟ ਕੋਡ ਵਿੱਚ ਇੱਕ ਅਣ-ਹੈਂਡਲ ਗਲਤੀ ਦੇ ਕਾਰਨ ਜਿਸਨੇ ਇੱਕ ਗਲਤੀ ਮੁੱਲ 'ਤੇ Result::unwrap() ਦੀ ਵਰਤੋਂ ਕੀਤੀ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਕੋਰ ਪ੍ਰੌਕਸੀ ਸੇਵਾਵਾਂ ਨੇ 5xx ਗਲਤੀਆਂ ਵਾਪਸ ਕਰਨੀਆਂ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤੀਆਂ

ਕਿਉਂਕਿ ਬੋਟ ਪ੍ਰਬੰਧਨ ਕੋਰ ਪ੍ਰੌਕਸੀ ਮਾਰਗ ਵਿੱਚ ਏਕੀਕ੍ਰਿਤ ਹੈ, ਘਬਰਾਹਟ ਉਸ ਮੋਡੀਊਲ 'ਤੇ ਨਿਰਭਰ ਕਿਸੇ ਵੀ ਟ੍ਰੈਫਿਕ ਲਈ HTTP 5xx ਜਵਾਬਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਸਾਹਮਣੇ ਆਈ।

ਨਵੇਂ FL2 ਇੰਜਣ 'ਤੇ, ਗਾਹਕਾਂ ਨੇ ਸਪੱਸ਼ਟ 5xx ਗਲਤੀਆਂ ਦੇਖੀਆਂ।

ਪੁਰਾਣੇ FL ਇੰਜਣ 'ਤੇ, ਬੋਟ ਸਕੋਰ ਚੁੱਪਚਾਪ ਜ਼ੀਰੋ 'ਤੇ ਚਲੇ ਗਏ, ਜੋ ਬੋਟ-ਬਲਾਕਿੰਗ ਨਿਯਮਾਂ ਵਿੱਚ ਗਲਤ ਸਕਾਰਾਤਮਕਤਾ ਦਾ ਕਾਰਨ ਬਣ ਸਕਦੇ ਹਨ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਸੱਚਮੁੱਚ ਹੀ ਬੁਰਾ ਹਿੱਸਾ: ਫਾਈਲ "ਚੰਗੇ" ਅਤੇ "ਮਾੜੇ" ਵਿਚਕਾਰ ਫਲਿਪ ਕਰਦੀ ਰਹੀ

ਕਲਿੱਕਹਾਊਸ ਕਲੱਸਟਰ ਨੂੰ ਹੌਲੀ-ਹੌਲੀ ਅੱਪਡੇਟ ਕੀਤਾ ਜਾ ਰਿਹਾ ਸੀ, ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ ਫਾਈਲ ਹਰ ਪੰਜ ਮਿੰਟਾਂ ਵਿੱਚ ਦੁਬਾਰਾ ਤਿਆਰ ਕੀਤੀ ਜਾਂਦੀ ਸੀ।

ਕਈ ਵਾਰ ਪੁੱਛਗਿੱਛ ਅੱਪਡੇਟ ਕੀਤੇ ਨੋਡਾਂ (ਇੱਕ ਮਾੜੀ ਫਾਈਲ ਪੈਦਾ ਕਰਨ) 'ਤੇ ਚੱਲਦੀ ਸੀ, ਕਈ ਵਾਰ ਗੈਰ-ਅੱਪਡੇਟ ਕੀਤੇ ਨੋਡਾਂ (ਇੱਕ ਚੰਗੀ ਫਾਈਲ ਪੈਦਾ ਕਰਨ) 'ਤੇ।

ਇਸਦਾ ਮਤਲਬ ਸੀ ਕਿ ਕੁਝ ਸਮੇਂ ਲਈ, ਕਲਾਉਡਫਲੇਅਰ ਦਾ ਨੈੱਟਵਰਕ ਆਮ ਕਾਰਵਾਈ ਅਤੇ ਅਸਫਲਤਾ ਦੇ ਵਿਚਕਾਰ ਘੁੰਮਦਾ ਰਿਹਾ ਕਿਉਂਕਿ ਫਾਈਲ ਦੇ ਵੱਖ-ਵੱਖ ਸੰਸਕਰਣਾਂ ਦਾ ਪ੍ਰਚਾਰ ਕੀਤਾ ਗਿਆ ਸੀ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਇਸ ਓਸਿਲੇਸ਼ਨ ਨੇ ਸਥਿਤੀ ਨੂੰ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਬਹੁਤ ਉਲਝਣ ਵਾਲਾ ਬਣਾ ਦਿੱਤਾ। ਪਹਿਲਾਂ, ਕਲਾਉਡਫਲੇਅਰ ਦੀਆਂ ਟੀਮਾਂ ਨੂੰ ਇੱਕ ਵੱਡੇ DDoS ਹਮਲੇ ਦਾ ਸ਼ੱਕ ਸੀ ਕਿਉਂਕਿ ਗਲਤੀ ਪੈਟਰਨ ਇੱਕ ਸਧਾਰਨ ਸਾਫਟਵੇਅਰ ਕਰੈਸ਼ ਵਰਗਾ ਨਹੀਂ ਲੱਗਦਾ ਸੀ। ਇੱਥੋਂ ਤੱਕ ਕਿ ਕਲਾਉਡਫਲੇਅਰ ਸਥਿਤੀ ਪੰਨੇ, ਜੋ ਕਿ ਉਹਨਾਂ ਦੇ ਆਪਣੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਤੋਂ ਬਾਹਰ ਹੋਸਟ ਕੀਤਾ ਗਿਆ ਹੈ, ਨੇ ਸੰਖੇਪ ਵਿੱਚ ਗਲਤੀਆਂ ਦਿਖਾਈਆਂ - ਇੱਕ ਇਤਫ਼ਾਕ ਜਿਸਨੇ ਬਾਹਰੀ ਹਮਲੇ ਦੇ ਸ਼ੱਕ ਨੂੰ ਹੋਰ ਵਧਾ ਦਿੱਤਾ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ+1

ਸਿਰਫ਼ ਇੱਕ ਵਾਰ ਜਦੋਂ ਉਨ੍ਹਾਂ ਨੂੰ ਅਹਿਸਾਸ ਹੋਇਆ ਕਿ ਆਮ ਕਾਰਕ ਬੋਟ ਵਿਸ਼ੇਸ਼ਤਾ ਫਾਈਲ ਸੀ, ਤਾਂ ਤਸਵੀਰ ਸਪੱਸ਼ਟ ਹੋ ਗਈ।

ਘਟਨਾ ਦੀ ਸਮਾਂ-ਰੇਖਾ
ਕਲਾਉਡਫਲੇਅਰ ਦੇ ਪੋਸਟਮਾਰਟਮ ਅਤੇ ਤੀਜੀ-ਧਿਰ ਦੀਆਂ ਰਿਪੋਰਟਾਂ ਦੇ ਆਧਾਰ 'ਤੇ, ਅਸੀਂ 18 ਨਵੰਬਰ, 2025 ਲਈ ਇੱਕ ਮੋਟਾ ਸਮਾਂ-ਰੇਖਾ ਇਕੱਠਾ ਕਰ ਸਕਦੇ ਹਾਂ: ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ+2ThousandEyes+2

11:05 UTC - ਇੱਕ ਡੇਟਾਬੇਸ ਪਹੁੰਚ ਨਿਯੰਤਰਣ ਤਬਦੀਲੀ ClickHouse ਵਿੱਚ ਤੈਨਾਤ ਕੀਤੀ ਗਈ ਹੈ।

11:20–11:30 UTC - ਬੋਟ ਪ੍ਰਬੰਧਨ ਵਿਸ਼ੇਸ਼ਤਾ ਫਾਈਲ ਦੇ ਮਾੜੇ ਸੰਸਕਰਣ ਤਿਆਰ ਅਤੇ ਪ੍ਰਸਾਰਿਤ ਕੀਤੇ ਜਾਣੇ ਸ਼ੁਰੂ ਹੋ ਜਾਂਦੇ ਹਨ।

11:28 UTC - ਪਹਿਲਾ ਗਾਹਕ ਪ੍ਰਭਾਵ: ਗਾਹਕ ਟ੍ਰੈਫਿਕ 'ਤੇ ਉੱਚੇ HTTP 5xx ਗਲਤੀਆਂ ਦਿਖਾਈ ਦਿੰਦੀਆਂ ਹਨ।

11:30–11:32 UTC - ਬਾਹਰੀ ਨਿਗਰਾਨੀ ਸਾਧਨ ਅਤੇ ਸਵੈਚਾਲਿਤ ਟੈਸਟ ਰੁਕ-ਰੁਕ ਕੇ ਅਸਫਲਤਾਵਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣਾ ਸ਼ੁਰੂ ਕਰਦੇ ਹਨ।

11:35 UTC - ਕਲਾਉਡਫਲੇਅਰ ਇੱਕ ਅੰਦਰੂਨੀ ਘਟਨਾ ਕਾਲ ਖੋਲ੍ਹਦਾ ਹੈ; ਜਾਂਚ ਸ਼ੁਰੂ ਹੁੰਦੀ ਹੈ।

~11:48 UTC – ਕਲਾਉਡਫਲੇਅਰ ਇੱਕ ਘਟਨਾ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਵਾਲਾ ਸਟੇਟਸ ਅੱਪਡੇਟ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ। ਦੁਬਾਰਾ ਭੇਜੋ

11:30–13:05 UTC – ਟੀਮਾਂ ਵਰਕਰਜ਼ ਕੇਵੀ ਵਿਵਹਾਰ ਵਿੱਚ ਗਿਰਾਵਟ ਦਿਖਾਈ ਦੇਣ ਵਾਲੇ ਕੰਮਾਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦੀਆਂ ਹਨ ਅਤੇ ਕਈ ਸੰਭਾਵਿਤ ਕਾਰਨਾਂ (ਹਮਲੇ ਦੇ ਦ੍ਰਿਸ਼ਾਂ ਸਮੇਤ) ਦੀ ਜਾਂਚ ਕਰਦੀਆਂ ਹਨ।

13:05 UTC – ਮੁੱਖ ਕਮੀ: ਵਰਕਰਜ਼ ਕੇਵੀ ਅਤੇ ਕਲਾਉਡਫਲੇਅਰ ਪਹੁੰਚ ਨੂੰ ਕੋਰ ਪ੍ਰੌਕਸੀ ਨੂੰ ਬਾਈਪਾਸ ਕਰਨ ਲਈ ਸ਼ਿਫਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ; ਪ੍ਰਭਾਵ ਘੱਟ ਜਾਂਦਾ ਹੈ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

14:30 UTC – ਮੂਲ ਕਾਰਨ ਦੀ ਪਛਾਣ ਕੀਤੀ ਜਾਂਦੀ ਹੈ; ਮਾੜੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾ ਫਾਈਲਾਂ ਦਾ ਉਤਪਾਦਨ ਅਤੇ ਪ੍ਰਸਾਰ ਰੋਕਿਆ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਜਾਣੀ-ਪਛਾਣੀ ਸੰਰਚਨਾ ਫਾਈਲ ਹੱਥੀਂ ਪਾਈ ਜਾਂਦੀ ਹੈ ਅਤੇ ਕੋਰ ਪ੍ਰੌਕਸੀ ਮੁੜ ਚਾਲੂ ਹੋ ਜਾਂਦੀ ਹੈ। ਜ਼ਿਆਦਾਤਰ ਕੋਰ ਟ੍ਰੈਫਿਕ ਆਮ ਵਾਂਗ ਵਾਪਸ ਆ ਜਾਂਦਾ ਹੈ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

14:40–15:30 UTC – ਡੈਸ਼ਬੋਰਡ ਅਤੇ ਲੌਗਇਨ ਮੁੱਦੇ ਟਰਨਸਟਾਇਲ ਅਤੇ ਪ੍ਰਮਾਣੀਕਰਨ ਕੋਸ਼ਿਸ਼ਾਂ ਦੇ ਬੈਕਲਾਗ ਦੇ ਰੂਪ ਵਿੱਚ ਬਣੇ ਰਹਿੰਦੇ ਹਨ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

17:06 UTC – ਗਲਤੀ ਦਰਾਂ ਬੇਸਲਾਈਨ 'ਤੇ ਵਾਪਸ ਆਉਂਦੀਆਂ ਹਨ; ਕਲਾਉਡਫਲੇਅਰ ਸਿਸਟਮਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਆਮ ਘੋਸ਼ਿਤ ਕਰਦਾ ਹੈ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਇੱਕ ਉਪਭੋਗਤਾ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਦੇਰ ਸਵੇਰ ਤੋਂ ਦੁਪਹਿਰ ਤੱਕ UTC ਵਿੱਚ ਆਊਟੇਜ ਸਭ ਤੋਂ ਵੱਧ ਮਹਿਸੂਸ ਹੋਇਆ, ਹਾਲਾਂਕਿ ਸਹੀ ਪ੍ਰਭਾਵ ਵਿੰਡੋਜ਼ ਖੇਤਰ ਅਤੇ ਹਰੇਕ ਸੇਵਾ ਦੇ ਨਿਰਭਰ ਕਲਾਉਡਫਲੇਅਰ ਉਤਪਾਦਾਂ ਦੇ ਅਨੁਸਾਰ ਵੱਖ-ਵੱਖ ਸਨ।

ਇਹ ਆਊਟੇਜ ਇੰਨਾ ਮਾਇਨੇ ਕਿਉਂ ਰੱਖਦਾ ਹੈ
ਕੇਂਦਰੀਕਰਨ ਜੋਖਮ
ਕਲਾਊਡਫਲੇਅਰ ਮੁੱਖ ਕਲਾਉਡ ਪਲੇਟਫਾਰਮਾਂ (AWS, Azure, GCP) ਅਤੇ ਹੋਰ ਵੱਡੇ CDN ਦੇ ਨਾਲ, ਕੇਂਦਰੀ ਇੰਟਰਨੈਟ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾਵਾਂ ਦੇ ਇੱਕ ਛੋਟੇ ਸਮੂਹ ਦਾ ਹਿੱਸਾ ਹੈ। ਜਦੋਂ ਇਹਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਖਿਡਾਰੀ ਅਸਫਲ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਪ੍ਰਭਾਵ ਵਿਆਪਕ ਹੁੰਦਾ ਹੈ ਅਤੇ ਅਕਸਰ ਗੈਰ-ਸਪੱਸ਼ਟ ਹੁੰਦਾ ਹੈ।

ਇਹ ਆਊਟੇਜ:

ਕਿਸੇ BGP ਰੂਟਿੰਗ ਦੁਰਘਟਨਾ ਜਾਂ ISP ਕੇਬਲ ਕੱਟ ਤੋਂ ਨਹੀਂ ਆਇਆ।

ਕਿਸੇ ਖਤਰਨਾਕ ਹਮਲੇ ਤੋਂ ਨਹੀਂ ਆਇਆ (ਸ਼ੁਰੂਆਤੀ ਸ਼ੱਕ ਦੇ ਬਾਵਜੂਦ)।

ਇੱਕ ਸਿੰਗਲ ਕੌਂਫਿਗਰੇਸ਼ਨ ਤੋਂ ਆਇਆ ਹੈ ਅਤੇ ਇੱਕ ਅੰਦਰੂਨੀ ਹਿੱਸੇ ਵਿੱਚ ਬੱਗ ਨੂੰ ਸੀਮਿਤ ਕਰਦਾ ਹੈ।

ਇਹ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਕਿਵੇਂ ਗੁੰਝਲਦਾਰ, ਕੱਸ ਕੇ-ਜੋੜੇ ਸਿਸਟਮ ਬਾਹਰੀ ਦਖਲਅੰਦਾਜ਼ੀ ਤੋਂ ਬਿਨਾਂ ਵੀ ਵਿਨਾਸ਼ਕਾਰੀ ਤੌਰ 'ਤੇ ਅਸਫਲ ਹੋ ਸਕਦੇ ਹਨ। ਜਦੋਂ ਬਹੁਤ ਸਾਰੀਆਂ ਸੰਸਥਾਵਾਂ ਇੱਕੋ ਪ੍ਰਦਾਤਾ 'ਤੇ ਬਣਦੀਆਂ ਹਨ, ਤਾਂ ਉਹ ਪ੍ਰਦਾਤਾ ਇੰਟਰਨੈਟ ਦਾ ਇੱਕ ਡੀ-ਫੈਕਟੋ ਸਿਸਟਮਿਕ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਹਿੱਸਾ ਬਣ ਜਾਂਦਾ ਹੈ।

"ਨਰਮ" ਨਿਰਭਰਤਾਵਾਂ ਨੂੰ ਵੀ ਨੁਕਸਾਨ ਪਹੁੰਚਾਉਂਦਾ ਹੈ
ਕੁਝ ਪ੍ਰਭਾਵਿਤ ਸੇਵਾਵਾਂ ਸਿਰਫ਼ ਕਲਾਉਡਫਲੇਅਰ ਨੂੰ ਇੱਕ ਮੂਰਖ CDN ਵਜੋਂ ਨਹੀਂ ਵਰਤ ਰਹੀਆਂ ਸਨ। ਉਹ ਸਨ:

ਪ੍ਰਮਾਣਿਕਤਾ ਅਤੇ ਜ਼ੀਰੋ-ਟਰੱਸਟ ਐਕਸੈਸ ਲਈ ਕਲਾਉਡਫਲੇਅਰ ਐਕਸੈਸ ਦੀ ਵਰਤੋਂ ਕਰਨਾ।

ਅੰਦਰੂਨੀ ਨਿਯੰਤਰਣ ਪਲੇਨਾਂ ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਵਰਕਰਜ਼ ਕੇਵੀ ਦੀ ਵਰਤੋਂ ਕਰਨਾ।

ਬੋਟ-ਰੋਧਕ ਲੌਗਇਨ ਲਈ ਟਰਨਸਟਾਇਲ 'ਤੇ ਨਿਰਭਰ ਕਰਨਾ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ+1

ਜਦੋਂ ਉਹ ਉਤਪਾਦ ਅਸਫਲ ਹੋਏ, ਤਾਂ ਇਹ ਸਿਰਫ਼ ਵੈੱਬਸਾਈਟ ਸਮੱਗਰੀ ਨਹੀਂ ਸੀ ਜੋ ਹੇਠਾਂ ਗਈ - ਲੌਗਇਨ, ਐਡਮਿਨ ਫੰਕਸ਼ਨ, ਅਤੇ ਅੰਦਰੂਨੀ API ਵੀ ਟੁੱਟ ਗਏ। ਇਹ ਰਿਕਵਰੀ ਨੂੰ ਹੋਰ ਗੁੰਝਲਦਾਰ ਬਣਾਉਂਦਾ ਹੈ: ਤੁਹਾਡਾ ਸਥਿਤੀ ਪੰਨਾ,

ਘਟਨਾ ਟੂਲਿੰਗ, ਜਾਂ ਐਡਮਿਨ UI ਵੀ ਉਸੇ ਪ੍ਰਦਾਤਾ 'ਤੇ ਨਿਰਭਰ ਕਰ ਸਕਦਾ ਹੈ ਜੋ ਹੁਣੇ ਅਸਫਲ ਹੋਇਆ ਹੈ।

ਕਲਾਉਡਫਲੇਅਰ ਕੀ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਬਦਲ ਜਾਵੇਗਾ
ਕਲਾਉਡਫਲੇਅਰ ਦਾ ਬਲੌਗ ਕਈ ਉਪਚਾਰਕ ਕਦਮਾਂ ਦੀ ਰੂਪਰੇਖਾ ਦਿੰਦਾ ਹੈ ਜੋ ਕੰਪਨੀ ਪਹਿਲਾਂ ਹੀ ਕਿਸੇ ਵੀ ਸਮਾਨ ਆਵਰਤੀ ਦੇ ਜੋਖਮ ਨੂੰ ਘਟਾਉਣ ਲਈ ਲੈ ਰਹੀ ਹੈ: ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਆਟੋ-ਜਨਰੇਟਡ ਕੌਂਫਿਗਰੇਸ਼ਨ ਫਾਈਲਾਂ ਦਾ ਸਖ਼ਤ ਗ੍ਰਹਿਣ
ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਤਿਆਰ ਕੀਤੇ ਗਏ ਕੌਂਫਿਗਸ ਨੂੰ ਉਪਭੋਗਤਾ ਦੁਆਰਾ ਸਪਲਾਈ ਕੀਤੇ ਇਨਪੁਟ ਵਾਂਗ ਹੀ ਸ਼ੱਕ ਅਤੇ ਪ੍ਰਮਾਣਿਕਤਾ ਨਾਲ ਇਲਾਜ ਕਰੋ, ਜਿਸ ਵਿੱਚ ਰੋਲਆਉਟ ਤੋਂ ਪਹਿਲਾਂ ਸਖਤ ਸਕੀਮਾ ਅਤੇ ਆਕਾਰ ਦੀ ਜਾਂਚ ਸ਼ਾਮਲ ਹੈ।

ਹੋਰ ਗਲੋਬਲ ਕਿਲ ਸਵਿੱਚ
ਨੈੱਟਵਰਕ ਵਿੱਚ ਸਮੱਸਿਆ ਵਾਲੇ ਅੰਦਰੂਨੀ ਮੋਡੀਊਲ (ਜਿਵੇਂ ਕਿ ਬੋਟ ਪ੍ਰਬੰਧਨ) ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਅਯੋਗ ਕਰਨਾ ਆਸਾਨ ਬਣਾਓ, ਤਾਂ ਜੋ ਉਹ ਪੂਰੇ ਪ੍ਰੌਕਸੀ ਮਾਰਗ ਨੂੰ ਘਬਰਾਉਣ ਦੀ ਬਜਾਏ ਖੁੱਲ੍ਹਣ ਵਿੱਚ ਅਸਫਲ ਹੋ ਜਾਣ।

ਗਲਤੀ ਦੇ ਤੂਫਾਨਾਂ ਤੋਂ ਸਿਸਟਮ ਸਰੋਤਾਂ ਦੀ ਰੱਖਿਆ ਕਰੋ
ਇਹ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਕੋਰ ਡੰਪ, ਡੀਬੱਗ ਮੈਟਾਡੇਟਾ, ਅਤੇ ਨਿਰੀਖਣਯੋਗਤਾ ਟੂਲਿੰਗ CPU ਅਤੇ ਮੈਮੋਰੀ ਨੂੰ ਹਾਵੀ ਨਾ ਕਰ ਸਕਣ ਜਦੋਂ ਗਲਤੀਆਂ ਵਧਣੀਆਂ ਸ਼ੁਰੂ ਹੋ ਜਾਣ।

ਕੋਰ ਪ੍ਰੌਕਸੀ ਮੋਡੀਊਲਾਂ ਵਿੱਚ ਅਸਫਲਤਾ ਮੋਡਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰੋ
ਪ੍ਰਤੀ-ਨਿਰਧਾਰਤ ਤੌਰ 'ਤੇ ਆਡਿਟ ਕਰੋ ਕਿ ਹਰੇਕ ਅੰਦਰੂਨੀ ਮੋਡੀਊਲ ਅਚਾਨਕ ਇਨਪੁਟ ਜਾਂ ਕੌਂਫਿਗਰੇਸ਼ਨ ਦੇ ਅਧੀਨ ਕਿਵੇਂ ਵਿਵਹਾਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਗਲੋਬਲ ਅਸਫਲਤਾ ਦੀ ਬਜਾਏ ਸੁੰਦਰ ਗਿਰਾਵਟ ਨੂੰ ਯਕੀਨੀ ਬਣਾਓ।

ਰੋਲਆਉਟ ਅਤੇ ਆਈਸੋਲੇਸ਼ਨ ਨੂੰ ਸੋਧੋ
ਹਾਲਾਂਕਿ ਇਸ ਨੂੰ ਬਹੁਤ ਵਿਸਥਾਰ ਵਿੱਚ ਨਹੀਂ ਦੱਸਿਆ ਗਿਆ ਹੈ, ਇਹ ਘਟਨਾ ਸੁਝਾਅ ਦਿੰਦੀ ਹੈ ਕਿ ਕਲਾਉਡਫਲੇਅਰ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਨਵੇਂ ਕੌਂਫਿਗ ਅਤੇ ਡੀਬੀ ਵਿਵਹਾਰਾਂ ਦੇ ਪ੍ਰਸਾਰ ਨੂੰ ਹੋਰ ਵੀ ਵੰਡ ਦੇਵੇਗਾ, ਤਾਂ ਜੋ ਇੱਕ ਵੀ ਮਾੜਾ ਬਦਲਾਅ ਪੂਰੇ ਫਲੀਟ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਨ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਘਟਾਇਆ ਜਾ ਸਕੇ।

ਉਨ੍ਹਾਂ ਨੇ ਇਸ ਘਟਨਾ ਨੂੰ ਆਪਣੀਆਂ ਲਚਕੀਲੇਪਨ ਦੀਆਂ ਉਮੀਦਾਂ ਦੀ ਪੂਰੀ ਅਸਫਲਤਾ ਵਜੋਂ ਵੀ ਦਰਸਾਇਆ, ਇਸਨੂੰ "ਅਸਵੀਕਾਰਨਯੋਗ" ਕਿਹਾ ਅਤੇ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਉਸ ਦਰਦ ਨੂੰ ਸਵੀਕਾਰ ਕੀਤਾ ਜੋ ਇਸ ਨਾਲ ਗਾਹਕਾਂ ਅਤੇ ਆਮ ਇੰਟਰਨੈਟ ਉਪਭੋਗਤਾਵਾਂ ਦੋਵਾਂ ਨੂੰ ਹੋਇਆ ਸੀ। ਕਲਾਉਡਫਲੇਅਰ ਬਲੌਗ

ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਅਤੇ SRE ਟੀਮਾਂ ਲਈ ਸਬਕ
ਭਾਵੇਂ ਤੁਸੀਂ ਕਲਾਉਡਫਲੇਅਰ ਜਿੰਨਾ ਵੱਡਾ ਕੁਝ ਨਹੀਂ ਚਲਾ ਰਹੇ ਹੋ, ਇਸ ਆਊਟੇਜ ਵਿੱਚ ਕੁਝ ਬਹੁਤ ਹੀ ਵਿਹਾਰਕ ਡਿਜ਼ਾਈਨ ਅਤੇ ਸੰਚਾਲਨ ਸਬਕ ਹਨ:

ਅੰਦਰੂਨੀ ਸੰਰਚਨਾ ਨੂੰ ਅਵਿਸ਼ਵਾਸਯੋਗ ਇਨਪੁਟ ਵਾਂਗ ਵਰਤੋ
ਇਹ ਮੰਨਣਾ ਆਸਾਨ ਹੈ ਕਿ "ਸਾਡੀ ਆਪਣੀ" ਤਿਆਰ ਕੀਤੀ ਸੰਰਚਨਾ ਹਮੇਸ਼ਾ ਸਹੀ ਹੁੰਦੀ ਹੈ। ਕੱਲ੍ਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਇਹ ਖ਼ਤਰਨਾਕ ਕਿਉਂ ਹੈ:

ਸੰਰਚਨਾ ਫਾਈਲਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਹਮੇਸ਼ਾਂ ਆਕਾਰ, ਆਕਾਰ ਅਤੇ ਸੀਮਾਵਾਂ ਨੂੰ ਪ੍ਰਮਾਣਿਤ ਕਰੋ।

ਕੈਨਰੀ ਐਪਲੀਕੇਸ਼ਨ ਨੂੰ ਪਹਿਲਾਂ ਟ੍ਰੈਫਿਕ ਜਾਂ ਨੋਡਾਂ ਦੇ ਇੱਕ ਛੋਟੇ ਸਬਸੈੱਟ 'ਤੇ ਵਿਚਾਰ ਕਰੋ, ਵਿਸੰਗਤੀਆਂ 'ਤੇ ਸਵੈਚਲਿਤ ਰੋਲਬੈਕ ਦੇ ਨਾਲ।

ਵਿਸ਼ੇਸ਼ਤਾ ਗਿਣਤੀ, ਮੈਮੋਰੀ ਪ੍ਰੀ-ਐਲੋਕੇਸ਼ਨ, ਅਤੇ CPU ਵਰਤੋਂ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਸਖ਼ਤ ਉਪਰਲੀਆਂ ਸੀਮਾਵਾਂ ਅਤੇ ਸਰਕਟ ਬ੍ਰੇਕਰ ਰੱਖੋ।

ਸ਼ਾਨਦਾਰ ਅੰਸ਼ਕ ਅਸਫਲਤਾ ਲਈ ਡਿਜ਼ਾਈਨ
ਬੋਟ ਪ੍ਰਬੰਧਨ ਮੋਡੀਊਲ ਵਿੱਚ ਇੱਕ ਬੱਗ ਪੂਰੇ ਪ੍ਰੌਕਸੀ ਮਾਰਗ ਨੂੰ ਘਬਰਾਉਣ ਦੇ ਯੋਗ ਨਹੀਂ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ:

ਜਦੋਂ ਵਿਕਲਪ ਪੂਰੀ ਤਰ੍ਹਾਂ ਆਊਟੇਜ ਹੁੰਦਾ ਹੈ ਤਾਂ ਸੁਰੱਖਿਆ ਦੀਆਂ ਕੁਝ ਪਰਤਾਂ ਵਿੱਚ ਡਿਫੌਲਟ ਫੇਲ-ਓਪਨ ਬਨਾਮ ਫੇਲ-ਕਲੋਜ਼ਡ।

ਗੈਰ-ਕੋਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਲਈ ਸਪੱਸ਼ਟ, ਟੈਸਟ ਕੀਤੇ ਕਿਲ ਸਵਿੱਚ ਬਣਾਓ।

ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਨਾਜ਼ੁਕ ਉਪ-ਸਿਸਟਮ (ਪ੍ਰਮਾਣਿਕਤਾ, ਸਥਿਤੀ ਪੰਨਾ, ਘਟਨਾ ਟੂਲਿੰਗ) ਡੀਗ੍ਰੇਡਡ ਮੋਡ ਵਿੱਚ ਜਾਂ ਵਿਕਲਪਿਕ ਰੂਟਾਂ ਰਾਹੀਂ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ।

ਸਹੀ ਸਿਗਨਲਾਂ ਦਾ ਧਿਆਨ ਰੱਖੋ
"ਚੰਗੀ ਸੰਰਚਨਾ" ਅਤੇ "ਮਾੜੀ ਸੰਰਚਨਾ" ਵਿਚਕਾਰ ਹਰ ਪੰਜ ਮਿੰਟ ਵਿੱਚ ਓਸਿਲੇਸ਼ਨ ਨੇ ਸਿਗਨਲ ਨੂੰ ਹਮਲੇ ਦੇ ਟ੍ਰੈਫਿਕ ਜਾਂ ਸ਼ੋਰ ਵਾਲੇ ਬਾਹਰੀ ਵਿਵਹਾਰ ਵਰਗਾ ਬਣਾਇਆ:

ਇਹ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਤੁਹਾਡੇ ਨਿਰੀਖਣਯੋਗਤਾ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਪ੍ਰਤੀ-ਵਰਜਨ ਜਾਂ ਪ੍ਰਤੀ-ਸੰਰਚਨਾ ਸਬੰਧ ਹੈ।

ਡੈਸ਼ਬੋਰਡ ਬਣਾਓ ਜੋ ਗਲਤੀ ਗ੍ਰਾਫਾਂ ਦੇ ਸਿਖਰ 'ਤੇ ਸੰਰਚਨਾ ਤਬਦੀਲੀਆਂ ਨੂੰ ਦ੍ਰਿਸ਼ਟੀਗਤ ਤੌਰ 'ਤੇ ਸਪੱਸ਼ਟ ਬਣਾਉਂਦੇ ਹਨ।

ਇੱਕ ਬਾਹਰੀ ਵੈਂਟੇਜ ਬਿੰਦੂ ਤੋਂ ਮਜ਼ਬੂਤ ​​ਸਿੰਥੈਟਿਕ ਟੈਸਟ ਸ਼ਾਮਲ ਕਰੋ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਨੈੱਟਵਰਕ/ਪਾਥ ਮੁੱਦਿਆਂ ਤੋਂ ਅੰਦਰੂਨੀ ਅਸਫਲਤਾ ਨੂੰ ਜਲਦੀ ਵੱਖ ਕਰ ਸਕੋ।

ਆਪਣੇ ਸਾਰੇ ਅੰਡੇ ਇੱਕ ਇਨਫਰਾ ਟੋਕਰੀ ਵਿੱਚ ਨਾ ਪਾਓ
Cloudflare ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੀਆਂ ਸੰਸਥਾਵਾਂ ਲਈ:

ਸੱਚਮੁੱਚ ਮਿਸ਼ਨ-ਨਾਜ਼ੁਕ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਲਈ ਮਲਟੀ-CDN ਸੈੱਟਅੱਪਾਂ 'ਤੇ ਵਿਚਾਰ ਕਰੋ।

ਆਪਣੇ ਸਟੇਟਸ ਪੇਜ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਉਸੇ ਪ੍ਰਦਾਤਾ 'ਤੇ ਨਿਰਭਰ ਕਰਨ ਤੋਂ ਬਚੋ ਜਿਸ 'ਤੇ ਤੁਹਾਡਾ ਪ੍ਰਾਇਮਰੀ ਸਟੈਕ ਹੈ (Cloudflare ਅਜਿਹਾ ਕਰਦਾ ਹੈ, ਪਰ ਕੱਲ੍ਹ ਉਨ੍ਹਾਂ ਦੇ ਸਟੇਟਸ ਪੇਜ ਹੋਸਟ ਨਾਲ ਇੱਕ ਇਤਫ਼ਾਕੀਆ ਸਮੱਸਿਆ ਸੀ ਜਿਸਨੇ ਚੀਜ਼ਾਂ ਨੂੰ ਹੋਰ ਉਲਝਾ ਦਿੱਤਾ)। Cloudflare Blog+1

ਆਪਣੇ ਪ੍ਰਮਾਣੀਕਰਨ, API ਕੰਟਰੋਲ ਪਲੇਨਾਂ, ਅਤੇ ਫਰੰਟਐਂਡ ਡਿਲੀਵਰੀ ਨੂੰ ਉਸੇ ਵਿਕਰੇਤਾ ਨੂੰ ਫਾਲਬੈਕ ਮਾਰਗਾਂ ਤੋਂ ਬਿਨਾਂ ਜੋੜਨ ਤੋਂ ਪਹਿਲਾਂ ਦੋ ਵਾਰ ਸੋਚੋ।

ਵੱਡੀ ਤਸਵੀਰ
ਪਿਛਲੇ ਕੁਝ ਮਹੀਨਿਆਂ ਵਿੱਚ ਹੀ, ਅਸੀਂ Microsoft Azure, Amazon Web Services, ਅਤੇ ਹੁਣ Cloudflare ਵਿੱਚ ਵੱਡੇ ਆਊਟੇਜ ਦੇਖੇ ਹਨ, ਜਿਨ੍ਹਾਂ ਸਾਰਿਆਂ ਨੇ ਅਸਥਾਈ ਤੌਰ 'ਤੇ ਖਪਤਕਾਰਾਂ ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਸੇਵਾਵਾਂ ਦੇ ਵੱਡੇ ਹਿੱਸੇ ਨੂੰ ਔਫਲਾਈਨ ਕਰ ਦਿੱਤਾ ਹੈ। AP News+2The Washington Post+2

ਪੈਟਰਨ ਸਪੱਸ਼ਟ ਹੈ:

ਇੰਟਰਨੈੱਟ ਮੁੱਠੀ ਭਰ ਵਿਸ਼ਾਲ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਤਾਵਾਂ 'ਤੇ ਵੱਧ ਤੋਂ ਵੱਧ ਨਿਰਭਰ ਹੋ ਰਿਹਾ ਹੈ।

ਆਊਟੇਜ ਅਕਸਰ ਸਵੈ-ਪ੍ਰਭਾਵਿਤ ਹੁੰਦੇ ਹਨ, ਬਾਹਰੀ ਹਮਲਿਆਂ ਦੀ ਬਜਾਏ ਗੁੰਝਲਦਾਰ ਅੰਦਰੂਨੀ ਤਬਦੀਲੀਆਂ ਤੋਂ ਆਉਂਦੇ ਹਨ।

ਵਿਸ਼ਵ-ਪੱਧਰੀ SRE ਅਭਿਆਸਾਂ ਵਾਲੇ ਪ੍ਰਦਾਤਾ ਵੀ ਅਜੇ ਵੀ ਸੰਰਚਨਾ, ਡੇਟਾਬੇਸ ਵਿਵਹਾਰ, ਅਤੇ ਹਾਰਡ-ਕੋਡਿਡ ਸੀਮਾਵਾਂ ਵਿਚਕਾਰ ਅਚਾਨਕ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਦੁਆਰਾ ਫਸ ਸਕਦੇ ਹਨ।

ਕੱਲ੍ਹ ਦੀ ਕਲਾਉਡਫਲੇਅਰ ਘਟਨਾ ਇੱਕ ਸਪੱਸ਼ਟ ਯਾਦ ਦਿਵਾਉਂਦੀ ਹੈ ਕਿ "ਕਲਾਊਡ" ਜਾਦੂ ਨਹੀਂ ਹੈ। ਹੇਠਾਂ, ਇਹ ਅਜੇ ਵੀ ਮਨੁੱਖਾਂ ਦੁਆਰਾ ਲਿਖਿਆ ਗਿਆ ਸਾਫਟਵੇਅਰ ਹੈ, ਜੋ ਕਿ ਕਿਸੇ ਵੀ ਹੋਰ ਐਪਲੀਕੇਸ਼ਨ ਵਾਂਗ ਬੱਗਾਂ ਦੀਆਂ ਉਹੀ ਸ਼੍ਰੇਣੀਆਂ ਦੇ ਅਧੀਨ ਹੈ - ਬਸ ਇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਨ ਵਾਲੇ ਲੋਕਾਂ ਦੀ ਵਿਸ਼ਾਲਤਾ ਦੇ ਆਦੇਸ਼ਾਂ ਦੇ ਨਾਲ।

ਉਪਭੋਗਤਾਵਾਂ ਲਈ, ਘਟਨਾ ਨੂੰ ਜ਼ਿਆਦਾਤਰ "ਉਸ ਸਵੇਰ" ਵਜੋਂ ਯਾਦ ਰੱਖਿਆ ਜਾਵੇਗਾ ਜਦੋਂ X ਅਤੇ ChatGPT ਲੋਡ ਨਹੀਂ ਹੋਣਗੇ।"

ਇੰਜੀਨੀਅਰਾਂ ਲਈ, ਇਸਦਾ ਅਧਿਐਨ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਇੱਕ ਪਾਠ ਪੁਸਤਕ ਉਦਾਹਰਣ ਵਜੋਂ ਕੀਤਾ ਜਾਵੇਗਾ ਕਿ ਇੱਕ ਕੋਰ ਵੰਡੇ ਸਿਸਟਮ ਵਿੱਚ ਸੂਖਮ ਸੰਰਚਨਾ ਬੱਗ ਇੱਕ ਗਲੋਬਲ ਇੰਟਰਨੈਟ ਘਟਨਾ ਵਿੱਚ ਕਿਵੇਂ ਫੈਲ ਸਕਦੇ ਹਨ।