El diumenge 30 d’agost de 2020 un dels majors prove\u00efdors de connectivitat a nivell mundial (CenturyLink\/Level3) va experimentar una caiguda total de la seva xarxa de comunicacions. Aquesta caiguda va afectar tant a clients de CenturyLink\/Level3 com a altres serveis i prove\u00efdors a tot Internet.<\/p>\n\n\n\n
Mentre seguim esperant un informe per part de CenturyLink\/Level3 especificant l’origen de la caiguda, com es va actuar per posar-hi remei i que mesures s’estan prenent per evitar que torni a produir una situaci\u00f3 similar, volem fer-te arribar el nostre informe sobre com es va gestionar la incid\u00e8ncia des Clouding.io.<\/p>\n\n\n\n
Antecedents<\/strong><\/p>\n\n\n\n A Clouding.io treballem amb m\u00faltiples prove\u00efdors de connectivitat, per assegurar la major disponibilitat i velocitat d’acc\u00e9s als servidors allotjats a Clouding.io, des de qualsevol punt geogr\u00e0fic.<\/p>\n\n\n\n Afegim o retirem puntualment prove\u00efdors de la nostra “pool” de connectivitat en funci\u00f3 de la seva qualitat i fiabilitat.<\/p>\n\n\n\n CenturyLink\/Level3 va ser agregat fa aproximadament dos anys a la nostra plataforma, ja que entre altres coses aporta una connectivitat excel\u00b7lent cap a tots els clients de Movistar a Espanya.<\/p>\n\n\n\n Durant els \u00faltims dos anys -i fins aquesta \u00faltima incid\u00e8ncia- ha estat el millor prove\u00efdor de la nostra “pool” de connectivitat i el que en l’actualitat transporta m\u00e9s tr\u00e0nsit des de i cap a Clouding.io.<\/p>\n\n\n\n Incid\u00e8ncia 30 agost 2020<\/strong><\/p>\n\n\n\n A les 12:18 CEST -hora local d’Espanya- nostres sistemes de monitoritzaci\u00f3 van detectar els primers problemes de connectivitat. El nostre sistema de monitoritzaci\u00f3 funciona tant des Clouding.io cap a l’exterior -comprovant la connectivitat des de la nostra plataforma cap Internet- com des de l’exterior cap a Clouding.io.<\/p>\n\n\n\n El monitoratge extern de connectivitat de la plataforma, es realitza mitjan\u00e7ant un prove\u00efdor de monitoritzaci\u00f3, de manera que es monitoritza la connectivitat un cop per segon des de m\u00faltiples ubicacions geogr\u00e0fiques.<\/p>\n\n\n\n El sistema de monitoritzaci\u00f3 externa va comen\u00e7ar a reportar de problemes puntuals de connectivitat a les 00:18:31 PM CEST els quals es recuperaven al cap de 2 o 3 minuts.<\/p>\n\n\n\n Al rebre la primera alerta, un dels nostres t\u00e8cnics de gu\u00e0rdia va revisar el flux de tr\u00e0nsit als diferents prove\u00efdors, detectant que no s’estava enviant ni rebent tr\u00e0nsit a CenturyLink\/Level3 per\u00f2 que la sessi\u00f3 BGP fins a ell mateix seguia activa.<\/p>\n\n\n\n Aquest tipus de situacions no haurien de passar, ja que, en cas d’una error en un prove\u00efdor, el comportament esperant \u00e9s que la sessi\u00f3 BGP es desconnecti i el prove\u00efdor quedi desactivat autom\u00e0ticament.<\/p>\n\n\n\n La situaci\u00f3 que es va produir va ser el que se sol anomenar un “BGP Blackholing”, situaci\u00f3 en la qual un prove\u00efdor deixa de d’utilitzar tr\u00e0nsit correctament sense arribar a desconnectar la sessi\u00f3 BGP.<\/p>\n\n\n\n Davant d’aquestes situacions excepcionals, el nostre protocol d’actuaci\u00f3 \u00e9s molt senzill: Simplement desactivem manualment la sessi\u00f3 BGP amb el prove\u00efdor afectat i ens posem en contacte amb ells per saber que ha passat. Un cop el prove\u00efdor ens indica que la situaci\u00f3 ha estat solucionada, es programa una finestra per reactivar la connectivitat amb el mateix.<\/p>\n\n\n\n Per precauci\u00f3 la connectivitat se sol restablir en hores de baixa c\u00e0rrega, habitualment de matinada, per evitar problemes de connectivitat en el cas que el prove\u00efdor no hagi solucionat la incid\u00e8ncia correctament.<\/p>\n\n\n\n La “pool” de prove\u00efdors de connectivitat de Clouding.io aquesta dimensionada de manera que fins i tot amb un sol prove\u00efdor actiu, disposem d’ample de banda m\u00e9s que suficient perqu\u00e8 el rendiment del servei no vegi afectat gens ni mica.<\/p>\n\n\n\n Per qu\u00e8 ens es va solucionar la incid\u00e8ncia en aquest moment?<\/strong><\/p>\n\n\n\n B\u00e9, aix\u00f2 \u00e9s una cosa que ens seguim fins a cert punt preguntat. Estem esperant un informe detallat per part de CenturyLink\/Level3 , per\u00f2 des de l’equip de Clouding.io hem pogut recopilar for\u00e7a informaci\u00f3.<\/p>\n\n\n\n Segons la informaci\u00f3 que hem pogut demanar, CenturyLink\/Level3 va seguir anunciant les nostres IPs a la resta d’Internet, tot i que hav\u00edem tancat manualment la sessi\u00f3 BGP amb ells.<\/p>\n\n\n\n Aix\u00f2 \u00e9s una cosa que mai hauria de passar, ja que un prove\u00efdor nom\u00e9s hauria d’anunciar les nostres adreces a altres prove\u00efdors sempre que nosaltres les hi estiguem anunciant en aquest moment.<\/p>\n\n\n\n Al tancar manualment la sessi\u00f3 BGP de Clouding.io cap CenturyLink\/Level3, CenturyLink\/Level3 hauria d’haver deixat d’anunciar les adreces IP de Clouding.io a la resta d’Internet, de manera que el tr\u00e0nsit pass\u00e9s a ser redirigit a altres prove\u00efdors.<\/p>\n\n\n\n A l’\u00e9sser CenturyLink\/Level3 un prove\u00efdor Tier 1 \u00e9s a dir, uns dels prove\u00efdors de connectivitat m\u00e9s grans amb \u00e0mplia pres\u00e8ncia a nivell mundial-. I al seguir anunciant les nostres adreces IP a la resta d’Internet, part del tr\u00e0nsit d’entrada a Clouding.io no es va redirigir normalment cap als altres prove\u00efdors amb els quals treballem i es va seguir intentat enviar per la xarxa de CenturyLink\/Level3 la qual es trobava inoperativa.<\/p>\n\n\n\n Qu\u00e8 vam fer des Clouding.io per solucionar el problema?<\/strong><\/p>\n\n\n\n El primer pas va ser identificar l’origen de el problema, per al que vam haver de consultar a altres prove\u00efdors per veure que anuncis estaven rebent.<\/p>\n\n\n\n Paral\u00b7lelament vam obrir incid\u00e8ncies amb tots els nostres altres prove\u00efdors, per assegurar-nos que estaven al tant de la situaci\u00f3 i que ells prenguessin tamb\u00e9 mesures pal\u00b7liatives.<\/p>\n\n\n\n Un cop vam detectar que molts prove\u00efdors seguien rebent els anuncis d’adreces de CenturyLink\/Level3 vam comen\u00e7ar a realitzar canvis en la forma en qu\u00e8 vam anunciar les nostres adreces IP a la resta de prove\u00efdors.<\/p>\n\n\n\n El protocol BGP sol optar sempre per l’anunci m\u00e9s espec\u00edfic. \u00c9s a dir, si per exemple un anunci cont\u00e9 un grup de 2048 IPs i un altre un grup de 1024 IPs, donar\u00e0 prefer\u00e8ncia -excepte en alguns casos en qu\u00e8 el tr\u00e0nsit estigui for\u00e7at- a l’anunci m\u00e9s espec\u00edfic, \u00e9s a dir el de 1024 IPs.<\/p>\n\n\n\n Per tant, la primera mesura pal\u00b7liativa va ser canviar tots els nostres anuncis a anuncis m\u00e9s espec\u00edfics, per suplantar els anuncis que CenturyLink\/Level3 seguia fent. Aquest procediment \u00e9s una mica complex, ja que implica reconfigurar els nostres Edge Routers i en alguns casos s’ha de coordinar amb els diferents prove\u00efdors, ja que ells tamb\u00e9 han de realitzar canvis en els seus filtres d’anuncis.<\/p>\n\n\n\n Aquesta estrat\u00e8gia ens va permetre anar recuperant la connectivitat de la major part d’Internet, si b\u00e9 no va ser una soluci\u00f3 completa, ja que alguns prove\u00efdors de connectivitat externs a Clouding.io ens seguien intentant enviar el tr\u00e0nsit mitjan\u00e7ant CenturyLink\/Level3.<\/p>\n\n\n\n Quina va ser l’escala de temps exacta de la incid\u00e8ncia?<\/strong><\/p>\n\n\n\n \u00c9s bastant dif\u00edcil identificar l’escala de temps exacta, ja que aquesta incid\u00e8ncia afecte a multitud de prove\u00efdors i serveis d’Internet. Entre ells a sistema de monitoritzaci\u00f3 externa que fem servir, per\u00f2 segons la informaci\u00f3 que hem pogut recaptar l’escala aproximada va ser:<\/p>\n\n\n\n 12:18 CEST – Es detecta la primera incid\u00e8ncia.<\/p>\n\n\n\n 12:21 CEST – Desactivem la connectivitat amb CenturyLink\/Level3 manualment.<\/p>\n\n\n\n 12:45 CEST Aprox. – Comencem a publicar nous anuncis BGP recuperant progressivament major connectivitat.<\/p>\n\n\n\n Entre 12:30 i 14:30 – Diversos prove\u00efdors mundials desactiven manualment les seves sessions BGP amb CenturyLink\/Level3 per eliminar els anuncis falsos, proc\u00e9s que ens ajuda a recuperar encara m\u00e9s gran connectivitat.<\/p>\n\n\n\n 16:00 CEST Aprox – CenturyLink\/Level3 aconsegueix eliminar els anuncis “falsos” que estava realitzant i es recupera el 100% de connectivitat.<\/p>\n\n\n\n Conclusi\u00f3<\/strong><\/p>\n\n\n\n A causa de la naturalesa d’Internet -una gran xarxa conformada per altres xarxes interconectadas- sempre existiran factors que s’escaparan al nostre control. Si b\u00e9 la nostra filosofia sempre ha estat -i seguir\u00e0 sent- treballar amb els millors prove\u00efdors, per minimitzar el risc d’incid\u00e8ncies en el servei.<\/p>\n\n\n\n Aquesta ha estat una de les majors caigudes d’Internet a nivell mundial dels \u00faltims temps i malauradament no hi ha una forma senzilla d’automatitzar un sistema capa\u00e7 de reaccionar a aquest tipus de situacions.<\/p>\n\n\n\n En tot cas, considerem que una incid\u00e8ncia en el servei sempre ha de comportar millores, ja sigui en els nostres sistemes o en els nostres protocols d’actuaci\u00f3. Per tant, hem comen\u00e7at a treballar en una forma m\u00e9s r\u00e0pida i senzilla de canviar els anuncis de rangs IP que vam realitzar a Internet. D’aquesta manera en l’estrany cas que una situaci\u00f3 aix\u00ed es torni a produir, podrem reaccionar m\u00e9s r\u00e0pid i recuperar el major percentatge de el servei en un menor espai de temps.<\/p>\n\n\n\n Links Noticies relacionades<\/strong><\/p>\n\n\n\n https:\/\/blog.cloudflare.com\/analysis-of-todays-centurylink-level-3-outage\/<\/a><\/p>\n\n\n\n