El d=C3=ADa que se apag=C3=B3 Internet...

=F0=9F=91=BB La N= ewsletter de @weareDMNTRs =F0=9F=91=BB

3D""

Hay d=C3=ADas que es mejor no levantarse de la cama. Y no lo digo por fl= ojera, lo digo literalmente: hay d=C3=ADas en los que levantarse so= lo sirve para ver arder tu mundo mientras t=C3=BA no puedes hacer absolutam= ente nada para evitarlo.

El martes fue uno de esos d=C3=ADas.

Si no estabas en Internet, enhorabuena: viviste un d=C3=ADa precioso. Si= estabas en Internet, ya sabr=C3=A1s de qu=C3=A9 hablo. Cloudflare = hizo CRACK=E2=80=A6 pero CRACK con may=C3=BAsculas, negrita, subra= yado y efectos especiales. Llevamos una racha interesante: primero AWS, lue= go Azure, luego alg=C3=BAn proveedor que no voy a nombrar porque todav=C3= =ADa tengo clientes recuper=C3=A1ndose del susto. Y ahora Cloudflare.

Pero lo de Cloudflare no fue un estornudo.

Fue un vah=C3=ADdo, un mareo de esos que te hacen poner las manos en la = pared, deslizarte lentamente y acabar en el suelo con un buen chich=C3=B3n.= Que s=C3=AD, que luego te levantas, pero el golpe queda

=C2=A0

=C2=BFQu=C3=A9 pas=C3=B3 realmente?

Vamos con los hechos. Nada de conspiraciones, nada de rumores, nada de = =E2=80=9Ces que mi primo trabaja en Google y dice que=E2=80=A6=E2=80=9D

Cloudflare lo explic=C3=B3 en su post-mortem of= icial, y aqu=C3=AD va la versi=C3=B3n para humanos:

11:05=C2=A0 Se despliega un cambio en el sistema de base de= datos de Cloudflare que controla el sistema antibots.=C2=A0
11:28=C2=A0 Comienza el impacto, el post-mortem indica: =E2= =80=9Cdeployment reaches customer environments, first errors observed o= n customer HTTP traffic=E2=80=9D.=C2=A0
11:32-13:05=C2=A0 La investigaci=C3=B3n se centra en el ser= vicio Workers KV, se sospecha de ese componente y se toman medidas de mitig= aci=C3=B3n (restricciones de tr=C3=A1fico, limitaciones de cuentas).=C2=A0
13:05=C2=A0 Se implementa un bypass para Workers KV y Acces= s, reduciendo el impacto. Aunque se d= escubre que el problema est=C3=A1 en el fichero de reglas del sistema antib= ot, que ocupa el doble de lo normal.
13:37=C2=A0 Se inicia el trabajo de restaurar el archivo de= configuraci=C3=B3n de Bot Management (rollback a versi=C3=B3n conocida bue= na).=C2=A0
14:24=C2=A0 Se detiene la creaci=C3=B3n y propagaci=C3=B3n = del archivo de configuraci=C3=B3n err=C3=B3neo. Se confirma que la restaura= ci=C3=B3n funciona en pruebas.=C2=A0 =
14:30=C2=A0 Impacto principal resuelto: se despliega la con= fig correcta globalmente y la mayor=C3=ADa de servicios operan correctament= e.=C2=A0
17:06=C2=A0 Todos los servicios est=C3=A1n completamente re= staurados; final del incidente. O lo = que Cloudflare considera normalidad despu=C3=A9s de un martes como ese.

=C2=A0

=C2=BFC=C3=B3mo se vio esto desde nuestra red?

Pues=E2=80=A6 as=C3=AD, por ejemplo, en nuestro DE-CIX:

3D""

Esta gr=C3=A1fica es puro dolor visual. Un d=C3=ADa normal tenemos un fl= ujo m=C3=A1s o menos estable donde nos llegan peticiones desde Cloudflare d= e clientes que tienen activado el "modo proxy" en su web. Pero mira el mart= es: un valle raro, irregular, un hueco en el tr=C3=A1fico que parece un mor= disco.

De hecho, si te fijas bien, hasta el d=C3=ADa siguiente no hemos recuper= ado la normalidad, ya que algunos clientes decidieron desactivar el modo pr= oxy en cuanto Cloudflare estuvo disponible, "por seguridad", por tanto, ese= tr=C3=A1fico ya no nos llegaba de ellos.

Ahora mismo Internet sin Cloudflare no es Internet. Y e= so se nota.

Y ahora la parte menos divertida.

Un cliente me pas=C3=B3 esta gr=C3=A1fica de su ecommerce por ejemplo:

3D""

No hay mucha interpretaci=C3=B3n que hacer: el pico de ventas baja, revi= ve, se frena, se aplasta, y luego=E2=80=A6 milagrosamente=E2=80=A6 resucita= .=C2=A0

Internet estuvo muerto. Su ecommerce tambi=C3=A9n. =C2=A1Imagina que dur= a m=C3=A1s rato!

=C2=A0

Las lecciones aprendidas

Podr=C3=ADa decirte que aprendimos mil cosas t=C3=A9cnicas. Pero no. Apr= endimos tres, y muy claras:

El DNS segu=C3=ADa funcionando, el problema era el proxy. El bot=C3=B3n naranja.

El modo =E2=80=9Csolo DNS=E2=80=9D de= Cloudflare funcionaba perfecta y maravillosamente. La parte que se cay=C3= =B3 fue la capa m=C3=A1gica:

WAF

CDN

Edge rules

Encrypted client IPs

Workers

Access

Cualquier cosa que toque tr=C3=A1fico real.

Pero la tragedia vino aqu=C3=AD: N= O POD=C3=8DAMOS DESACTIVAR EL MODO PROXY, porque el panel de admin= istraci=C3=B3n de Cloudflare muri=C3=B3.

Y si no puedes desactivar el proxy=E2=80= =A6 no puedes salir del agujero.

Tener un backup de DNS fuera de Cloudflare NO nos salv=C3=B3.

La ten=C3=ADamos. La tenemos. Copiada, doc= umentada, replicada.

Podemos mover a mano un dominio a =E2=80=9C= modo supervivencia=E2=80=9D, cambiamos sus autoritativos y ya est=C3=A1.
El problema eran los dominios .es.=

Y aqu=C3=AD voy a decirlo como lo dije en = la oficina: el sistema de DNS de .es es una basura tercermundista, con 6 slots de tiempo prefijados. Nada de tiempo real como el rest= o del mundo mundial.

Espa=C3=B1a, digital=E2=80=A6 en el cuarto= mundo.

Si hubi=C3=A9ramos podido mover los domini= os .es r=C3=A1pido, muchos clientes habr=C3=ADan sufrido la mitad. Pero no.= Gracias Red.es por aportar vuestro granito de arena a otro martes inolvida= ble.

Cada vez dependemos m=C3=A1s de infraestructuras que no control= amos.

Esto ya lo dije en febre= ro, pero ahora duele m=C3=A1s.

Lo repito porque hay que repetirlo:

Cada vez m=C3=A1s dependemos de infraestructuras que no controlamos.
Cada vez m=C3=A1s decisiones que no tomamos afectan a miles de webs.
Cada vez hay menos rutas de escape.

Cloudflare es un producto incre=C3=ADble. = Es la primera recomendaci=C3=B3n que hago a cualquiera que venda algo onlin= e. Su WAF es top. Sus =E2=80=9Cmagias negras=E2=80=9D de performanc= e siguen sorprendi=C3=A9ndome cada semana.

Pero esto no es solo tecnolog=C3=ADa.

Esto es gobernanza. Esto es poder. Esto es= monopolio funcional. Esto es depender de un pu=C3=B1ado de empresa= s para que medio planeta pueda abrir sus webs.

Y cuando una de ellas estornuda, t=C3=BA c= oges la gripe. O peor, como este martes: te desmayas.

=C2=A0

Conclusi=C3=B3n

Internet es maravillosa, pero es fr=C3=A1gil. Fr=C3=A1gil como una telar= a=C3=B1a gigante tejida por cuatro ara=C3=B1as gigantes y mandonas.

Y si una falla, millones caen.

Quiz=C3=A1s la pregunta no es =E2=80=9C=C2=BFc=C3=B3mo evitamos la p= r=C3=B3xima ca=C3=ADda?=E2=80=9D.

Sino: =C2=BFc=C3=B3mo recuperamos nuestra capacidad para no depender= siempre del mismo gigante?

Porque, si algo nos ense=C3=B1=C3=B3 el martes, es que no puedes= delegar toda tu resiliencia en alguien que ni siquiera te deja apagar un b= otoncito naranja cuando todo se est=C3=A1 derrumbando.

=C2=A0

Feliz Domingo.

P.D.: Hace 2 a=C3=B1os me contactaron de red.es: https://x.com/weareDMNTRs/status/1613130587518431232. =C2=A1Y no han hecho nada de nada!

=F0=9F=94=97 Newsletter patrocinada por: = =F0=9F=94=97

=C2=A0

=C2=A0=C2=A0 Protecting what matters most=

=C2=A0

=F0=9F=94=8A Ll=C3=A1malo podcast... =F0=9F=94=8A

Todos aqu=C3=AD: https://go.ivoox.com/sq/2343562

T4 Episodio 5: Desvariando -> https://www.ivoox.com/t4-episodio-5-desvariand= o-audios-mp3_rf_162794791_1.html

T4 Episodio 6: Lo de Cloudflare -> https://www.ivoox.com/t4-episodio= -6-lo-cloudflare-audios-mp3_rf_162934740_1.html

T4 Episodio 7: Jueves con fr=C3=ADo -> https://www.ivoox.com/t4-episod= io-7-jueves-frio-audios-mp3_rf_162987209_1.html

=F0=9F=91=80 L= as paranoias de la semana =F0=9F=91=80

He pensado en recopilar las cosas que me van viniendo a la cabeza mientr= as paso los d=C3=ADas haciendo cosas...

---

Esta semana he tenido muchos momentos de e= sos. Momentos de pensar: =E2=80=9CT=C3=ADo, o montas el 24/7 de verdad = o te vas a reventar.=E2=80=9D

---

Spoiler: lo voy a montar. Porque crecer no= va de aguantar m=C3=A1s. Va de aguantar mejor.

---

Y porque quiero poder dormir una noche sin= pensar que si cierro los ojos=E2=80=A6 Internet se apaga.

---

Y fin...

Al final, lo m=C3=A1s jodido no es que Internet se apague un martes cual= quiera. Lo m=C3=A1s jodido es darte cuenta de que, aunque no sea culpa tuya= , aunque no haya nada que puedas hacer, tu cabeza sigue actuando co= mo si fueras el =C3=BAltimo responsable de mantener el mundo girando.

Pero crecer tambi=C3=A9n va de aceptar que no puedes estar en todas part= es, que no todo depende de ti y que, a veces, lo =C3=BAnico que te queda es= mirar la gr=C3=A1fica caer, respirar hondo y asumir que no eres un superh= =C3=A9roe, ni falta que hace.

Internet se cay=C3=B3. Y se volver=C3=A1 a caer.

Pero t=C3=BA y yo seguimos aqu=C3=AD, intentando construir sistemas un p= oco m=C3=A1s s=C3=B3lidos=E2=80=A6 y vidas un poco menos fr=C3=A1giles.

As=C3=AD que nada, gracias por estar ah=C3=AD cada domingo, seguimos h= ablando por los canales habituales: X y Telegram.

=C2=A0

Por cierto, si quieres puedes invitarme a un cafelito= . =E2=98=95=E2=98=95=E2=98=95

Ya por el coche de rallys ni preguntamos... =C2=BFY si te compras un= Unimog dementor?

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=C2=A0

=F0=9F=91=BB La N= ewsletter de @weareDMNTRs =F0=9F=91=BB

=C2=BFQu=C3=A9 pas=C3=B3 realmente?

=C2=BFC=C3=B3mo se vio esto desde nuestra red?

Las lecciones aprendidas

Conclusi=C3=B3n

=F0=9F=94=97 Newsletter patrocinada por: = =F0=9F=94=97

=F0=9F=94=8A Ll=C3=A1malo podcast... =F0=9F=94=8A

=F0=9F=91=80 L= as paranoias de la semana =F0=9F=91=80

Y fin...