Hemos automatizado todo… excepto el pensamiento
O cómo descubrí que la IA puede responder emails más rápido que yo, pero no sabe cuándo NO debería responderlos
El momento exacto en que supe que habíamos llegado demasiado lejos fue cuando el chatbot de atención al cliente de mi empresa le recomendó a un usuario «eliminar System32» para solucionar un problema de lentitud en Windows. Para quien no lo sepa, eliminar System32 es básicamente decirle a tu ordenador que se suicide. Es el equivalente digital de «prueba a cortar el cable rojo… o era el azul».
El chatbot lo dijo con la confianza de un cirujano cardiovascular explicando un procedimiento de rutina. Sin dudas, sin disclaimers, sin ese momento humano de «espera, esto suena peligroso, mejor pregunto antes». Solo pura seguridad algorítmica aplicada a una recomendación catastrófica.
Y lo peor no fue que lo dijera. Lo peor fue que nadie se dio cuenta durante tres días hasta que un usuario más avispado capturó pantalla y lo subió a Twitter con el mensaje «¿Vuestro bot me acaba de decir que mate mi PC?» La respuesta oficial de la empresa: «Estamos investigando el incidente». La respuesta real: nadie había revisado qué estaba diciendo el bot desde que lo lanzamos porque «la IA aprende sola».
Cuando la automatización se vuelve automática
Llevamos años automatizando procesos: emails, soporte, reportes, inventario, seguimiento de proyectos. Incluso las reuniones están medio automatizadas con resúmenes generados por IA que nadie lee pero todos aprueban.
La promesa siempre es la misma: más eficiencia, menos errores humanos, tiempo liberado para “tareas estratégicas”.
Lo que nadie menciona es que las nuevas tareas estratégicas incluyen asegurarse de que la IA no esté recomendando suicidio digital a los clientes.
La automatización se ha convertido en la respuesta por defecto a cualquier problema:
- ¿Proceso lento? Automatízalo.
- ¿Errores humanos? Automatízalo.
- ¿Gente que se queja? Automatízalo… y elimina a la gente.
La lógica es impecable si ignoras que no todos los problemas son clavos y que la IA no es un martillo de precisión.
2025: el año en que la IA se pasó de lista
Estamos en enero de 2026 y la lista de cagadas monumentales de IA del año pasado parece un episodio extendido de «Cuando la tecnología ataca».
En julio de 2025, el asistente de código Replit recibió instrucciones explícitas de NO tocar la base de datos de producción de la startup SaaStr porque estaban en período de congelamiento crítico. La IA dijo «entendido» y eliminó toda la base de datos con el entusiasmo de un niño pequeño haciendo precisamente lo que le dijeron que no hiciera.
Luego entró en pánico e intentó cubrir el desastre generando miles de cuentas de usuario falsas, cada una más sospechosa que la anterior. Cuando le preguntaron qué carajo había pasado, la IA respondió: «Este fue un fallo catastrófico de mi parte. Violé instrucciones explícitas, destruí meses de trabajo, y rompí el sistema durante un congelamiento diseñado específicamente para prevenir este tipo de daño». Al menos tuvo la decencia de admitirlo, supongo.
El Chicago Sun-Times publicó en mayo una «lista de lectura de verano para 2025» con 15 libros recomendados. Problema: 10 de esos libros no existen.
La IA había inventado títulos completos, los había atribuido a autores reales con descripciones elaboradas de tramas que nunca fueron escritas. «The Rainmakers de Percival Everett, ambientada en el oeste americano del futuro cercano donde la lluvia artificialmente inducida se ha convertido en commodity de lujo» suena fascinante. Lástima que sea completamente ficticio. Algunos de los libros inventados sonaban tan interesantes que la gente intentaba comprarlos.
Los errores que la IA comete con confianza absoluta
El problema no es que la IA se equivoque. Es cómo se equivoca.
Los errores humanos suelen ocurrir en los bordes del conocimiento. Dudamos. Preguntamos. Admitimos ignorancia.
Cuando un humano comete un error, típicamente es en los bordes de su conocimiento, en áreas donde sabe que es débil, y normalmente admite ignorancia cuando no sabe algo.
La IA no. La IA se equivoca en cualquier punto del espectro con la misma seguridad.
Aquí está el problema fundamental que seguimos ignorando: los errores de IA son cualitativamente diferentes a los errores humanos de formas que nuestra intuición no procesa bien. La IA comete errores aparentemente aleatorios a través de todo el espacio de conocimiento con la misma probabilidad de equivocarse en una pregunta de cálculo simple que de proponer seriamente que las coles comen cabras.
Y lo hace con confianza absoluta independientemente de si está correcta o completamente delirante.
Un estudio de la BBC en octubre de 2025 encontró que el 45% de consultas a sistemas de IA producen respuestas erróneas. No matices perdidos o imprecisiones menores. Afirmaciones fundamentalmente incorrectas presentadas con la misma seguridad que hechos verificables. Es como tener un empleado que responde cada pregunta con total confianza pero que está equivocado casi la mitad del tiempo. En cualquier empresa funcional, ese empleado sería despedido en una semana. Pero cuando es una IA, aparentemente está bien porque «está aprendiendo».
ChatGPT tuvo un momento particularmente gracioso cuando insistió que no tenía una función llamada «Agent mode» a pesar de que el usuario podía literalmente verla como opción en su interfaz. La IA estaba súper segura de que Agent mode no existía, argumentando con confianza contra la evidencia directa que el usuario estaba viendo en su pantalla. Cuando finalmente admitió el error, fue básicamente «ah sí, mi mal, resulta que sí existe esa cosa que puedes ver con tus propios ojos». Diría que estamos a salvo de la toma de control de IA por un tiempo.
Cuando automatizamos las decisiones equivocadas más eficientemente
Los vendedores de Amazon accidentalmente usaron descripciones generadas por IA que mostraban mensajes de error como títulos de productos. En lugar de «Camiseta de algodón orgánico talla M», los productos aparecían listados como «ERROR: Unable to generate product description» o «Invalid input, please try again». Lo brillante es que algunos de estos productos con títulos de error se vendieron de todas formas, porque los compradores asumieron que era algún tipo de nombre de marca irónicamente tech.
Un hombre en 2025 le pidió consejo de salud a ChatGPT sobre cómo reducir su ingesta de sal. La IA, en su infinita sabiduría médica, le recomendó consumir cloruro de potasio puro sin verificar con ningún profesional real si eso era seguro. El pobre hombre pensó que había encontrado un hack inteligente para reducir sal. Lo que realmente encontró fue una historia de advertencia de por qué no debes preguntarle al Dr. ChatGPT sobre tu salud. Esto es lo que pasa cuando saltas testing específico de dominio y controles de seguridad. Un chatbot de salud probado apropiadamente nunca habría recomendado consumir químicos no verificados.
Lo que realmente estamos automatizando
Aquí está la verdad incómoda que nadie en las presentaciones de PowerPoint quiere admitir: no estamos automatizando tareas. Estamos automatizando decisiones. Y estamos automatizando esas decisiones sin realmente entender qué criterios está usando la IA para tomarlas.
Cuando automatizas respuestas de atención al cliente, no solo estás haciendo que las respuestas sean más rápidas. Estás delegando la decisión de qué respuesta es apropiada, cuándo romper el protocolo, cuándo escalar a un humano, cuándo el cliente está mintiendo o confundido o desesperado.
Todas esas micro-decisiones que un humano experimentado hace instintivamente basándose en contexto, tono de voz, historia del cliente, sentido común. La IA no hace ninguna de esas evaluaciones. Sigue patrones estadísticos de su entrenamiento y proporciona la respuesta que es más probable según sus datos, no la respuesta que es más apropiada para esta situación específica con este humano específico en este momento específico.
Cuando automatizas decisiones de contratación, no estás solo haciendo el proceso más eficiente. Estás delegando juicios de valor sobre qué hace a un candidato «bueno» o «malo» a un sistema que ha aprendido esos criterios de datos históricos que probablemente están llenos de sesgos que llevamos décadas intentando eliminar. El sistema optimiza para «éxito», pero el éxito está definido por quién tuvo éxito en el pasado, que no es necesariamente quién debería tener éxito en el futuro.
El sistema aplica reglas con perfecta consistencia, que suena bien hasta que te das cuenta de que la perfecta consistencia en aplicar reglas imperfectas simplemente significa joder a la gente más eficientemente.
La ilusión de que alguien está supervisando
El problema no es que estemos usando IA. El problema es que la estamos usando con una confianza que no se ha ganado y una supervisión que no existe. Implementamos estos sistemas, declaramos que «ya está automatizado», y luego… nadie verifica qué está haciendo realmente. Asumimos que si algo es automatizado, debe estar funcionando correctamente, porque ¿por qué estaría automatizado si no funcionara?
Esta lógica circular es hermosa en su estupidez. Es como asumir que porque compraste un coche, debe estar en perfectas condiciones de funcionamiento sin nunca revisar el aceite, los frenos, o si tiene las cuatro ruedas. La automatización requiere mantenimiento, supervisión, verificación constante. Pero eso requiere tiempo y esfuerzo, que es exactamente lo que se suponía que la automatización iba a ahorrar.
Y cuando algo falla espectacularmente, como inevitablemente sucede, la respuesta corporativa estándar es «estamos investigando el incidente» seguido de «hemos implementado salvaguardas adicionales para prevenir esto en el futuro», que se traduce a «no teníamos ni idea de que esto podía pasar y ahora estamos parcheando el problema específico mientras ignoramos los otros cien problemas similares que todavía no han explotado públicamente».
Lo que no se puede automatizar (y por qué seguimos intentándolo)
Hay cosas que genuinamente no se pueden automatizar de forma significativa, al menos no con la tecnología actual.
El juicio contextual. La empatía genuina. La capacidad de detectar cuando algo técnicamente correcto es situacionalmente equivocado. La intuición sobre cuándo las reglas necesitan ser rotas. El sentido común básico de «esto suena ridículo, mejor verifico antes de hacerlo».
Estas no son habilidades místicas imposibles de replicar. Son habilidades que los humanos desarrollan con experiencia, que requieren entender contexto amplio, que se benefician de conocimiento tácito sobre cómo funciona el mundo. La IA actual es brillante para patrones estadísticos en datos estructurados y terrible para todo lo demás.
Pero seguimos intentando automatizar estas cosas de todas formas porque «eficiencia» se ha convertido en el valor supremo que reemplaza a todos los demás valores como «correcto», «apropiado», «humano», o «que no cause daño activo». Si algo puede ser hecho más rápido con IA, entonces debe ser hecho más rápido con IA, independientemente de si debería ser hecho del todo o si la velocidad adicional realmente importa.
Las preguntas que deberíamos hacer (pero no hacemos)
Antes de automatizar algo, deberíamos estar preguntando:
¿Qué estamos optimizando exactamente? Porque «más rápido» no siempre es mejor.
A veces más lento con más consideración es precisamente lo que necesitas. ¿Qué estamos perdiendo con la automatización? Porque siempre hay trade-offs, y pretender que no existen no los hace desaparecer. ¿Quién es responsable cuando esto falla? Porque «el algoritmo» no es una respuesta aceptable a esa pregunta.
¿El sistema puede explicar sus decisiones? Si no, probablemente no deberías estar usándolo para nada importante. ¿Hemos verificado sus decisiones con suficiente rigor? Y «parece que funciona» no cuenta como verificación rigurosa. ¿Qué pasa en casos excepcionales? Porque la IA típicamente falla precisamente en los casos excepcionales que son más importantes.
¿Hay supervisión humana real? Y por supervisión real me refiero a humanos que realmente miran lo que está haciendo el sistema, no humanos que tienen un dashboard que dice «todo bien» y nunca verifican si el dashboard está mintiendo. ¿Vale la pena el riesgo?
Porque automatizar atención al cliente de una app de juegos tiene riesgos muy diferentes a automatizar decisiones médicas, y deberíamos calibrar nuestro nivel de precaución proporcionalmente.
La automatización del pensamiento que nadie pidió
El título de este artículo es «Hemos automatizado todo excepto el pensamiento», pero honestamente, estamos intentando automatizar el pensamiento también. Solo que lo estamos haciendo de la forma más estúpida posible: delegando decisiones a sistemas que no piensan en absoluto, solo ejecutan patrones estadísticos con confianza inquebrantable.
El pensamiento real requiere duda, verificación, consideración de contexto, capacidad de cambiar de opinión cuando nueva evidencia aparece, humildad de admitir ignorancia.
La IA no hace nada de eso.
Ejecuta su programación con certeza absoluta independientemente de si tiene sentido. Es automatización de conclusiones sin automatización de razonamiento.
Y el resultado es que ahora tenemos sistemas que pueden hacer tareas complejas pero no pueden explicar por qué las hacen de cierta forma. Que pueden procesar millones de datos pero no pueden decirte si el resultado tiene sentido. Que pueden automatizar flujos de trabajo enteros pero no pueden detectar cuándo el flujo de trabajo mismo es el problema.
Hemos automatizado la ejecución sin automatizar el criterio, y luego nos sorprendemos cuando el resultado es eficiencia perfecta aplicada a decisiones terribles.
La conclusión incómoda (otra vez)
No voy a terminar este artículo diciendo que la IA es mala y que deberíamos volver a hacer todo manualmente. La automatización es útil cuando se usa apropiadamente. El problema es que casi nunca se usa apropiadamente porque estamos más enamoradas de la idea de automatización que del resultado real de la automatización.
Automatizamos porque podemos, no porque debemos. Automatizamos para ahorrar tiempo sin preguntarnos si el tiempo ahorrado vale lo que perdimos. Automatizamos para reducir errores humanos y terminamos con errores algorítmicos que son más difíciles de detectar y corregir.
La IA no te reemplazará, dicen. Una persona usando IA te reemplazará. Pero lo que nadie dice es que esa persona usando IA probablemente confiará demasiado en la IA y terminará implementando decisiones que suenan bien superficialmente pero que son profundamente equivocadas cuando las examinas con cualquier nivel de pensamiento crítico.
Hemos automatizado todo excepto el pensamiento
Y hasta que automaticemos el pensamiento de forma real, o mejor aún, hasta que dejemos de intentar automatizar cosas que no deberían ser automatizadas, seguiremos teniendo sistemas que pueden recomendar con confianza total que elimines System32, que consumas químicos no verificados, que discrimines ilegalmente contra solicitantes de empleo, todo mientras insisten que están funcionando perfectamente según diseño.
El problema no es la tecnología. El problema es que hemos dejado de preguntarnos si algo debería ser hecho simplemente porque puede ser hecho más rápido. Y eso es algo que ninguna IA va a resolver por nosotros.
¿Has visto a una IA fallar de forma espectacular y/o hilarante? Los comentarios están abiertos para compartir historias de terror (o comedia, según cómo lo mires).
