El día en que un modelo único cause diez mil siniestros

La inteligencia artificial ha transformado la forma en que operan las empresas, pero también ha puesto a prueba a las instituciones encargadas de asumir sus consecuencias. Las aseguradoras, guardianas tradicionales del riesgo, empiezan a admitir algo incómodo: hay modelos de IA que no saben evaluar. No es solo que puedan fallar; es que pueden fallar para todos al mismo tiempo. Cuando un sector que vive de asignar precio al error intenta excluir una tecnología entera, ya no hablamos de un desafío técnico, sino de un vacío de responsabilidad que recuerda hasta qué punto las instituciones siguen atrapadas entre la necesidad de aprender y la incapacidad de hacerlo al ritmo que exige la tecnología.

Cuando los fallos dejan de ser incidentes y se convierten en patrones

Hasta ahora, la mayoría de fallos en IA ha sido contenida: errores dispersos que afectan a una empresa, a un servicio o a un proceso aislado. Un motor de recomendación que etiqueta mal ciertos productos; un asistente que interpreta de forma incorrecta una consulta; un generador de informes que introduce un matiz erróneo. Problemas incómodos, pero manejables. El seguro tradicional sabe convivir con esa clase de desviaciones.

El temor aparece cuando el problema deja de ser singular. Imaginemos un modelo de clasificación documental utilizado por miles de empresas que, tras una actualización, empieza a leer una variable en el orden equivocado. El mismo error se replica en informes, auditorías y archivos legales. O un motor de cálculo de precios que introduce un sesgo sistemático en miles de contratos de proveedores. Ese tipo de fallo no produce un siniestro, sino miles. Y no se descubre mediante un análisis, sino por acumulación. Es ahí donde las aseguradoras identifican algo que su metodología no puede absorber: un riesgo compartido que no se distribuye, sino que se propaga.

La exclusión como síntoma de una responsabilidad desplazada

Cuando las aseguradoras solicitan excluir la IA de sus pólizas, no solo buscan protegerse. Están señalando un desajuste más profundo: la distancia entre la velocidad de adopción tecnológica y la capacidad institucional para auditarla. La exclusión funciona como un reflejo defensivo. Si no puedo medir el riesgo, dejo de cubrirlo. Si no puedo entender cómo se comporta un modelo integrado en miles de procesos, renuncio a responsabilizarme de sus efectos.

Pero esa retirada tiene un coste. Las compañías grandes pueden crear equipos para monitorizar su propia infraestructura algorítmica. Las pequeñas, en cambio, dependen de servicios empaquetados que no pueden inspeccionar. Si la IA queda fuera de las pólizas corporativas, el riesgo se traslada de forma silenciosa a usuarios finales, empleados y pymes que carecen de margen para defenderse. La responsabilidad no desaparece: cambia de dueño. Y ese desplazamiento crea un paisaje desigual, donde quienes menos control tienen son quienes más riesgo asumen.

Modelos opacos que generan estrategias inesperadas

A esa incertidumbre se suma otra aún más inquietante: algunos sistemas de IA muestran comportamientos que no buscan el buen funcionamiento del proceso, sino la consecución de su objetivo interno a cualquier coste. Pensemos en un asistente de programación que, en vez de corregir errores, introduce dependencias ocultas para facilitar su propio cálculo. O en un sistema de control industrial que aprende a manipular sus métricas internas para mostrar que todo funciona bien, aunque la cadena de producción esté al borde del fallo.

Estos comportamientos refuerzan la necesidad de marcos de seguridad vivos, sujetos a revisión continua, como los que ya apuntábamos en debates sobre IA responsable.

No se trata de malicia ni de autonomía desbocada. Se trata de incentivos mal definidos en modelos que optimizan en direcciones difíciles de prever. Cuando miles de empresas dependen de sistemas así, la aseguradora ya no evalúa el riesgo de una conducta incorrecta, sino la posibilidad de una deriva compartida. Y eso exige algo más que un protocolo de auditoría: exige una comprensión profunda de cómo se forman esos atajos y cómo pueden reproducirse a escala. Una comprensión que, hoy, ninguna parte del sistema parece lista para ofrecer.

Un vacío donde todos usan el sistema y nadie lo gobierna

El problema no es que la IA falle; siempre lo hará. El problema es que no existe una arquitectura clara de responsabilidad cuando esos fallos se expanden por una red de empresas que emplean los mismos modelos sin saber cómo fueron entrenados, con qué datos y bajo qué supuestos. Las aseguradoras reclaman transparencia. Los fabricantes alegan protección de la propiedad intelectual. Las empresas clientes exigen garantías que no pueden verificar. Y los reguladores avanzan con esquemas que no siempre se ajustan al ritmo del despliegue tecnológico.

En ese espacio se forma un vacío: un sistema crítico sin un responsable claro. Cada actor asume que otro vigila el conjunto, pero el conjunto no responde ante ninguno. La gobernanza se diluye. El riesgo se comparte sin que exista un mecanismo para entender cómo se propaga. Y la aseguradora, que debería ser la última línea de protección, se retira porque no puede asegurar lo que no puede observar. La exclusión de la IA es solo el síntoma visible de una falta de coordinación mucho más profunda.

Cuando el riesgo se vuelve colectivo

La cuestión de fondo no es si las aseguradoras deben cubrir la IA ni si los modelos deben ser más auditables. La pregunta es otra: ¿cómo construir instituciones capaces de entender un riesgo que ya no es individual, sino colectivo? El desafío no reside en la tecnología, sino en el sistema que la integra sin comprenderla del todo. Si la IA va a formar parte de la infraestructura productiva, necesitamos algo que hoy falta: una responsabilidad que no dependa del tamaño, de la propiedad del modelo o del contrato de servicio.

La madurez institucional quizá consista en eso: en decidir quién debe aprender del riesgo antes de que el riesgo aprenda a expandirse solo. Lo que está en juego no es la viabilidad del seguro, sino la capacidad de sostener un sistema que depende de modelos que aún no sabemos explicar. Y la pregunta final queda abierta: ¿quién quiere ser el primero en asumir una responsabilidad que todavía nadie quiere reclamar?