La inteligencia artificial se está incorporando a buscadores internos, herramientas de productividad, servicios de atención al cliente, sistemas de análisis y procesos automatizados. Esta adopción puede mejorar la eficiencia, pero también crea nuevas superficies de ataque.
El riesgo no procede únicamente de que una persona introduzca información confidencial en una herramienta pública. También puede aparecer cuando un asistente interpreta instrucciones maliciosas, cuando un agente tiene permisos excesivos, cuando una aplicación devuelve contenido no fiable o cuando un proveedor integra modelos sin explicar adecuadamente sus controles.
Por eso, hablar de la IA como vector de ataque no significa asumir que toda herramienta de inteligencia artificial es insegura. Significa reconocer que estos sistemas añaden componentes, decisiones y flujos de datos que deben gobernarse como cualquier otra parte del entorno tecnológico.
Qué cambia con la inteligencia artificial
En una aplicación tradicional, las entradas, las reglas y las salidas suelen estar más delimitadas. En un sistema basado en IA, el comportamiento puede depender del contexto, de documentos recuperados, de instrucciones del usuario, de conexiones con otras aplicaciones y de decisiones tomadas por el propio modelo.
Esta flexibilidad aporta valor, pero complica la previsibilidad. Un asistente puede resumir un contrato, consultar una base de conocimiento, redactar una respuesta y proponer una acción. Si además puede enviar correos, modificar registros o acceder a información interna, deja de ser únicamente una herramienta de consulta y se convierte en un componente con capacidad operativa.
La superficie de ataque puede incluir:
- El modelo o servicio de IA.
- Las instrucciones del sistema y las plantillas de consulta.
- Los datos utilizados para entrenar, consultar o enriquecer las respuestas.
- Las aplicaciones conectadas y sus interfaces de programación.
- Las cuentas, permisos y secretos empleados por el asistente.
- Los proveedores tecnológicos y sus subcontratistas.
- Las personas que interpretan y ejecutan las respuestas.
La pregunta no es solo qué puede responder una IA, sino qué puede ver, decidir y hacer en nombre de la organización.
La manipulación de instrucciones y del contexto
Uno de los riesgos más conocidos es la inyección de instrucciones. Consiste en introducir contenido diseñado para alterar las instrucciones que guían a un modelo. Ese contenido puede proceder directamente de una persona usuaria o estar oculto en una página web, un documento, un correo electrónico o una base de conocimiento que el sistema consulta.
Por ejemplo, una empresa puede desplegar un asistente para ayudar al equipo de soporte. El asistente recupera información de manuales y tickets anteriores. Si uno de esos documentos contiene instrucciones que contradicen las reglas internas, el modelo podría intentar seguirlas o incorporarlas a su respuesta. El problema no es que el documento sea necesariamente ejecutable, sino que puede influir en la interpretación del sistema.
En un escenario más delicado, un agente conectado al correo podría recibir una petición aparentemente válida y proponer el envío de información a un destinatario no autorizado. Si el proceso no exige revisión humana, una respuesta generada automáticamente podría convertirse en una acción empresarial real.
La prevención requiere separar claramente:
- Las instrucciones de confianza de los datos externos.
- La generación de una recomendación de la ejecución de una acción.
- La consulta de información de la modificación de información.
- Los permisos necesarios de los permisos simplemente disponibles.
Ningún filtro elimina por completo este riesgo. La arquitectura debe asumir que las entradas pueden ser manipuladas y limitar las consecuencias de una interpretación incorrecta.
Del uso indebido al abuso de agentes
Los agentes de IA pueden coordinar varias tareas y utilizar herramientas externas. Esta capacidad permite automatizar procesos, pero introduce riesgos similares a los de una cuenta técnica con acceso a distintos sistemas.
Un agente que puede consultar el CRM, descargar documentos, enviar comunicaciones y actualizar pedidos necesita una identidad propia, permisos delimitados y trazabilidad. No debería utilizar una cuenta personal compartida ni disponer de acceso permanente a todas las funciones de las aplicaciones conectadas.
Entre los problemas que conviene evitar se encuentran:
- Permisos excesivos para tareas de bajo riesgo.
- Ausencia de aprobación antes de acciones irreversibles.
- Secretos almacenados en instrucciones, código o configuraciones expuestas.
- Falta de registro sobre qué datos consultó y qué decisión tomó.
- Confianza automática en la respuesta del modelo.
- Dependencias que permiten cambiar el comportamiento sin una revisión adecuada.
Una buena práctica es diseñar el agente con el principio de mínimo privilegio. También conviene clasificar sus acciones: consultar, sugerir, preparar y ejecutar. Cuanto mayor sea el impacto de una acción, mayor debe ser la validación requerida.
Datos contaminados y respuestas poco fiables
La calidad y la integridad de los datos son elementos de seguridad. Un modelo puede generar una respuesta convincente a partir de información desactualizada, incompleta o manipulada. En una aplicación interna, esto puede traducirse en decisiones erróneas, recomendaciones inseguras o exposición de información de otra área.
La recuperación aumentada por información, utilizada para consultar documentos corporativos, no elimina el problema. Si los repositorios contienen archivos con permisos incorrectos, instrucciones maliciosas o versiones obsoletas, el sistema puede devolverlos como si fueran una fuente válida.
La organización debería definir controles sobre el ciclo de vida de la información:
- Inventariar qué repositorios consulta cada aplicación de IA.
- Aplicar permisos de acceso coherentes con los del usuario y el proceso.
- Revisar la procedencia, vigencia e integridad de los documentos.
- Etiquetar la información sensible y restringir su uso cuando corresponda.
- Registrar las fuentes utilizadas en respuestas de alto impacto.
- Establecer un proceso para corregir o retirar contenido defectuoso.
La supervisión humana sigue siendo necesaria cuando una respuesta afecta a clientes, empleados, contratos, seguridad, cumplimiento o decisiones económicas.
El riesgo de los proveedores y de las integraciones
Una empresa puede controlar el uso que hace de una herramienta, pero no todos los elementos que intervienen en su funcionamiento. El servicio puede depender de un proveedor de modelos, de una plataforma de datos, de conectores y de servicios de terceros.
Esto amplía la cadena de suministro tecnológica. Antes de integrar una solución de IA conviene conocer, al menos, qué datos procesa, dónde se almacenan, quién puede acceder a ellos, cómo se gestionan los incidentes, qué registros están disponibles y qué ocurre al finalizar el contrato.
También es importante saber si el proveedor utiliza los datos del cliente para mejorar sus modelos, qué opciones de aislamiento ofrece y cómo comunica cambios relevantes en el servicio. Estas preguntas no sustituyen una evaluación completa, pero ayudan a identificar dependencias que a menudo quedan ocultas durante una implantación rápida.
Cómo construir una defensa razonable
La protección debe combinar medidas técnicas, organizativas y humanas. No basta con bloquear algunas palabras en las consultas ni con impartir una formación genérica sobre inteligencia artificial.
Una estrategia práctica puede incluir:
- Crear un inventario de herramientas, modelos, agentes y casos de uso.
- Clasificar los procesos según el impacto de sus errores.
- Definir qué información puede introducirse y bajo qué condiciones.
- Aplicar gestión de identidades, mínimo privilegio y separación de funciones.
- Exigir revisión humana para acciones sensibles o irreversibles.
- Probar los sistemas con instrucciones adversas y datos manipulados antes de ponerlos en producción.
- Monitorizar accesos, consultas, cambios de configuración y acciones ejecutadas.
- Establecer límites de uso, cuotas y mecanismos de parada.
- Incorporar requisitos de seguridad a los contratos con proveedores.
- Preparar un procedimiento de respuesta específico para abusos de IA.
Las pruebas deben representar el contexto real de la empresa. No solo hay que comprobar si el modelo responde correctamente, sino también si revela información, ignora los permisos, sigue instrucciones incluidas en documentos o ejecuta acciones fuera de su propósito.
Qué debe hacer la dirección
La adopción de IA no debería avanzar únicamente porque una herramienta sea popular o porque prometa reducir costes. La dirección necesita conocer qué procesos dependen de ella, qué riesgos se han aceptado y qué controles son necesarios para mantener la continuidad y la confianza.
Algunas preguntas útiles son:
- ¿Qué sistemas de IA están en uso, incluidos los contratados por departamentos sin coordinación central?
- ¿Qué decisiones o acciones pueden verse afectadas por una respuesta incorrecta?
- ¿Quién es responsable de cada sistema durante su diseño, operación y retirada?
- ¿Qué evidencias permiten investigar un abuso o un error?
- ¿Qué ocurre si el proveedor deja de prestar el servicio?
- ¿Cómo se revisan los permisos y las conexiones con otras aplicaciones?
Estas preguntas ayudan a pasar de una visión centrada en la herramienta a una gestión basada en el riesgo empresarial.
Acciones concretas para empezar
La organización no necesita esperar a tener una arquitectura perfecta para mejorar su posición. Puede comenzar con medidas acotadas y verificables:
- Localizar los usos actuales de IA, incluidos los no registrados.
- Identificar los agentes con acceso a sistemas corporativos.
- Retirar permisos que no sean imprescindibles.
- Separar entornos de prueba y producción.
- Revisar los repositorios que alimentan las respuestas.
- Activar registros y alertas sobre accesos anómalos.
- Definir qué acciones requieren aprobación humana.
- Realizar una prueba controlada de manipulación de instrucciones.
- Actualizar la formación para incluir riesgos de datos, fuentes y automatización.
- Revisar periódicamente el riesgo cuando cambien el modelo, el proveedor o el proceso.
La inteligencia artificial puede reforzar la productividad y la capacidad defensiva de una empresa, pero también puede amplificar errores y abusos si se integra sin límites. Tratarla como una nueva superficie de ataque permite anticipar problemas, asignar responsabilidades y diseñar controles proporcionales. La seguridad no depende de confiar ciegamente en el modelo, sino de gobernar los datos, los permisos, las conexiones y las decisiones que rodean su uso.
