En esta sesión aprendimos que conceptos como el prompt injection, los jailbreaks o el RAG poisoning no son solo teorías de papers académicos, sino riesgos que ya están en producción.
Exploramos cómo un atacante puede conseguir que una IA ignore sus instrucciones originales para filtrar datos sensibles o ejecutar acciones no autorizadas. En definitiva, descubrimos por qué los modelos de amenaza tradicionales ya no son suficientes cuando el objetivo del ataque es la propia "lógica" del modelo.
El equilibrio perfecto: entre la ofensiva y la defensiva
Lo que hizo que esta charla fuera realmente especial fue su dinámica. Fuimos intercalando constantemente la mirada ofensiva y la defensiva.
Aprendimos a pensar como una atacante para poder construir mejores defensas, analizando vulnerabilidades y repasando las medidas que existen hoy en día para mitigar riesgos.
Esta visión nos dio herramientas reales para proteger las aplicaciones basadas en IA en las que muchas de nosotras ya trabajamos.
OWASP Top 10, indirect prompt injection y RAG pull
Lejos de ver la IA como una tecnología inaccesible, durante la sesión "abrimos la caja" para entender cómo funcionan técnicas como el indirect prompt injection o el RAG pull.
Repasamos el OWASP Top 10 para LLMs, poniendo el foco en cómo los riesgos de seguridad evolucionan tan rápido como los propios modelos. La clave fue aterrizar conceptos complejos con explicaciones claras y prácticas.
Marta y Raquel
Tener a Marta y Raquel con nosotras para desgranar todo esto fue un auténtico placer.
Son dos profesionales brillantes que supieron aterrizar conceptos que, a priori, pueden parecer súper densos o intimidantes. Gracias a lo bien que explicaron cada detalle técnico y a los ejemplos tan claros que nos dieron, consiguieron que la ciberseguridad en Inteligencia Artificial nos resultara muy accesible para todas.
El resultado de la charla no pudo ser mejor. Estamos seguras de que todas las asistentes se fueron a casa con la cabeza llena de conocimientos nuevos, recursos muy valiosos y, seamos sinceras, con unas ganas locas de ir a revisar y ajustar sus propios agentes de IA para evitar sustos.
Esa chispa se notó muchísimo al final: no pararon de surgir preguntas de todo tipo y la ronda se alargó más de media hora entre consultas súper interesantes, debates y muchísima curiosidad.
¡Gracias a todas por crear este ambientazo y un agradecimiento especial a la E.T.S.I de Informática de la UMA por cedernos las instalaciones para hacerlo posible!
Las fotos del evento
