Pruebas de penetración en LLM

Blacklock mapea la arquitectura de la aplicación LLM, el proveedor del modelo, la estructura de los prompts, los canales de entrada y salida, las rutas de API, los flujos de datos, los roles de usuario, los puntos de ingesta de documentos, los componentes de memoria y la lógica de recuperación.

‍
Revisamos la exposición a fugas de prompts, errores detallados, riesgos de salida de información sensible, aislamiento débil entre inquilinos, diseño inseguro de complementos e información pública que pueda ayudar a un atacante.

Blacklock realiza comprobaciones de seguridad en la nube automatizadas en servicios de AWS, Azure y GCP mediante una combinación de herramientas con licencia, de código abierto y personalizadas.

Para AWS, esto puede incluir herramientas como Prowler, ScoutSuite, AWS Security Hub y scripts de auditoría personalizados. Las comprobaciones están alineadas con CIS AWS Foundations, AWS Well-Architected Framework y las mejores prácticas de AWS.

Para Azure, las comprobaciones se centran en identidad, gobernanza, redes, computación, almacenamiento, bases de datos, gestión de claves, postura de Defender, asignaciones de políticas y configuración de monitoreo.

Para GCP, las comprobaciones se centran en la política de la organización, permisos de IAM, cuentas de servicio, reglas de firewall de VPC, exposición de almacenamiento público, cifrado, gestión de claves, registro, monitoreo, hallazgos de Security Command Center y configuración de cargas de trabajo.

Los consultores de Blacklock prueban manualmente la aplicación LLM utilizando prompts adversarios, cadenas de ataque de múltiples turnos y técnicas de inyección indirecta.

Las pruebas incluyen intentos de anular instrucciones, extraer prompts del sistema, divulgar datos confidenciales, manipular el contexto recuperado, omitir barreras de seguridad, activar resultados inseguros, explotar controles de acceso débiles y abusar de API o herramientas conectadas.

Blacklock entrega informes claros con resumen ejecutivo, hallazgos técnicos, prueba de concepto, evidencia, calificación de riesgo, impacto y recomendaciones de remediación.

Blacklock puede respaldar la garantía de seguridad continua mediante el escaneo constante de endpoints de LLM. El escaneo recurrente ayuda a identificar nuevas vulnerabilidades a medida que la aplicación LLM evoluciona. Los resultados pueden revisarse en el panel de control de Blacklock y utilizarse para respaldar la remediación, la gobernanza, el cumplimiento y la preparación para el lanzamiento.