Penetrační testování AI a LLM (GenAI red teaming)

Cílem testu je prověřit odolnost LLM aplikace, včetně související infrastruktury, API, komunikace s klientem i aplikační logiky. Testování rozšiřujeme o ověření odolnosti vůči manipulaci se vstupy, analýzu bezpečnosti výstupů včetně rizika úniku dat nebo odhalení systémového promptu, identifikaci DoS vektorů, kontrolu externích nástrojů z pohledu možného zneužití a ověření souladu modelu s definovanými bezpečnostními zásadami.

Prověříme, zda je rozhodovací autonomie AI agentů bezpečně řízena, jejich oprávnění jsou v souladu se zásadou least privilege a zda je nelze zmanipulovat k provedení škodlivých nebo nezamýšlených akcí

Audit ověřuje odolnost RAG pipeline od zpracování vstupu až po generování odpovědi se zaměřením na bezpečnost a integritu dat. Testujeme mimo jiné odolnost vůči manipulaci se vstupy, kontaminaci znalostní báze a nepřímému prompt injection. Součástí je také identifikace možných úniků informací a ověření správného nastavení přístupových práv.

Otestujeme odolnost vstupní vrstvy LLM modelu vůči manipulačním technikám, jako jsou prompt injection nebo snaha o extrakci systémového promptu. Prověříme správné nastavení etických omezení a zároveň vyhodnotíme efektivitu ochranných mechanismů modelu.

Identifikujeme zranitelnosti v API rozhraní GenAI aplikací, které mohou vést ke kompromitaci celého systému, neoprávněnému přístupu k modelu, úniku dat nebo útokům typu DoS.