Penetrační testování AI a LLM (GenAI red teaming)

Penetrační testování AI a LLM aplikací ověřuje odolnost systémů využívajících umělou inteligenci vůči útokům a pokusům o její zneužití či manipulaci. Na rozdíl od klasického penetračního testu se zaměřuje na specifická rizika spojená s velkými jazykovými modely (LLM), AI agenty, RAG (Retrieval-Augmented Generation) řešeními nebo chatboty, jako jsou prompt injection, únik citlivých dat nebo neoprávněné spouštění nástrojů a funkcí, ke kterým má AI přístup.

Penetrační test může odhalit širokou škálu bezpečnostních rizik specifických pro AI aplikace. Patří mezi ně například možnost obejít systémové instrukce (Prompt Injection), únik citlivých nebo interních informací, nedostatečné řízení přístupových oprávnění, zneužití propojených nástrojů, neoprávněné spouštění akcí nebo nedostatečně zabezpečené integrace s externími systémy.

Test může rovněž ověřit odolnost aplikace vůči útokům zaměřeným na vyčerpání výpočetních prostředků nebo zneužití AI agentů.

Doporučujeme testovat vlastní AI aplikace, které pracují s interními daty, komunikují s uživateli nebo mají přístup k dalším systémům. Prioritně tam, kde se potkávají dva faktory: aplikace zpracovává vstup, nad kterým nemáte kontrolu (dokumenty, e-maily, obsah z webu, vstupy od zákazníků), a model má přístup k dalším systémům nebo oprávnění jednat – volat nástroje, číst a zapisovat data, komunikovat navenek.

Typicky jde o chatboty, interní AI asistenty, RAG aplikace nad firemními dokumenty, AI agenty nebo vlastní řešení postavená na jazykových modelech OpenAI, Anthropic, Gemini či jiných poskytovatelů. U služeb typu Microsoft Copilot testujeme vaši konfiguraci, nastavená oprávnění a napojená data, nikoli samotný produkt poskytovatele.

Součástí testu může být také ověření bezpečnosti integrací mezi AI a dalšími podnikovými systémy.

Testování vychází z aktuálně uznávaných metodik a doporučení pro bezpečnost AI aplikací. Využíváme OWASP Top 10 for LLM Applications a OWASP AI Testing Guide, a zároveň zohledňujeme doporučení organizace NIST pro bezpečný vývoj a provoz systémů využívajících umělou inteligenci (NIST AI Risk Management Framework a jeho profil pro generativní AI).

Konkrétní metodiku vždy přizpůsobujeme typu testované aplikace i jejímu způsobu využití.

Ano. U AI agentů ověřujeme, zda mají přístup pouze k datům a funkcím, které skutečně potřebují. Testujeme například možnosti eskalace oprávnění, zneužití přístupových práv nebo neoprávněného spouštění akcí prostřednictvím propojených systémů. Cílem je ověřit, že agent nemůže vykonávat operace nebo získávat informace nad rámec svého oprávnění.

Ano. Ověřujeme, zda AI aplikace nemůže zpřístupnit citlivé informace uživatelům, kteří k nim nemají mít přístup. Test zahrnuje například ověření ochrany systémových promptů, interních dokumentů, osobních údajů, obchodních informací nebo dat dostupných prostřednictvím RAG databází či integrovaných systémů.

Ano. U RAG aplikací testujeme, zda lze manipulovat s procesem vyhledávání dokumentů nebo získat informace, které by neměly být zpřístupněny. Ověřujeme také správné řízení přístupových práv k dokumentům, odolnost vůči prompt injection útokům a bezpečnost propojení mezi jazykovým modelem a znalostní databází.

Ano. Moderní AI aplikace jsou často propojeny s dalšími podnikovými systémy prostřednictvím API, pluginů nebo protokolu MCP (Model Context Protocol). V rámci penetračního testu ověřujeme bezpečnost těchto integrací, správu autentizace a autorizace, ochranu přenášených dat i možnost zneužití propojených nástrojů k neoprávněným akcím nebo přístupu k citlivým informacím.

Prompt injection je typ útoku, při kterém útočník vloží do vstupu nebo externího zdroje instrukce, které ovlivní chování AI modelu. Může jít například o skryté instrukce v dokumentu, webové stránce nebo uživatelském vstupu, které model interpretuje jako legitimní příkaz.

Součástí penetračního testu je ověření odolnosti aplikace vůči těmto útokům, včetně pokusů o obejití systémových instrukcí, získání citlivých informací nebo vyvolání neoprávněných akcí.

AI jailbreak je typ útoku, jehož cílem je obejít bezpečnostní omezení jazykového modelu a přimět ho k chování, které by za běžných okolností nebylo povoleno. Útočník využívá speciálně formulované prompty nebo jejich kombinace, aby model například prozradil systémové instrukce, zpřístupnil citlivé informace nebo vykonal akce, které jsou v rozporu s nastavenými pravidly.

Součástí penetračního testu AI aplikací je ověření odolnosti vůči jailbreak útokům. Testujeme, zda lze obejít bezpečnostní mechanismy modelu, získat přístup k neveřejným informacím nebo ovlivnit jeho chování způsobem, který by mohl představovat bezpečnostní riziko. Zároveň navrhujeme opatření, která pomohou podobným útokům předcházet.

Je přitom potřeba počítat s tím, že prompt injection ani jailbreak dnes nemají univerzální řešení. Obrana proto stojí na kombinaci opatření: omezení oprávnění modelu, izolaci propojených nástrojů, kontrole výstupů a zapojení člověka do rozhodování u citlivých operací.

Jazykové modely jsou nedeterministické, stejný vstup proto nemusí vždy vést ke stejnému výstupu. V závěrečné zprávě z toho důvodu uvádíme nejen konkrétní ukázku úspěšného útoku, ale také podmínky, za kterých k němu došlo, a míru jeho úspěšnosti při opakování.