Rozvoj umělé inteligence ve firmách začíná připomínat kyberbezpečnost před patnácti lety. Technologie se rychle šíří. Zaměstnanci ji začínají používat v každodenní práci. Organizace implementují nové nástroje, aby nezůstaly pozadu. A postupně je čím dál zřejmější, že bez jasných pravidel může nová technologie paradoxně představovat i nové riziko.

Generativní AI dnes pomáhá technickým týmům analyzovat chyby, generovat kód, vytvářet skripty nebo pracovat s dokumentací.

Současně se AI agenti stále častěji objevují přímo v podnikových aplikacích, jako jsou CRM, HR, webové stránky, zákaznické portály a mnoho dalších.

Stejně jako u kybernetické bezpečnosti ale postupně vyvstává otázka: kdo vlastně používání AI ve firmě řídí?

AI jako nový bezpečnostní problém

Paralela se stavem kybernetické bezpečnosti před mnoha lety není náhodná. Tehdy byla „sekurita“ taktéž vnímána jako čistě technické téma. Postupně se však ukázalo, že to není jen otázka IT infrastruktury, ale také řízení rizik, procesů a odpovědností. Dnes má většina (větších) organizací bezpečnostní tým a role jako CISO, které řídí kybernetická rizika.

Podobnou trajektorií prochází i umělá inteligence.

Adopce těchto nástrojů je často spontánní. Zaměstnanci je začnou používat jednoduše proto, že jim urychlují a usnadňují každodenní úkoly. Firmy zase protože si od nich slibují efektivnější práci s daty, úspory nebo konkurenční výhodu.

Problém nastává ve chvíli, kdy organizace nemá jasně definovaná pravidla pro jejich používání. Vzniká tak nový fenomén, který lze označit jako „shadow AI“, tedy používání nástrojů umělé inteligence bez jasně nastavených bezpečnostních či procesních pravidel.

V praxi to může znamenat, že se do externích AI služeb (ChatGPT, Microsoft Copilot nebo Google Gemini) dostávají firemní data, konfigurace systémů nebo jiné citlivé informace typu neanonymizovaných informací o zákaznících, aniž by o tom měla organizace přehled, nebo že organizace nemá jasnou představu, jak se AI agent rozhoduje.

Právě zde se začíná ukazovat, že umělá inteligence není jen technologická inovace, ale také nová oblast řízení rizik.

Ke slovu přichází regulace

AI už není jen experimentální technologie. Stává se běžnou součástí podnikových procesů. A přichází tak i nová regulatorní realita.

V roce 2024 Evropská unie přijala EU AI Act, první komplexní regulaci umělé inteligence na světě. Na rozdíl od regulací, jako je například NIS2 Directive, není AI Act směrnice, která by vyžadovala transpozici do národní legislativy. Jedná se o nařízení, které je přímo platné ve všech členských státech EU.

Regulace zavádí rizikově orientovaný přístup k umělé inteligenci a stanovuje povinnosti jak pro poskytovatele AI systémů, tak pro organizace, které tyto systémy používají.

Čtyři úrovně rizika podle AI Act

AI Act rozděluje systémy umělé inteligence do čtyř kategorií podle míry rizika.

  • Minimální riziko. Sem patří například spam filtry nebo doporučovací algoritmy. Tyto systémy nejsou regulací zásadně omezeny.
  • Omezené riziko. Do této kategorie spadají například generativní AI nástroje jako ChatGPT, Copilot nebo Gemini. Regulace zde vyžaduje především transparentnost, například informaci, že obsah byl vytvořen umělou inteligencí.
  • Vysoce rizikové AI systémy. Jedná se o systémy, které mohou významně ovlivňovat rozhodování nebo fungování společnosti. Typicky jde například o AI používanou v HR, zdravotnictví, dopravě nebo průmyslových procesech. V průmyslovém prostředí může jít například o model, který analyzuje výrobní procesy a navrhuje změny workflow nebo optimalizaci výroby.
  • Zakázané systémy. Do této kategorie spadají technologie považované za nepřijatelné z hlediska ochrany práv osob, například systémy pro masové biometrické sledování, social scoring nebo vytváření databází obličejů.

Poskytovatel vs. provozovatel AI

AI Act zároveň rozlišuje dvě klíčové role.

Poskytovatel (provider) je firma, která AI systém vyvíjí nebo dodává, například výrobce AI agenta integrovaného do CRM nebo HR systému.

Provozovatel (deployer) je organizace, která tento AI systém používá ve svém prostředí.

Právě na provozovatele se postupně začnou vztahovat nové povinnosti. Ty zahrnují například:

  • používání AI systémů v souladu s dokumentací poskytovatele
  • zajištění lidského dohledu nad rozhodováním AI (princip human-in-the-loop)
  • posouzení rizik spojených s nasazením AI (například v rámci analýzy rizik, která je součástí SŘBI a nového ZoKB, o které jsem psal minule zde)
  • kontrolu způsobu práce s daty

Jinými slovy, i když AI systém vyvíjí někdo jiný, organizace, která ho používá, musí zajistit, že je používán bezpečně a odpovědně.

Objevuje se tak potřeba nové role.

AI manažer: nová role ve firmách

Z výše uvedených důvodů budou firmy potřebovat někoho, kdo bude používání AI ve firmě řídit a zajistí, že probíhá v souladu s regulací i interními pravidly.

Podobně jako v minulosti vznikly role data protection officer v souvislosti s GDPR nebo manažer kybernetické bezpečnosti v souvislosti s novým ZoKB, může se i v oblasti AI postupně etablovat role AI manažera.

Nebude se ale jednat o legislativně kodifikovanou roli, protože nařízení EU pozici AI manažera nijak nedefinuje.

Mnoho organizací nejspíš ani nevytvoří samostatnou pracovní pozici. Často bude praktičtější začlenit tuto odpovědnost do existujících rolí, například v rámci IT bezpečnosti nebo compliance.

Další možností je využít externího AI manažera nebo konzultanta, který pomůže organizaci nastavit základní governance a procesy.

Co by měl AI manažer ve firmě dělat

Prvním krokem je identifikace AI systémů používaných v organizaci.

Mnoho firem dnes přesně neví, kde všude se AI používá. Vedle generativních nástrojů může být AI integrována například v marketingových nástrojích, analytických platformách nebo i průmyslových aplikacích.

Dalším krokem je klasifikace těchto systémů podle rizikovosti, jak ji definuje AI Act.

Tato klasifikace by měla být zároveň součástí širší analýzy rizik organizace. V praxi se tak AI governance často propojí s existujícími bezpečnostními frameworky, například s ISO/IEC 27001 nebo s požadavky vyplývajícími ze zákona o kybernetické bezpečnosti.

Velkou část práce AI manažera bude také představovat tvorba politiky používání AI ve firmě. Taková politika by měla odpovídat na několik základních otázek:

  • Jaké AI nástroje mohou zaměstnanci používat?
  • Jaká data je možné do těchto systémů zadávat?
  • Jak se schvaluje nasazení nových AI modelů?
  • Kdy musí rozhodnutí AI potvrdit člověk?

Například pokud by organizace chtěla nasadit AI systém do výrobního procesu, který navrhuje změny workflow, měla by být jasně definována pravidla, kdy a jak tyto návrhy musí schválit lidský operátor.

Další důležitou oblastí je vzdělávání zaměstnanců.

AI manažer by měl zajistit, aby zaměstnanci rozuměli nejen možnostem AI nástrojů, ale také jejich omezením a rizikům. Součástí by měla být i pravidelná školení administrátorů, kteří s vysoce rizikovými systémy pracují.

Největší výzva AI ve firmách je nastavení pravidel

Umělá inteligence bude stále více pronikat do firemních procesů a již dnes je patrné, že AI governance představuje další krok digitální transformace

Stejně jako v minulosti u kybernetické bezpečnosti se totiž ukazuje, že technologická inovace musí být doprovázena odpovídajícími pravidly a řízením rizik.

Bez nich bude používání AI ve firmě spíše nekontrolovaným experimentem.

Role AI manažera, ať už interního nebo outsourcovaného, může být pro firmy efektivní cestou, jak regulaci AI systematicky uchopit.

Organizace, které začnou AI governance řešit včas, budou mít nejen lepší pozici z hlediska regulatorní compliance, ale především větší kontrolu nad tím, jakým způsobem umělá inteligence ovlivňuje jejich fungování.