Závěr CyberEdu NIS2 Academy se nesl ve znamení mini konference s mnoha zajímavými přednáškami. Postupně Vám zde prostřednictvím stručných výpisků přiblížíme jejich obsah.
První přednáška se týkala umělé inteligence a jejího reálného využití v kybernetické bezpečnosti.
Příspěvěk Vitkora Tyúkose a Zbyňka Vallo byla rozdělena do dvou základních celků:
- Regulační rámec, kterým Evropská unie reguluje použití systémů AI – tzv. AI Act.
- Praktické využití AI systémů v kyberbezpečnosti.
Nejprve se ale krátce koukněme na historii vývoje umělé inteligence. AI zažívá velký boom a trochu demystifikovat některé mýty kolem ní se může hodit.
Historie umělé inteligence
V posledních letech se o AI hodně mluví – různí chatboti jsou momentálně velmi populární. Mnoho lidí si ale neuvědomuje, že pojem AI není vůbec nic nového.
Ve skutečnosti byl poprvé zaveden už v roce 1956, tedy téměř před 70 lety. A ani chatboti nejsou novinkou – první chatbot, i když samozřejmě neporovnatelný s dnešními modely, vznikl už v roce 1966.
Matematika a technologie, která pohání umělou inteligenci, je tedy s námi už dlouhá desetiletí. Jak dlouho myslíte, že trvalo, než program porazil nejlepšího šachového hráče světa? Stalo se tak v roce 1996, kdy šachový šampion Garry Kasparov prohrál proti AI modelu.
Možná si říkáte, že šach není tak zajímavý, co něco pokročilejšího. Podívejme se tedy na pokročilejší technologie, jako je rozpoznávání tváří. Efektivně jsme ho dokázali vyvinout až v roce 2014.
Další důležitý milník přišel v roce 2017, kdy Google publikoval architekturu transformerů. Tato technologie stojí za dnešními modely, jako je například GPT, a zrychlila vývoj AI do dnešní podoby.
Evropská unie si uvědomila, že vývoj AI je velmi rychlý a že je potřeba ho nějakým způsobem regulovat.
AI Act a regulace AI v EU
Evropská unie vytvořila regulační rámec, který řeší kyberbezpečnost a rizika spojená s AI.
Legislativní akty se dělí na dvě hlavní skupiny:
- Organizační regulace – např. NIS 2 (zaměřená na organizace) nebo DORA (zaměřená na finanční sektor).
- Regulace produktů a služeb – například AI Act, který reguluje umělou inteligenci v EU.
Většina z nás souhlasí, že je potřeba rozvoj AI nějakým způsobem regulovat, protože AI zažívá masivní boom a její využití se rozšiřuje.
AI se začíná dostávat do oblastí, které mohou být eticky problematické. Například čínská AI sledující zaměstnance, která automaticky odečítá hodiny, když zaměstnanec dělá něco jiného než práci. Myslíte, že tohle by mělo být regulováno? Asi ano.
Evropská unie určila čtyři klíčové oblasti regulace AI:
- Etika
- Diskriminace
- Zdraví
- Bezpečnost
AI Act zavádí technologicky agnostickou definici AI a stanovuje pravidla pro vývoj, uvedení na trh a používání AI systémů.
Kategorizace AI systémů podle rizika:
- Zakázané AI systémy – např. AI pro detekci emocí na pracovišti.
- Vysoce rizikové systémy – např. AI pro přijímací řízení na školy.
- Systémy s povinností transparentnosti – např. AI generující deepfakey.
- Minimální riziko – např. AI pro detekci spamu.
Na koho AI Act dopadá?
- Na všechny provozovatele AI v EU i mimo EU, pokud jejich systémy ovlivňují evropské uživatele.
- Na všechny entity v distribučním řetězci – dovozce, poskytovatele, distributory.
A jedná se o nařízení, tudíž není potřeba transpozice do českého práva.
Životní cyklus řízení AI v organizaci
- Definovat – Určet, co je umělá inteligence a jak ji organizace používá.
- Zmapovat – Proveďte inventarizaci AI systémů používaných ve vaší organizaci.
- Zhodnotit – Kategorizujte AI rizika podle dopadu a pravděpodobnosti.
- Vyvinout – Nastavte zásady, postupy, standardy a směrnice pro řízení AI.
- Ustanovit – Určete role a odpovědnosti pro správu AI ve firmě.
- Rozšířit – Zahrňte řízení rizik třetích stran, kybernetických hrozeb a ochranu osobních údajů.
- Implementovat – Zavádějte kontrolní mechanismy napříč životním cyklem AI.
- Monitorovat – Průběžně sledujte fungování AI a aktualizujte pravidla.
AI a kyberbezpečnost
Hrozby spojené s AI:
- Deepfake podvody – např. generální ředitel žádající účetní o převod peněz.
- Únik citlivých dat – např. 12 000 API klíčů nalezených v trénovacích datech.
- Lidský faktor – většina úniků dat je způsobena zaměstnanci.
A tři čísla, která mluví za vše:

Co s tím?
Například:
- Školení zaměstnanců o kyberbezpečnosti a AI.
- Používání bezpečnostních nástrojů jako Microsoft Defender for AI.
- Stanovení interních pravidel pro používání AI.
AI v praxi: Ochrana AI systémů
AI systémy mohou být nejen užitečné, ale také zranitelné vůči útokům. Například modely zpracovávající citlivá data mohou být cílem útočníků.
Příklady zneužití AI zahrnují:
- Jailbreak útoky na AI modely.
- Podvržené vstupy, které mění chování AI.
- Phishing založený na AI generovaném obsahu. (A krásný příklad jak je dnes jednoduché udělat falešnou hlasovou zprávu.)
Pro ochranu AI systémů je nutné zavést:
- Monitorování modelů na podezřelé aktivity.
- Šifrování trénovacích dat.
- Pravidelné aktualizace bezpečnostních politik.