Jednalo se již o druhé setkání s JUDr. Matznerem v rámci našich Konzultačních hodin – a výrazně praktické. Místo obecného výkladu práva nad předpisy se JUDr. Matzner zaměřil na to, co dnes u klientů reálně zažívá: zavádění a kontrolu AI nástrojů, které někdy mohou přinášet více trablů než užitku. Přestože společenský narativ říká, že „AI je něco, bez čeho se neobejdeme“, praxe ukazuje, že lidé budou potřeba – jen v jiném nastavení a rolích.
AI navíc není abstraktní: funguje „od rána do večera“ – od kávovarů, lednic a sekaček až po auta, vlaky a naše telefony, hodinky a software. Tlak na efektivitu pak žene firmy k otázkám, zda a kde šetřit – a zda to znamená „zbavovat se lidí“. V reálném světě přitom vidíme i stinné stránky: podvodná call centra, která dříve zaměstnávala desítky lidí, dnes v některých případech zvládne malý tým s AI.
Evropa vs. Amerika: dva světy regulace
V USA se běžně nejdřív jedná a inovuje a až poté hledají standardy a regulace. Firmy si proto samy tvoří vnitřní normy – etické i právní.
Evropa jde opačně: snaží se předem popsat rizika a vytvořit předpis (směrnici nebo nařízení). Připomnělo se i základní rozlišení:
- Nařízení je přímo účinné a vymahatelné.
- Směrnice dává rámec, který členský stát musí převést do vnitrostátního práva.
Nejvíce rezonuje AI Act: postupně nabíhá účinnost a zaměřuje se na bezpečnost, transparentnost a etiku. Pracuje s kategoriemi zakázané / vysoce rizikové / rizikové / běžné systémy.
Zazněla i česká realita: reaktivita. Často čekáme „do poslední chvíle“, což je nyní ostře vidět u NIS2 – s blížícím se 1. listopadem přibydou povinnosti tisícům subjektů, z nichž mnohé o tom nemusí tušit.
Data jako nejcennější aktivum (a jak je snadno ztrácíme)
Hlavní apel? Data. To nejcennější, co máme – a čeho se často lacino vzdáváme. Běžně vkládáme interní nebo osobní informace do nástrojů, u nichž nevíme, kde data končí a co se s nimi děje. To je problém nejen pro jednotlivce, ale i pro zaměstnavatele a klienty.
Stejně důležité: lidská kontrola. Bez ní hrozí chybné výstupy (AI může „duchařit“ – tj. generovat přesvědčivě znějící nepravdy) a následné škody.
Compliance není papír. Je to fungování.
Zazněl příměr s BOZP: všichni vědí, že se má školit – ale pamatuje si někdo obsah úvodního školení? Například pravidlo, že při práci se zobrazovací jednotkou je nutná 10minutová pauza po 2 hodinách? Právě „papírové“ školení bez reálného dodržování a kontroly vede k problémům (od nároků souvisejících se zrakem až po nemoci z povolání).
Totéž platí pro AI compliance: nejde o dokument v šuplíku, ale o reálně nastavená pravidla, školení, kontrolu a odpovědnost.
AI Act a důkazní pravidla: domněnka a břemeno důkazu
V právní rovině zazněly dva důležité principy:
- Vyvratitelná domněnka dodržování bezpečnostních pravidel u AI. Kdo nedoloží, že postupoval správně, nese vyšší riziko odpovědnosti.
- Přenesení důkazního břemene u vysoce rizikových systémů: nepředloží-li poskytovatel/uživatel potřebnou dokumentaci (vč. testování), má se za to, že škodu způsobil systém AI.
Významná je i oblast etiky, transparentnosti a nediskriminace – často v HR. Plošné „prověrky“ kandidátů (např. scraping sociálních sítí) nejsou povoleny, pokud pro ně není zákonný základ. Trendem v právní praxi je také přiznat, zda a jak byla AI využita u podání k soudům – a zda došlo k lidské kontrole.
Jak vypadá interní praxe: pravidla, školení, kontrola
V mnoha firmách se osvědčuje nastavit:
- Seznam schválených AI nástrojů (a případně zákaz ostatních).
- Školení uživatelů + prokazatelné seznámení s pravidly.
- Řízení přístupů a logování.
- Zákaz vkládání citlivých/obchodních informací do nástrojů mimo kontrolu.
- GDPR povinnosti (právní základy, minimalizace, účely).
- Lidská kontrola výstupů – zejména před externím použitím.
- Evidence a dokumentace postupů a testů – klíčové pro spory a audity.
Specifická zmínka padla také k AI funkcím zabudovaným v jiných aplikacích (např. CRM): odpovědnost za fungování nese dodavatel dané aplikace, nicméně je vhodné, aby firma věděla a evidovala, že AI v systému je, seznámila s tím uživatele a zahrnula tento fakt do svých pravidel.
Odpovědnost: zaměstnanec, manažer, statutár
- Zaměstnanec má projít školením, řídit se směrnicemi, nevkládat citlivá/obchodní data do nepovolených nástrojů a ověřovat výstupy. V pracovněprávní rovině převládá nedbalostní odpovědnost (limit 4,5násobkuprůměrné mzdy).
- Manažer zajišťuje školení a ověřování, implementuje interní předpisy a kontroluje dodržování. Pokud compliance neexistuje nebo nefunguje, roste jeho odpovědnost.
- Statutární orgán nese nelimitovanou odpovědnost; musí jednat s péčí řádného hospodáře a využít externí odbornost, pokud chybí interní.
Sankce: když „formální“ compliance nestačí
AI Act počítá se sankcemi až 7 % z celkového ročního obratu (u holdingu z obratu celého holdingu) nebo až 35 mil. €.
Autorské právo a vlastnictví výstupů AI
Z pohledu EU: autorem je člověk, nikoli AI. Obvykle platí, že výstup patří tomu, kdo úlohu zadal – nicméně podmínky služeb často umožňují, aby nástroje dále pracovaly jak s vloženými daty, tak s výstupy (pro „učení“). Pokud AI vytvoří dílo bez podstatného lidského zásahu, nemusí jít o autorské dílo a může být volně užitelné (otázka „co je podstatný zásah“ je předmětem živé debaty). Zaznělo také: AI nesmí tvořit ve stylu konkrétního autora ani vytvářet kopie.
Praktické postřehy z terénu
AI dnes zvládá přepis schůzek, rozpoznává mluvčí a dělá souhrny i mapy úkolů – rychlé a užitečné, ale také citlivé (např. když je umístěna v telefonu na stole – roste riziko nepovoleného odposlechu, špionáže atp.)
Rizika sílí i u deepfake: podle zkušeností z bezpečnostní praxe už je obtížné rozeznat falešné video od pravého a i technicky nezdatný člověk se k podobnému výstupu dostane rychle. Obrana? Prevence, vzdělávání, gramotnost – právní, bezpečnostní i AI.
Q&A: co zaznělo v diskuzi
- AI v CRM a odpovědnost: Pokud je AI součástí dodané aplikace, odpovědnost za výstupy nese dodavatel. Ve firmě je ale dobré evidovat, že AI je používána, seznámit s tím uživatele a zohlednit to v interních pravidlech.
- Vícenásobné postihy (AI Act × GDPR): Platí zásada ne bis in idem – ne dvakrát za totéž. Jedno jednání však může naplnit více různých porušení, a tedy vést k různým sankcím od různých orgánů.
- Chat Control 2.0: Podle JUDr. Matznera jde o naprosto bezprecedentní zásah do soukromí. VPN nepomůže, pokud se kontroluje před šifrováním. Připomněl také, že soukromé platformy typu Meta už dnes s policií spolupracují a na žádost vydávají data (WhatsApp, Messenger).
- Kterým službám se vyhnout: Čínská tržiště jako Temu a Alibaba a také TikTok – pro masivní sběr dat (včetně informací o pohybu očí na obrazovce).
Tečka na závěr
„Je to výborný sluha, ale špatný pán.“ Tímto shrnul JUDr. Jiří Matzner roli AI v dnešních organizacích. Bez pravidel, školení, dokumentace, lidské kontroly a ochrany dat se totiž i užitečný nástroj může rychle změnit v zdroj rizik.