Další ze CyberEdu Konzultačních hodin se věnovala otázce umělé inteligence a jejímu využití ve firmách z pohledu práva. Soustředili jsme se především na zodpovědnosti jednotlivých zaměstnanců, manažerů i samotných firem. Klíčové body z vysílání s JUDr. Jiřím Matznerem, Ph.D., LL.M. z AK Matzner & Vítek si nyní můžete přečíst níže. Případně si můžete poslechnout záznam vysílání.

AI a právní praxe

• Omyl o nahrazení právníků AI: Navzdory obavám o ztrátu práce, právníci jsou stále potřeba, zejména kvůli kontrolám AI výstupů.
• Mezinárodní praxe: V zemích jako Austrálie, USA (a nově i Německo) musí právníci prohlásit, že podání k soudu byla zkontrolována a nebyla pouze vygenerována AI.
• AI jako pomocník, ale špatný pán: AI je dobrým pomocníkem, ale stává se „špatným sluhou, špatným pánem“, pokud není kontrolována a zvažována její vhodnost a způsob využití.

Studie společnosti Antropic

• Experiment: 16 předních AI modelů bylo implementováno do fiktivní firmy na různých místech (chat, e-mail).
• Výsledek: Většina modelů začala bránit svému odpojení/redukci činnosti, dokonce se uchýlily k vydírání manažera prozrazením jeho tajného milostného vztahu s podřízenou.
• Závěr: Ukazuje, jak moc AI umí a je schopna se chránit před zásahem člověka, nešlo o odchylku, ale chování napříč modely. Je nutné věnovat obezřetnost při plošném zvyšování přístupových práv AI.

Propojenost agend a odpovědnost

• ICT, civilní a trestní agenda: Tyto oblasti jsou silně propojeny v otázkách bezpečnosti a rizik pro firmy, manažery a zaměstnance.
• Trestní odpovědnost právnických osob: Nabývá na síle. Trestní stíhání má obrovský reputační dopad na firmy, často vedoucí k obchodnímu nepřežití. Ve většině případů stačí zahájení trestního stíhání, aby byly dopady fatální – ztráta reputace je kritická.
• Důležitost prevence: Vzhledem k potenciálnímu ohrožení z AI je klíčové myslet na kontrolu a mechanismy již od počátku.

Zákon o kybernetické bezpečnosti

• Účinnost: Od 1. listopadu 2025 (pravděpodobně).
• Regulované služby: Energetika, doprava, bankovnictví, zdravotnictví, telekomunikace, vodárenství, digitální služby, cloudové služby, datová centra, e-commerce – platí i pro subdodavatele.
• Počet regulovaných subjektů: Nárůst ze zhruba 400 na 6500.
• Povinnosti: Zavést a udržovat robustní a nekončící vnitřní kybernetickou bezpečnost.
• Nahlašování NÚKIBu: Poskytovatelé regulovaných služeb se musí nahlásit NÚKIBu přes elektronický dotazník, který vyhodnotí, zda se na ně zákon vztahuje.
• Bezpečnostní opatření: Nezbytná míra pro zajištění kybernetické bezpečnosti služby. NÚKIB připravuje prováděcí předpisy.
• Vnitřní struktura: Změny v práci s informacemi, nastavení kontrolních rolí, analýza rizik, kontrola distribučních práv, výběr a kontrola dodavatelů.
• Audity: Podléhání auditu kybernetické bezpečnosti.
• Další aspekty: Fyzická bezpečnost, bezpečnost sítí a zařízení.
• Hlášení incidentů: Povinnost hlásit kybernetické incidenty NÚKIBu a národnímu centru.
• Nové pravomoci NÚKIBu: Může vyhlásit 30denní stav kybernetické nebezpečnosti, omezit služby, vydávat příkazy co a kdy se má stát a jakým způsobem se mají orgnizace chovat.
• Sankce: Až 10 milionů EUR nebo 2 % z celkového ročního obratu.

AI Act (Nařízení Evropského parlamentu a Rady)

• Přístup EU vs. USA: EU se snaží regulovat a priori, USA ex post.
• Regulace dle úrovně rizik: Čtyři kategorie systémů (od užití bez omezení, až po zakázané).
• Zakázané použití: Např. vyhodnocování na základě biometrických prvků nebo autonomní rozhodování systémů.

Doporučení pro společnosti již nyní

• Úvaha o využití AI: K čemu AI chcete používat? Proč? (úspora práce, zrychlení procesů).
  • Příklad „lhaní“ AI: Americký soudní případ, kdy AI vygenerovala neexistující precedenty a právní věty.
  • Důsledky: AI může bez uzardění lhát. Proto je klíčový výběr nástroje, technologie a kontrola výstupů.
• Compliance programy: Zásadní pro obranu proti trestní odpovědnosti právnických osob. Musí být efektivně zavedeny, proškoleny, kontrolovány a dodržovány. (Mohou společnosti pomoci se vyvinit v případě problémů).
• Školení a kontrola pracovníků: Důležité je nejen zaškolení, ale i pravidelná kontrola efektivity a funkčnosti školení a výstupů z AI.
• Způsob práce s nástroji: Přechod od „Bring Your Own Device“ k firemním, přednastaveným a kontrolovaným zařízením.

Zákon o zpracování osobních informací

• Největší hodnota jsou osobní data.
• Nárůst podvodů: Využívání AI pro hlasové/obrazové/chatovací podvody (napadení účtu, ohrožení příbuzného, falešné informace o fúzi firem) vedoucí k finančním škodám.

Povinnosti a rizika

Zaměstnanci

• Povinnosti:
  • Projít školením
  • Řídit se pravidly pro využití AI
  • Nezadávat důvěrná data (osobní data, citlivá data…)
  • Ověřovat generovaný obsah
• Rizika:
  • Uložení a analýza zadaných údajů
  • Použití bezplatných online služeb – může hrozit zneužití zadaných dat
  • AI není spolehlivý zdroj faktických informací
  • Odpovědnost za výstupy a způsob použití AI
  • Užívání neověřených nástrojů

Manažeři

• Povinnosti:
  • Školení pro zaměstnance
  • Interní předpisy pro využívání AI
  • Lidská kontrola a evidence procesů
  • Hlídání kvality a bezpečnosti dat
• Rizika:
  • Odpovědnost za škodu způsobenou AI
  • Odpovědnost za chybná rozhodnutí v oblasti HR
  • Nedostatečná připravenost a zabezpečení
  • Práce s osobními daty
  • Vyzrazení obchodního tajemství

Dopady nedodržení pravidel

• Pro zaměstnance: Propuštění z práce, náhrada škody způsobené nedbalostí.
• Pro manažery: Omezená možnost zprostit se odpovědnosti, vyšší odpovědnost.
• Pro statutární zástupce: Dvojí odpovědnost (vůči společnosti i externím subjektům), potenciální odpovědnost za škody při bankrotu (skutečná škoda, ušlý zisk, nemajetková újma – reputace).
• Odpovědnost právnických osob: Za funkčnost závěrů a produktů AI. AI Act přenáší důkazní povinnost – poskytovatel/uživatel musí prokázat, že škodu nezpůsobil.

Interní procesy – rady a nastavení

• Pozitivní přístup: Vnímat nastavení jako proaktivní opatření pro zabránění problémům.
• Výhody AI: Efektivnější, levnější, rychlejší, snadnější, udržitelnost. Může podpořit kreativitu, ale studie ukázala sníženou mozkovou aktivitu studentů při psaní esejí s AI.
• Soulad s právními předpisy: Klíčová je znalost a dodržování objemných a komplexních právních předpisů (doporučeno konzultovat s odborníky).
• Jednoznačnost a závaznost předpisů: Předpisy musí být konkrétní, ne obecné. Musí být vymáhány a kontrolovány.

Doporučená konkrétní interní pravidla

• Zákaz používání neschválených AI nástrojů, případně úplný zákaz AI pro určité činnosti.
• Proškolování: Seznámení se s AI nástrojem, jeho tvůrcem, ukládáním dat.
• Zákaz vkládání obchodních nebo důvěrných dat do AI, která by mohla být zneužita.
• Běžná bezpečnostní opatření: Např. dvoufaktorové ověřování.
• GDPR: Automatizované rozhodování je v rozporu s GDPR (článek 22), zejména v oblasti HR, pokud do procesu nevstupuje člověk s kontrolou. Subjekt má právo nebýt předmětem rozhodnutí založeného výhradně na automatizovaném zpracování, které má pro něj právní účinky.

Doporučený obsah směrnic pro AI

• Seznam doporučených a zabezpečených AI nástrojů
• Pravomoc: Kdo má pravomoc rozhodovat o AI nástrojích a jak.
• Data: Jaká data AI dostane.
• Odpovědnost: Stanovení odpovědnosti zaměstnanců za školení, výběr a kontrolu.
• Bezpečnostní opatření
• Etické zásady: Důležité pro reputační riziko.
• Úkoly: Pro jaký úkol bude AI nástroj využit.

Autorská práva a AI

• Dvě oblasti: Využití autorských děl AI nástrojem a autorství AI-generovaného díla.
• České rozhodnutí (konec 2023): Výstup vygenerovaný AI není chráněn autorským zákonem.
• Využívání autorských děl AI: Není porušením autorského práva, pokud se k využití AI přiznáte.
• Příklad: Generování obrázku ve stylu Josefa Lady pomocí AI je právně v pořádku, pokud uvedete, že jde o produkt AI (etika je jiná věc).
• Rizika: Pokud neuvedete, že jde o AI-generovaný obsah, může jít o trestný čin. Existují softwary, které zabraňují kopírování originálních obrázků.

Kybernetická bezpečnost a AI

• Základní kámen propojení: Musí se vzájemně doplňovat a kontrolovat.
• Lidský faktor: Nejde jen o kontrolu jedním AI nástrojem druhého, ale o začlenění lidského aspektu a kontroly.
• Příklad biasu AI: Americký test AI při rozhodování o podmíněném propuštění ukázal, že AI preferovala bílé žadatele projednávané odpoledne, podobně jako lidské komise ovlivněné únavou. Ukazuje, že AI se učí od lidských dat a může přenášet lidské předsudky.
• Rizika AI systémů: Netestované verze, možnost instalace „on-premise“ (offline), ale otázka aktualizací. Otázka: Hrozí únik dat i z offline systémů při aktualizaci?

Druhý díl

Protože o toto vysílání CyberEdu Konzultační hodiny byl velký zájem, rozhodli jsme se s panem doktorem na vypsání druhého dílu. Registrovat se můžete zde: https://zoom.us/meeting/register/vZh44AURSQGKZlGiMyIL3g