AI Act – CO PŘINÁŠÍ NAŘÍZENÍ O UMĚLÉ INTELIGENCI?

Nový AI Act byl definitivně schválen, i když to bylo do poslední chvíle napínavé pro odpor vybraných zemí. V tomto článku naleznete obecný přehled toho, co AI Act obsahuje a na jakých principech je postaven.

I. AI Act jako nařízení Evropské unie

Na rozdíl od směrnic EU jsou nařízení přímo závazná ve všech členských státech EU. AI Act (podobně jako třeba GDPR) proto bude i v České republice platit přímo, nemusíme čekat na žádné nové zákony nebo novelizace těch stávajících. Dále v textu pak budu označovat AI Act jako „nařízení“ a pojem „umělá inteligence“ pak anglickou zkratkou „AI“ (Artificial Intelligence).

Věcná působnost aneb co nařízení upravuje?

Klíčovým pojmem je „systém umělé inteligence“ (dále „systém AI“), který byl v průběhu příprav nařízení počtvrté přepracován a poslední znění jej definuje jako strojový systém, který je navržen tak, aby fungoval s různou mírou autonomie, který může po nasazení vykazovat adaptivitu a který může pro explicitní nebo implicitní cíle ze vstupních údajů, které obdrží, generovat výstupy, jako jsou např. jako předpovědi, obsah, doporučení nebo rozhodnutí, které mohou ovlivnit fyzické nebo virtuální prostředí (české znění nařízení o AI dosud nebylo zveřejněno, a proto bude asi trochu odlišné). 

Po nástupu ChatGPT si tvůrci nařízení uvědomili, že v něm zcela chybí regulace GPAI, tedy všeobecných systémů AI (dále „GPAI“), které se nezaměřují na jeden konkrétní účel (např. biometrická identifikace), ale lze je používat k blíže neurčené škále použití, případně mohou poskytovatelé integrovat GPAI do vlastních řešení a služeb (např. vytvoří chatbot pro komunikaci se zákazníky, který bude využívat jazykový model od poskytovatele GPAI modelu).

Adresáti nařízení

Nařízení se vztahuje na:

a) Poskytovatele systému AI, který jej vyvíjí a hodlá pod svým jménem uvést na trhu EU, popř. systém AI již v EU uvedl, a to bez ohledu na to, kde má poskytovatel své sídlo. Poskytovatelem může být prakticky jakýkoliv subjekt bez ohledu na jeho právní formu, tzn. fyzická i právnická osoba, orgán veřejné moci atd.

b) Provozovatele systému AI, kteří systém AI nasadili a používají při výkonu své pravomoci s výjimkou případů, kdy je tento systém AI využívám při osobní neprofesionální činnosti. Původní návrh nařízení používal pojem „uživatel“, což bylo matoucí a vždy bylo nutné vysvětlovat, že se tím nerozumí koncoví uživatelé, ale právě provozovatel.

Vedle poskytovatele a provozovatele existují i další kategorie, jako je dovozce, distributor nebo downstream provider, některé role se přitom mohou překrývat.

II. Přístup založený na posouzení rizik

Základním principem nařízení je posouzení rizik, na základě kterého jsou rozlišovány:

• zakázané postupy v oblasti AI
• vysoce rizikové systémy AI
• systémy AI s omezeným rizikem
• systémy AI s minimálním rizikem

A jaká „rizika“ má nařízení vlastně na mysli? Je jich celá řada a všechna se dotýkají základních práv a svobod občanů EU zakotvených v Listině základních práv Evropské unie. Rizikem je proto vnímáno takové nasazení nebo používání umělé inteligence, které může zasahovat např. do práva na ochranu soukromí a osobních údajů, svobodu projevu a informací, svobodu shromažďování a sdružování a zákaz diskriminace, ochranu spotřebitele a řadu dalších. Nejlépe se tato rizika demonstrují na zakázaných postupech v oblasti AI, pojďme se na ně podívat.

III. Zakázané postupy v oblasti AI

Zcela zakázány jsou takové postupy, které vytvářejí „nepřijatelné riziko“, protože jejich používání je v rozporu s hodnotami EU. Dále je neúplný výčet zakázaných postupů, mezi které patří využití AI např. pro:

• podprahové, manipulativní nebo klamavé techniky s cílem ovlivňovat chování dotčených osob takovým způsobem, že jim to může způsobit fyzickou nebo psychickou újmu,
• zneužívání zranitelnosti určitých skupin osob, vzniklé v důsledku jejich věku nebo mentálního postižení, způsobilé vyvolat fyzickou nebo psychickou újmu dotčených osob,
• biometrické kategorizační systémy, které odvozují citlivé vlastnosti (rasa, politické názory, sexuální orientace), 
• zavádění systému sociálního kreditu za účelem hodnocení nebo klasifikace důvěryhodnosti fyzických osob na základě jejich sociálního chování nebo osobnostních vlastností, pokud by to vedlo nebo mohlo vést ke znevýhodnění nebo poškození dotčených osob nebo celých skupin (doporučuji seriál Black Mirror, díl „Nosedive“, S3E1), 
• používání systémů biometrické identifikace na dálku v reálném čase na veřejně přístupných místech (nařízení stanoví výjimky, kdy je nasazení takových systémů AI přípustné), 
• rozpoznávání emocí na pracovišti nebo ve vzdělávacích institucích. 

IV. Vysoce rizikové systémy AI

Nařízení jednak stanoví v čl. 6 obecná kritéria pro kategorizaci systému AI jako vysoce rizikového pro zdraví, bezpečnost nebo pro základní práva fyzických osob, a jednak v příloze III stanoví seznam vysoce rizikových systémů AI. Tento seznam může být Evropskou komisí do budoucna rozšiřován.

Na základě obecných kritérií se mezi vysoce rizikové systémy AI řadí takové, které jsou bezpečnostní součástí výrobku (embedded AI) nebo jsou sami výrobkem a vztahují se na ně harmonizační předpisy EU uvedené v příloze II nařízení. Mezi takové systémy AI patří např. systémy používané v autonomních nebo částečně autonomních vozidlech, nebo třeba zdravotnické systémy AI určené pro stanovení diagnózy nebo léčebného postupu.

Příloha III nařízení obsahuje např:

• biometrické systémy AI, které nejsou zakázané dle čl. 5 (zakázané postupy),
• systémy AI používané v kritické infrastruktuře (digitální infrastruktura, dodávky vody, energií),
• systémy AI využívané pro profilování, tj. automatizované hodnocení fyzické osoby užívané v rámci vzdělávání a odborné přípravy, vůči zaměstnancům, při posuzování nároku na dávky sociální podpory nebo obdobných benefitů, při stanovení schopnosti splácet úvěr nebo při stanovení výše pojistného u životního nebo zdravotního pojištění,
• systémy AI určené v rámci vymáhání práva, např. určené k posouzení rizika, zda se fyzická osoba stane obětí trestného činu, který např. analyzuje data z řady zdrojů vč. sociálních sítí za účelem přijetí preventivního opatření ze strany orgánů činných v trestním řízení.

Pokud je systém AI zařazen do kategorie „vysoce rizikové“, má to pro poskytovatele (a nejen pro něj) celou řadu důsledků, protože jím vyvíjený systém AI musí splňovat celou řadu požadavků stanovených v čl. 12 – 15 nařízení). Patří mezi ně mj.:

• systém řízení rizik, který zajistí pravidelnou identifikaci a vyhodnocování rizika, včetně vhodných opatření k řízení rizik a jejich snížení
• správa dat používaných k trénování modelů, za účelem jejich ověření případných nedostatků, chyb nebo rizika zkreslení,
• technická dokumentace prokazující, že má vysoce rizikový systém AI vlastnosti požadované nařízením,
• automatické vedení záznamů (logů), které zaznamenávají každé použití systému AI, referenční databázi, vstupní data apod.,
• povinnost poskytnout provozovatelům systému AI transparentní informace nezbytné k jeho užívání, včetně informací o jeho účelu, úrovni přesnosti, spolehlivosti a kybernetické bezpečnosti, jeho výkonnosti a specifikaci vstupních údajů,
• povinnost vyvinout vysoce rizikový systém AI takovým způsobem, aby na něj mohly účinně dohlížet fyzické osoby,
• požadavky na přesnost, spolehlivost a kybernetickou bezpečnost.

Povinnosti poskytovatelů a provozovatelů vysoce rizikových systémů

Níže je uveden jen základní přehled povinností poskytovatelů, případně provozovatelů těch systémů AI, které spadají do kategorie „vysoce rizikové“.

Jak vyplývá ze shora uvedeného, zařazení systému AI do kategorie „vysoce rizikový“ s sebou přináší řadu povinností jak pro poskytovatele, tak i pro provozovatele.

V. GPAI aneb umělá inteligence pro všeobecné účely

Vedle systémů AI vyvinutých pro specifický účel upravuje nařízení také systémy AI určené pro všeobecné účely (odtud zkratka GPAI jako „General Purpose Artiffcial Intelligence“), jako jsou ChatGPT, Google Gemini apod. 

Klíčové pojmy jsou:

Základní model pro všeobecné užití (dále „GPAI model“), což je model AI založený na strojovém učení, který byl vytrénovaný na obrovském množství dat a navržený pro obecnou povahu výstupů, takže je schopen vykonávat široké spektrum úkolů. Snad nejznámějším základním jazykovým modelem (LLM – Large Language Model) je ChatGPT, dalšími jsou např. jazykový model Llama 2 nebo model pro generování grafických výstupů Stable Difusion. 

Všeobecný systém AI, což je systém AI založený na základním modelu pro všeobecné účely, který lze využít nejen samostatně, ale také jej integrovat do široké škály aplikací a systémů AI k nejrůznějším účelům. 

Povinnosti poskytovatelů GPAI modelů

Nařízení stanoví jednak obecné povinnosti pro všechny poskytovatele GPAI, a vedle toho upravuje další povinnosti pro tzv. systémové GPAI, nebo naopak vybrané úlevy pro GPAI pod otevřenou licencí. 

Povinnosti pro všechny provozovatele GPAI modelů:

• vypracovat technickou dokumentaci včetně procesu školení a testování, a také podrobný popis metodiky hodnocení, požadovaný minimální obsah dokumentace je podrobně popsán v příloze nařízení,
• vypracovat a průběžně udržovat technickou dokumentaci a informace dostupné pro navazující poskytovatele, kteří mají v úmyslu integrovat GPAI model do svých systémů AI tak, aby tito navazující poskytovatelé pochopili vlastnosti a omezení GPAI modelu (příkladem integrace GPAI modelu je poskytovatel systému AI určeného k analýze soudní judikatury, který integruje jazykový GPAI model a následně svůj sytém AI „dotrénuje“ na konkrétních datech (typicky judikátech) a bude mít vlastní uživatelské rozhraní,
• zavést politiku dodržování směrnice Evropského parlamentu a Rady č. 2019/790 o autorském právu a právech s ním souvisejících na jednotném digitálním trhu,
• zveřejnit dostatečně podrobné shrnutí o obsahu použitého pro trénink svého GPAI modelu. 

Výjimky pro provozovatele GPAI modelů s otevřenou licencí:

První dva body uvedené shora se nevztahují na ty poskytovatele, jejichž GPAI modely jsou zpřístupněny prostřednictvím volné a otevřené licence veřejnosti a tito poskytovatelé umožňují jejich užívání, úpravy a rozšiřování. 

Aby to nebylo zase tak jednoduché, tato výjimka neplatí na GPAI modely s tzv. systémovým rizikem (systemic risk).

GPAI modely se systémovým rizikem a dodatečné povinnosti jejich provozovatelů:

Základním kritériem pro zařazení GPAI modelu do kategorie modelu se „systémovým rizikem“ je výpočetní výkon, a to s ohledem na to, že vysoký výpočetní výkon zvyšuje riziko případného zneužití, ale činí obtížnější i jejich kontrolu a provádění auditů, protože jsou prostě komplikovanější a neprůhlednější. To vede k potřebě zvýšit nad těmito GPAI modely dohled. 

Je-li kumulativní objem výpočetních operací použitých pro trénink GPAI modelu vyšší než 10^25 operací s plovoucí desetinnou čárkou za sekundu (FLOPS), považuje se za systémový. Nařízení pak opět stanoví výjimky, kdy ani uvedený výpočetní výkon nemusí znamenat, že bude GPAI model zařazen mezi modely se systémovým rizikem. 

Poskytovatel GPAI modelu se systémovým rizikem musí vedle shora uvedených povinností rovněž:

• provádět hodnocení modelu, včetně dokumentování, kontradiktorního testování s cílem identifikovat systémová rizika,
• posuzovat možná systémová rizika s cílem je zmírňovat,
• sledovat, dokumentovat a bez zbytečného odkladu oznamovat případné incidenty příslušným úřadům (zejm. Úřadu pro AI resp. Evropská rada pro AI, terminologie ještě není úplně jasná) včetně opatření k nápravě přijatých ze strany poskytovatele,
• zajistit odpovídající úroveň ochrany kybernetické bezpečnosti pro GPAI modely se systemickým rizikem.

VI. Kdy začne nařízení platit? A kdy bude „použitelné“?

Platnost se odvíjí od vyhlášení v Úředním věstníku EU (platné bude dvacátým dnem od vyhlášení), podstatná je ovšem tzv. použitelnost, tedy okamžik, kdy je nařízení účinné a závazné vůči adresátům. Použitelnost nařízení bude nabíhat postupně v závislosti na předmětu regulace. Nařízení bude použitelné:

• 6 měsíců ode dne platnosti pro zakázané pro zakázané systémy AI (viz shora v části „Zakázané postupy“),
• 12 měsíců ode dne platnosti pro GPAI
• 24 měsíců ode dne platnosti pro vysoce rizikové systémy podle přílohy III,
• 36 měsíců ode dne platnosti pro vysoce rizikové systémy podle přílohy II, ve které je onen seznam předpisů k embedded AI.

VII. Závěr

Celá řada povinností vůči poskytovatelům a dalším adresátům nařízení bude upravena v tzv. kódech chování (Codes of practices), které budou rozvádět vybraná ustanovení a poskytovatelé budou moci v určitých případech odkázat, a samozřejmě následně i prokázat, že postupují podle těchto kodexů.

Cílem AI Act je omezit rizika spojená s AI a současně umožnit v EU vývoj a inovace v této oblasti. Až praxe nám ukáže, nakolik se to povedlo.

Petr Otevřel | otevrel@lawyer.cz | LinkedIn

Petr je společníkem advokátní kanceláře Jansa, Mokrý, Otevřel & partneři s.r.o. a zabývá se zejména právem informačních technologií, osobních údajů a autorským právem.