AI Act (EU AI směrnice) – detailní přehled dopadů, povinností a časového harmonogramu

Evropská unie v roce 2024 přijala nařízení o umělé inteligenci – AI Act (oficiálně Regulation (EU) 2024/1689), které představuje první komplexní právní rámec pro regulaci umělé inteligence na světě. Na rozdíl od sektorových pravidel nebo etických doporučení zavádí přímo závazná právní pravidla, která se vztahují na vývoj, distribuci i používání AI systémů.

AI Act je koncipován jako doplnění stávající legislativy, zejména GDPR. Neřeší pouze otázku osobních údajů, ale širší dopady AI na základní práva – soukromí, nediskriminaci, lidskou důstojnost, právo na spravedlivé rozhodování a právní jistotu.

1. Co je EU AI Act a jaký problém řeší

AI Act reaguje na rychlý rozvoj umělé inteligence a její stále širší využívání v oblastech, kde zásadně ovlivňuje život jednotlivců i fungování celé společnosti. Umělá inteligence dnes není pouze podpůrným nástrojem, ale v řadě případů přímo nahrazuje lidské rozhodování nebo ho významně formuje. Zpracovává rozsáhlé objemy dat, často včetně osobních a citlivých údajů, a vytváří výstupy, které mohou být pro běžného uživatele i samotnou organizaci obtížně pochopitelné a zpětně vysvětlitelné. Právě tato kombinace technologické složitosti, rychlosti rozhodování a možných dopadů na základní práva osob vede k rizikům diskriminace, chyb, zneužití či nepřiměřených zásahů do soukromí.

Cílem AI Act je:

●   zajistit bezpečné a důvěryhodné používání AI,

●   ochránit základní práva osob,

●   sjednotit pravidla napříč EU, aby nevznikaly rozdíly mezi státy,

●   podpořit inovace, ale za jasně definovaných podmínek.

Zásadní je, že AI Act se nevztahuje pouze na technologické firmy, ale i na běžné organizace, které AI používají – obce, školy, nemocnice, zaměstnavatele či e-shopy.

2. Rozsah působnosti – koho se AI Act týká

AI Act má velmi široký dopad. Vztahuje se na:

●   poskytovatele AI systémů,

●   subjekty, které AI systémy nasazují nebo provozují,

●   distributory a dovozce AI,

●   organizace veřejného i soukromého sektoru,

●   subjekty mimo EU, pokud jejich AI systémy ovlivňují osoby v EU.

Rozhodující není sídlo organizace, ale účinek AI systému na osoby v EU. Tento princip kopíruje přístup GDPR a výrazně rozšiřuje dosah regulace.

3. Rizikově založený přístup – základní struktura AI Act

AI Act stojí na rizikovém přístupu, kdy povinnosti rostou s mírou rizika AI systému.

Zakázané AI systémy

1. Sociální scoring osob

Sociální scoring znamená automatizované hodnocení osob, které kombinuje různé informace o jejich chování, životním stylu nebo osobních charakteristikách a na základě toho:

●   přiřazuje „skóre“,

●   rozlišuje osoby podle „spolehlivosti“ nebo „hodnoty“,

●   ovlivňuje jejich přístup ke službám, právům nebo výhodám.

Proč je zakázán

●   vede k systematické diskriminaci,

●   vytváří „digitální reputaci“, ze které se nelze snadno vymanit,

●   často pracuje s nepřesnými nebo historickými daty,

●   osoby nemají možnost se účinně bránit.

Praktický příklad

Představme si obec, která by využívala systém umělé inteligence k hodnocení svých občanů na základě historie přestupků, exekučních řízení nebo čerpání sociálních dávek. Na základě takto vytvořeného „profilu“ by AI automaticky určovala, kteří občané mají vyšší či nižší prioritu při přidělování obecních bytů, sociální podpory nebo jiných veřejných služeb. Přestože by takový systém mohl být prezentován jako efektivní nástroj pro správu omezených zdrojů, z pohledu AI Act se jedná o nepřípustný sociální scoring osob, který je v Evropské unii zcela zakázán.

2. Manipulativní AI systémy

Jde o AI systémy, které:

●   záměrně využívají psychologické slabiny lidí,

●   manipulují chováním bez jejich vědomí,

●   působí podprahově (uživatel si není vědom zásahu).

Zvlášť chráněné jsou děti, senioři, osoby v tísni nebo závislé na rozhodnutí systému.

Praktický příklad

Představme si aplikaci určenou pro osoby v dluhové tísni, která využívá umělou inteligenci k analýze emocionálního stavu uživatele na základě jeho chování, komunikace nebo reakcí v aplikaci. V okamžicích zvýšeného stresu, nejistoty nebo strachu pak systém automaticky nabízí konkrétní finanční produkty či služby, které jsou prezentovány jako „řešení situace“. Tímto způsobem však AI zvyšuje pravděpodobnost, že uživatel učiní nevýhodné nebo unáhlené rozhodnutí, aniž by si byl vědom toho, že je jeho chování cíleně ovlivňováno. Takový systém je zakázaný bez ohledu na to, zda je označen jako „poradenský“.

3. Prediktivní policie založená na osobních datech

Prediktivní policie v zakázané podobě znamená:

●   vyhodnocování rizikovosti konkrétních osob,

●   předpovědi budoucího trestného jednání na základě osobních dat,

●   automatizované zařazování osob do „rizikových skupin“.

Proč je zakázána

●   porušuje presumpci neviny,

●   pracuje s historickými a často zkreslenými daty,

●   vede k rasové, sociální nebo ekonomické diskriminaci,

●   zpětně „posiluje“ předsudky systému.

Praktický příklad

Uvažujme situaci, kdy by byl nasazen AI systém analyzující údaje o místě bydliště, rodinném zázemí nebo školní docházce mladých lidí s cílem předvídat jejich budoucí chování. Na základě těchto dat by systém označoval osoby z určitých lokalit jako „potenciálně rizikové“ a tento závěr by následně vedl k častějším kontrolám, preventivním zásahům nebo zvýšenému dohledu ze strany veřejných orgánů. Takový přístup však porušuje presumpci neviny a představuje nepřípustnou formu prediktivní policie, která je podle AI Act výslovně zakázána.
Pozor: AI pro analýzu kriminality jako celku (např. mapování nehod) může být povolena – rozdíl je v zaměření na osoby vs. jevy.

4. Emocionální sledování osob bez svobodného souhlasu

Jde o AI systémy, které:

●   analyzují výraz obličeje, hlas, chování,

●   vyvozují emoce, stres, únavu nebo psychický stav,

●   používají tyto závěry k hodnocení nebo rozhodování.

Proč je zakázáno

●   emoce nejsou objektivně měřitelné,

●   vysoké riziko omylů,

●   zásah do soukromí a psychické integrity,

●   zvlášť nebezpečné v pracovním nebo školním prostředí.

Praktický příklad

Představme si zaměstnavatele, který by ve svých prostorách provozoval kamerový systém vybavený prvky umělé inteligence, jehož účelem by bylo vyhodnocování „motivace“, „pozornosti“ nebo emočního rozpoložení zaměstnanců během pracovní doby. Na základě těchto automatizovaných hodnocení by pak zaměstnavatel vyvozoval pracovněprávní důsledky, například při hodnocení výkonu, odměňování nebo rozhodování o dalším pracovním uplatnění. Takové použití AI představuje nepřípustný zásah do soukromí a psychické integrity zaměstnanců a bez výslovného, svobodného a informovaného souhlasu je podle AI Act nepřípustné.

5. Plošná biometrická identifikace ve veřejném prostoru

Biometrická identifikace znamená:

●   automatické rozpoznávání osob podle obličeje, chůze, hlasu,

●   porovnávání s databázemi,

●   sledování pohybu osob ve veřejném prostoru.

Proč je zakázána

●   představuje masové sledování obyvatel,

●   zásadní zásah do soukromí,

●   nemožnost reálné obrany jednotlivce,

●   vysoké riziko zneužití.

Praktický příklad

Představme si město, které by na veřejných prostranstvích instalovalo kamerový systém vybavený technologií rozpoznávání obličejů. Tento systém by automaticky identifikoval osoby pohybující se například na náměstí nebo v okolí veřejných budov a následně by tyto záznamy propojoval s registry obyvatel či jinými databázemi veřejné správy. Takové plošné biometrické sledování představuje závažný zásah do soukromí osob a je podle AI Act v Evropské unii zakázáno, s výjimkou velmi úzce vymezených případů stanovených zákonem. Takové použití je zakázané, s velmi úzkými výjimkami (např. pátrání po pohřešované osobě na základě soudního rozhodnutí).

Vysoce rizikové AI systémy

Do této kategorie spadají AI systémy používané v oblastech s významným dopadem na jednotlivce, například:

●   nábor zaměstnanců a hodnocení pracovníků,

●   vzdělávání a hodnocení studentů,

●   zdravotnictví,

●   sociální dávky a veřejná správa,

●   bankovnictví a přístup k finančním službám,

●   trestní řízení a veřejná bezpečnost.

Pro tyto systémy AI Act stanoví přísné povinnosti:

●   řízení a dokumentaci rizik,

●   zajištění kvality tréninkových dat,

●   záznamy o fungování systému,

●   lidský dohled nad rozhodováním,

●   vysvětlitelnost výstupů,

●   robustní kybernetickou bezpečnost.

Z pohledu GDPR jde často o systémy, které vyžadují i DPIA (posouzení vlivu na ochranu osobních údajů).

AI s omezeným rizikem

Do kategorie AI systémů s omezeným rizikem spadají zejména chatboti, generativní nástroje používané v komunikaci se zákazníky nebo veřejností a systémy, které automaticky vytvářejí textový, obrazový či jiný digitální obsah. Tyto technologie samy o sobě zpravidla nezasahují přímo do práv nebo povinností jednotlivců, přesto však mohou ovlivňovat jejich rozhodování a vnímání informací. Z tohoto důvodu AI Act klade u těchto systémů důraz především na transparentnost. Uživatel musí být vždy jasně a srozumitelně informován o tom, že komunikuje s umělou inteligencí, případně že předložený obsah byl vytvořen nebo zásadně ovlivněn AI, aby nedocházelo k jeho klamání nebo nechtěné manipulaci.

Nízké a minimální riziko

Běžné AI nástroje bez významného dopadu (např. optimalizace procesů) zůstávají z větší části neregulované, nicméně i zde se uplatní GDPR, pokud dochází ke zpracování osobních údajů.

4. General Purpose AI (GPAI)

Zcela novým prvkem, který AI Act zavádí, je regulace tzv. General Purpose AI, tedy univerzálních modelů umělé inteligence využitelných napříč různými oblastmi a účely, typicky například velkých jazykových modelů. Tyto systémy nejsou vyvíjeny pro jeden konkrétní úkol, ale slouží jako základ pro širokou škálu aplikací, což výrazně zvyšuje jejich potenciální dopad. Právě proto na ně AI Act klade zvláštní požadavky, zejména pokud jde o transparentnost jejich fungování, dokumentaci použitých tréninkových dat, provádění bezpečnostních testů a u modelů se systémovým rizikem také o zavedení přísnějšího režimu dohledu a odpovědnosti. Tato oblast je klíčová zejména z pohledu ochrany osobních údajů, protože u generických modelů často není na první pohled zřejmé, z jakých zdrojů byla data pro jejich trénink čerpána a zda při tomto procesu nemohlo dojít ke zpracování osobních údajů v rozporu s právními předpisy.

5. Governance, dohled a sankce

AI Act zavádí nový dohledový rámec:

●   vzniká European AI Office jako centrální orgán,

●   každý stát zřizuje vlastní dohledový orgán,

●   dohled je provázán s ochranou osobních údajů a spotřebitele.

Sankce jsou velmi přísné:

●   až 7 % celosvětového ročního obratu,

●   nebo zákaz používání AI systému,

●   případně povinnost jeho stažení z trhu.

6. Povinnost AI gramotnosti (AI literacy)

AI Act výslovně zavádí povinnost zajistit AI gramotnost osob, které s AI systémy pracují. Nejde o technickou expertízu, ale o:

●   pochopení základních principů AI,

●   znalost rizik a omezení,

●   schopnost rozpoznat chyby a zkreslení,

●   odpovědné používání AI v souladu s právem.

7. Harmonogram uplatňování (timeline)

 

Praktický dopad AI Act na jednotlivé typy organizací

AI Act se v praxi nebude projevovat jednotně. Jeho dopad se výrazně liší podle toho, kdo AI používá, v jakém kontextu a s jakým dopadem na jednotlivce. Jinými slovy: jinak se dotkne malé firmy, jinak obce, školy nebo nemocnice. Společným jmenovatelem však zůstává skutečnost, že každá organizace bude muset být schopna obhájit, proč AI používá, k čemu ji používá a jak má ošetřena rizika.

Malé a střední podniky (SME)

U malých a středních podniků se AI Act nejčastěji projeví tam, kde AI vstupuje do vztahu se zaměstnanci nebo zákazníky. Typicky jde o nábor, hodnocení výkonu, marketing, práci s klientskými daty nebo automatizovanou komunikaci. Problémem bývá, že tyto nástroje jsou často součástí externích softwarů a firmy je vnímají jako „hotové řešení“, za které nenesou odpovědnost. AI Act však tento přístup výslovně odmítá.

V praxi to pro firmy znamená, že:

●   budou muset zjistit, zda používaný software obsahuje AI a do jaké rizikové kategorie spadá,

●   ponesou odpovědnost za používání AI, i když ji dodal externí dodavatel,

●   budou muset informovat zaměstnance a zákazníky, pokud se jich AI rozhodování dotýká,

●   u vysoce rizikových systémů bude nutné nastavit lidský dohled a interní pravidla,

●   v některých případech bude nutné přehodnotit dosavadní postupy (např. plně automatizovaný nábor).

Nejčastějším „problémovým místem“ u SME bude HR agenda, marketingové profilování a práce s generativní AI bez jasných pravidel.

Obce a města

U obcí a měst má AI Act výrazně přísnější dopad, protože veřejná správa pracuje s osobními údaji ve vztahu k základním právům občanů. Jakmile AI vstupuje do rozhodování o právech nebo povinnostech osob, téměř vždy se jedná o vysoce rizikový AI systém.

V praxi to znamená, že obce:

●   budou muset pečlivě posoudit každé použití AI, zejména v oblasti sociálních dávek, bytové politiky, agend úřadu nebo kamerových systémů,

●   nesmí používat zakázané AI praktiky (např. sociální scoring občanů),

●   budou povinny zajistit, že konečné rozhodnutí činí člověk, nikoli algoritmus,

●   budou muset zdokumentovat fungování AI systému a jeho dopady,

●   často budou muset provádět DPIA a průběžné přezkumy.

Pro obce je AI Act zásadní zejména v tom, že výrazně omezuje prostor pro „automatizaci rozhodování“, která by mohla být na úkor práv občanů.

Školy a vzdělávací instituce

Ve školství je AI Act obzvlášť přísný, protože pracuje s dětmi a mladistvými. Použití AI při hodnocení, sledování nebo predikci chování studentů je považováno za vysoce rizikové a v některých případech může být i zakázané.

Pro školy to v praxi znamená, že:

●   používání AI pro hodnocení studentů, sledování chování nebo výkonu podléhá přísnému režimu,

●   emocionální sledování studentů je prakticky vždy nepřípustné,

●   školy musí být schopny vysvětlit rozhodnutí, která se studentů týkají,

●   generativní AI používaná pedagogy nebo žáky musí mít jasně nastavená pravidla,

●   bude nutné řešit souhlas, informování a ochranu osobních údajů.

Největším rizikem ve školách je neformální a nekontrolované používání AI bez právního rámce.

Zdravotnictví a sociální služby

Ve zdravotnictví a sociálních službách se AI Act dotýká především systémů, které podporují diagnostiku, rozhodování nebo alokaci péče. Tyto systémy jsou téměř vždy považovány za vysoce rizikové.

Praktický dopad spočívá v tom, že:

●   AI nesmí nahrazovat odborný úsudek zdravotníka,

●   musí být zajištěna vysoká kvalita vstupních dat,

●   organizace musí vést detailní dokumentaci o fungování AI,

●   pacienti musí být informováni o použití AI,

●   výrazně roste odpovědnost vedení zařízení.

Společný jmenovatel pro všechny organizace

Bez ohledu na typ organizace AI Act přináší několik společných povinností:

●   povinnost vědět, kde AI používám,

●   povinnost posoudit rizika použití AI,

●   povinnost nastavit odpovědnost a dohled,

●   povinnost proškolit zaměstnance (AI literacy),

●   povinnost být schopen vše obhájit při kontrole.

 

Pokud si nejste jistí, zda se Vás AI Act týká, nebo chcete mít jistotu, že Vaše organizace bude na změny od roku 2025 připravena, ozvěte se nám. Rádi s Vámi projdeme konkrétní situaci a navrhneme další postup.