Akt o umělé inteligenci: Rada a Parlament dosáhly dohody o prvních pravidlech pro umělou inteligenci na světě

Tato tisková zpráva byla 2. února 2024 aktualizována a nyní zahrnuje konečné kompromisní znění za účelem dosažení dohody.

Po ukončení třídenního „maratonu“ jednání dosáhly předsednictví Rady a Evropský parlament předběžné dohody ohledně návrhu harmonizovaných pravidel pro umělou inteligenci – tzv. aktu o umělé inteligenci. Cílem navrhovaného nařízení je zajistit, aby systémy umělé inteligence, které budou uváděny na evropský trh a používány v EU, byly bezpečné a respektovaly základní práva a hodnoty EU. Cílem tohoto přelomového návrhu je také podporovat investice a inovace v oblasti umělé inteligence v Evropě.

Dnešní dohoda představuje historický úspěch a důležitý milník na cestě do budoucnosti. Účinně řeší celosvětovou výzvu, kterou představuje rychle se měnící technologické prostředí, a to v oblasti, která je pro budoucnost našich společností a ekonomik klíčová. Při tom se nám podařilo udržet velice křehkou rovnováhu: podpořit inovace a využívání umělé inteligence po celé Evropě a zároveň respektovat základní práva našich občanů.

Carme Artigas Brugalová, španělská státní tajemnice pro digitalizaci a umělou inteligenci

Akt o umělé inteligenci je stěžejní legislativní iniciativou, která má potenciál podpořit rozvoj a zavádění bezpečné a spolehlivé umělé inteligence po celém jednotném trhu EU subjekty z veřejného i soukromého sektoru. Hlavním cílem aktu je regulovat umělou inteligenci, protože je schopna společnost poškodit, a to uplatněním přístupu založeného na posouzení rizik: čím vyšší riziko, tím přísnější pravidla. Jelikož se jedná o vůbec první legislativní návrh tohoto druhu na světě, bude moci stanovit globální standard pro regulaci umělé inteligence v ostatních jurisdikcích tak, jako se to stalo v případě nařízení GDPR, a tím propagovat evropský přístup k regulaci technologií v mezinárodním měřítku.

Hlavní prvky předběžné dohody

Ve srovnání s původním návrhem Komise lze nové hlavní prvky předběžné dohody shrnout takto:

• pravidla pro obecné modely umělé inteligence s velkými dopady, které mohou v budoucnu představovat systémové riziko, jakož i pro vysoce rizikové systémy umělé inteligence
• revidovaný systém řízení s určitými donucovacími pravomocemi na úrovni EU
• rozšíření seznamu zákazů, avšak s tím, že donucovací orgány mohou ve veřejných prostorách za uplatnění záruk využívat biometrickou identifikaci na dálku
• lepší ochrana práv díky povinnosti provozovatelů vysoce rizikových systémů umělé inteligence provést před uvedením systému umělé inteligence do provozu posouzení dopadů na základní práva.

Předběžná dohoda konkrétněji upravuje následující aspekty:

Definice a oblast působnosti

S cílem zajistit, aby definice systému umělé inteligence poskytovala dostatečně jasná kritéria pro odlišení umělé inteligence od jednodušších softwarových systémů, je tato definice v kompromisní dohodě sladěna s přístupem navrženým OECD.

V předběžné dohodě je rovněž jasně uvedeno, že nařízení se nevztahuje na otázky mimo oblast působnosti práva EU a v žádném případě by nemělo mít dopad na pravomoci členských států v otázkách národní bezpečnosti ani jiných subjektů, jimž jsou svěřeny úkoly v této oblasti. Akt se dále nebude vztahovat na systémy používané výhradně pro vojenské nebo obranné účely. Dohoda podobně stanoví, že se nařízení nebude vztahovat na systémy umělé inteligence používané výhradně pro účely výzkumu a inovací ani na osoby, které umělou inteligenci využívají při neprofesionální činnosti.

Klasifikace systémů umělé inteligence jako vysoce rizikových a zakázané postupy v oblasti umělé inteligence

V kompromisní dohodě je stanovena horizontální vrstva ochrany, včetně klasifikace vysoké rizikovosti, s cílem zajistit, aby systémy umělé inteligence, u nichž není pravděpodobné, že způsobí závažné porušování základních práv nebo jiná významná rizika, nespadaly do oblasti působnosti. Pro systémy umělé inteligence, které představují pouze omezené riziko, budou platit pouze velmi mírné povinnosti transparentnosti, například povinnost uvést, že obsah byl vytvořený umělou inteligencí, tak aby uživatelé mohli učinit informované rozhodnutí ohledně jeho dalšího využívání.

Bude povolena široká škála vysoce rizikových systémů umělé inteligence, bude pro ně však stanovena řada požadavků a povinností, které budou muset pro vstup na trh EU splnit. Tyto požadavky spolunormotvůrci vyjasnili a upravili tak, aby jejich plnění bylo pro zúčastněné strany technicky proveditelnější a méně zatěžující, například pokud jde o kvalitu údajů nebo v souvislosti s technickou dokumentací, kterou by měly vypracovat malé a střední podniky s cílem prokázat, že jejich vysoce rizikové systémy umělé inteligence splňují dané požadavky.

Vzhledem k tomu, že systémy umělé inteligence jsou vyvíjeny a distribuovány prostřednictvím složitých hodnotových řetězců, kompromisní dohoda obsahuje změny objasňující rozdělení povinností a úloh různých aktérů v těchto řetězcích, zejména poskytovatelů a uživatelů systémů umělé inteligence. Rovněž vyjasňuje vztah mezi povinnostmi podle aktu o umělé inteligenci a povinnostmi, které již existují podle jiných právních předpisů, jako jsou příslušné právní předpisy EU v oblasti ochrany údajů nebo odvětvové právní předpisy.

U některých způsobů využití umělé inteligence se riziko považuje za nepřijatelné, a proto budou tyto systémy v EU zakázány. V předběžné dohodě je například zakázána kognitivní manipulace s chováním, necílené stahování zobrazení obličeje z internetu nebo záznamů CCTV, rozpoznávání emocí na pracovišti nebo ve vzdělávacích institucích, hodnocení sociálního kreditu, biometrická kategorizace s cílem získat citlivé údaje, jako je sexuální orientace či náboženské vyznání, a některé případy prediktivní policejní práce týkající se fyzických osob.

Výjimky pro vymáhání práva

Vzhledem ke specifikům donucovacích orgánů a nutnosti, aby i nadále mohly při své mimořádně důležité práci využívat umělou inteligenci, bylo dohodnuto několik změn oproti návrhu Komise, pokud jde o využívání umělé inteligence pro účely vymáhání práva. S výhradou vhodných záruk mají tyto změny zohlednit potřebu respektovat důvěrnost citlivých provozních údajů v souvislosti s činnostmi těchto orgánů. Byl například zaveden postup pro mimořádné situace, který donucovacím orgánům umožňuje využívat v naléhavých případech vysoce rizikové nástroje umělé inteligence, které neprošly postupem posuzování shody. Naproti tomu byl také zaveden zvláštní mechanismus, která má zajišťovat, aby byla před případným zneužitím systémů umělé inteligence dostatečně chráněna základní práva.

Pokud jde o používání systémů biometrické identifikace na dálku v reálném čase na veřejně přístupných místech, předběžná dohoda vyjasňuje cíle v případech, kdy je takové použití nezbytně nutné pro účely vymáhání práva, a pro něž by proto donucovací orgány měly mít výjimečně možnost tyto systémy používat. V předběžné dohodě jsou stanoveny dodatečné záruky a omezení těchto výjimek na případy obětí určitých trestných činů, předcházení skutečným, aktuálním či předvídatelným hrozbám, jako jsou teroristické útoky, a pátrání po osobách podezřelých z těch nejzávažnějších zločinů.

Obecné systémy umělé inteligence a základní modely

Byla doplněna nová ustanovení s cílem zohlednit situace, kdy lze systémy umělé inteligence používat ke mnoha různým účelům (umělá inteligence pro obecné účely) a kdy je technologie umělé inteligence pro obecné účely následně integrována do jiného systému, který se může stát vysoce rizikovým. Předběžná dohoda se také věnuje zvláštním případům obecných systémů umělé inteligence.

Dohodnuta byla rovněž zvláštní pravidla pro základní modely – velké systémy, které dokáží kvalifikovaně provádět širokou škálu různých činností, jako je vytváření videa, textu, obrázků, konverzace v laterálním jazyce, provádění výpočtů či vytváření počítačového kódu. V předběžné dohodě se stanoví, že základní modely musí před uvedením na trh splnit určité povinnosti transparentnosti. Pro základní modely s „velkým dopadem“ byl zaveden přísnější režim. Jedná se o základní modely, které byly trénovány na velkém množství dat a vyznačují se velkou složitostí, schopnostmi a výkonem vysoce nad průměrem, a z toho důvodu se mohou v hodnotovém řetězci šířit systémová rizika.

Nová struktura řízení

V návaznosti na nová pravidla týkající se modelů umělé inteligence pro obecné účely a na zjevnou potřebu jejich prosazování na úrovni EU je v rámci Komise zřízen Úřad pro umělou inteligenci, jehož úkolem je dohlížet na tyto nejpokročilejší modely umělé inteligence, přispívat k podpoře standardů a zkušebních postupů a prosazovat společná pravidla ve všech členských státech. Vědecký panel nezávislých odborníků bude poskytovat Úřadu pro umělou inteligenci poradenství ohledně modelů umělé inteligence pro obecné účely tím, že bude přispívat k vývoji metodik pro hodnocení schopností základních modelů, poskytovat poradenství ohledně určení a vzniku základních modelů s velkým dopadem a monitorovat možná rizika pro bezpečnost materiálů související se základními modely.

Rada pro umělou inteligenci, která by se skládala ze zástupců členských států, zůstane koordinační platformou a poradním orgánem Komise a bude hrát důležitou úlohu při provádění nařízení, včetně vypracování kodexů správné praxe pro základní modely. V neposlední řadě bude zřízeno poradní fórum pro zúčastněné strany, jako jsou zástupci průmyslu, malé a střední podniky, začínající podniky, občanská společnost a akademická obec, s cílem poskytovat Radě pro umělou inteligenci technické odborné zázemí.

Sankce

Pokuty za porušení aktu o umělé inteligenci byly stanoveny jako procentní podíl celkového ročního obratu společnosti porušující pravidla v předchozím účetním období nebo jako předem stanovená částka, podle toho, která hodnota je vyšší. To by představovalo 35 milionů eur, tj. 7 % v případě porušení zakázaných aplikací umělé inteligence, 15 milionů eur nebo 3 % v případě porušení povinností vyplývajících z aktu o umělé inteligenci a 7,5 milionu eur neboli 1,5 % za poskytnutí nesprávných informací. Prozatímní dohoda však stanoví přiměřenější stropy správních pokut pro malé a střední podniky a začínající podniky v případě porušení ustanovení aktu o umělé inteligenci.

Kompromisní dohoda též objasňuje, že pokud se fyzická nebo právnická osoba domnívá, že došlo k porušení ustanovení aktu o umělé inteligenci, může podat stížnost příslušnému orgánu dozoru nad trhem a může očekávat, že tato stížnost bude vyřízena v souladu se zvláštními postupy tohoto orgánu.

Transparentnost a ochrana základních práv

Předběžná dohoda stanoví, že dříve než provozovatelé uvedou vysoce rizikový systém umělé inteligence na trh, je třeba provést posouzení dopadů na základní práva. Předběžná dohoda rovněž zajistí vyšší transparentnost, pokud jde o používání vysoce rizikových systémů umělé inteligence. Zejména byla změněna některá ustanovení návrhu Komise tak, aby uváděla, že někteří uživatelé vysoce rizikových systémů umělé inteligence, kteří jsou veřejnými subjekty, budou rovněž povinni se zaregistrovat do databáze EU pro vysoce rizikové systémy umělé inteligence. Nově doplněné ustanovení navíc klade důraz na povinnost uživatelů systému rozpoznávání emocí informovat fyzické osoby, pokud jsou takovému systému vystaveny.

Opatření na podporu inovací

S cílem vytvořit právní rámec, který bude příznivější pro inovace, a s cílem propagovat regulační učení založené na důkazech byla v porovnání s návrhem Komise podstatně změněna ustanovení týkající se opatření na podporu inovací.

Především bylo objasněno, že tzv. regulační pískoviště umělé inteligence, jež mají vytvářet kontrolované prostředí pro vývoj, testování a validaci inovativních systémů umělé inteligence, by měla umožňovat i testování inovativních systémů umělé inteligence v reálných podmínkách. Kromě toho byla doplněna nová ustanovení umožňující testování systémů umělé inteligence v reálných podmínkách, za zvláštních podmínek a záruk. Za účelem zmírnění administrativní zátěže pro menší společnosti obsahuje předběžná dohoda seznam opatření, která je třeba přijmout na podporu těchto hospodářských subjektů, a stanoví některé omezené a jasně stanovené výjimky.

Vstup v platnost

Předběžná dohoda stanoví, že akt o umělé inteligenci by se měl s určitými výjimkami pro některá ustanovení začít uplatňovat dva roky po jeho vstupu v platnost.

Další kroky

V návaznosti na dnešní předběžnou dohodu bude v nadcházejících týdnech pokračovat práce na technické úrovni s cílem finalizovat podrobnosti nového nařízení. Předsednictví předloží kompromisní znění zástupcům členských států (Coreperu) k potvrzení, jakmile bude tato práce dokončena.

Oba orgány budou ještě muset úplné znění potvrdit a před jeho formálním přijetím spolunormotvůrci proběhne právně-lingvistická revize.

Souvislosti

Návrh Komise předložený v dubnu 2021 je klíčovým prvkem politiky EU na podporu rozvoje a zavádění bezpečné a legální umělé inteligence, která respektuje základní práva, na celém jednotném trhu.

Návrh vychází z přístupu založeného na rizicích a stanoví jednotný horizontální právní rámec pro umělou inteligenci, jehož cílem je zajistit právní jistotu. Cílem návrhu nařízení je podporovat investice a inovace v oblasti umělé inteligence, posílit řízení a účinné prosazování stávajících právních předpisů v oblasti základních práv a bezpečnosti a usnadnit rozvoj jednotného trhu pro aplikace umělé inteligence. Jde ruku v ruce s dalšími iniciativami, včetně Koordinovaného plánu v oblasti umělé inteligence, jehož cílem je urychlit investice do umělé inteligence v Evropě. Dne 6. prosince 2022 dosáhla Rada dohody o obecném přístupu (mandát k jednání) k tomuto návrhu a v polovině června 2023 zahájila interinstitucionální jednání s Evropským parlamentem („trialogy“).

• Akt o umělé inteligenci, znění předběžné dohody, 2. února 2024

  Tento zdroj je v současné době k dispozici pouze v těchto jazycích:

  EN
• Akt o umělé inteligenci, obecný přístup Rady, 6. prosince 2022
• Akt o umělé inteligenci, návrh Komise, 14. dubna 2021
• Evropský přístup k umělé inteligenci (informace Evropské komise)
• Digitální budoucnost pro Evropu (souvislosti)
• Váš život v on-line prostředí: jak EU pomáhá, aby byl jednodušší a bezpečnější (informativní článek)
• Umělá inteligence (souvislosti)