EU AI Act bol schválený: Čo musí vedieť každý profesionál v oblasti dát?

Ako školiteľ a konzultant v oblasti dátovej vedy a umelej inteligencie som pozorne sledoval vývoj nového celoeurópskej regulácie "The AI Act". Na prekvapenie mnohých ho Parlament ratifikoval pred pár týždňami (13. 3. 2024, odkaz a odkaz na prijaté znenie), pred predpokladaným termínom v polovici roka 2024. Regulácia je pomerne komplexná, zložitá a na viacerých miestach nejednoznačne definovaná.

Skôr ako sa ponoríme hlbšie, niekoľko slov pre mojich firemných klientov: Ak vaša organizácia používa aj ten najjednoduchší model strojového učenia (napríklad lineárny model na výpočet rizika), táto regulácia sa vás pravdepodobne týka - a jej vplyv je neodvratný.

Nižšie som vybral najkritickejšie body do jasného prehľadu, ktorý vás informuje o najnovšom vývoji (niečo ako TL;DR).

Je to umelá inteligencia (AI)?

Keď sa pozriete na nejaký "inteligentný" systém alebo algoritmus vo vašom okolí, mali by ste si ako prvé položiť otázku: "Je to umelá inteligencia?" Definícia toho, čo predstavuje AI, je v súčasnosti z môjho pohľadu trochu nejasná. Domnievam sa, že kľúč spočíva v podmienke "adaptability", ktorá môže mať niekoľko výkladov. Očakávam, že túto definíciu by mohol spĺňať akýkoľvek systém, ktorý využíva prostriedky samoučenia, prípadne aj jednoduchšie systémy založené na pravidlách (tzv. rule-based-expert system).

Hlava I, článok 3:

"Systém umelej inteligencie" predstavuje strojový systém navrhnutý na fungovanie s rôznou úrovňou autonómie, ktorý môže po nasadení vykazovať adaptívnosť a ktorý pre explicitné alebo implicitné ciele odvodzuje zo vstupov, ktoré dostáva, ako generovať výstupy, ako sú predpovede, obsah, odporúčania alebo rozhodnutia, ktoré môžu ovplyvniť fyzické alebo virtuálne prostredie;

Poznámka: V nasledujúcich článkoch sa plánujem bližšie venovať téme, ktoré systémy by mohli spĺňať túto definíciu.

Ste poskytovateľom alebo nasadzovateľom?

Hlavné zodpovednosti sa kladú na poskytovateľov (vývojárov) vysoko rizikových systémov umelej inteligencie (AI). Pojem "nasadzovatelia" (používatelia) sa vzťahuje na fyzické alebo právnické osoby, ktoré využívajú systém AI v profesionálnom kontexte, s výnimkou konečných koncových spotrebiteľov. Nasadzovatelia vysoko rizikových systémov AI nesú určitú zodpovednosť aj keď menšiu ako poskytovatelia.

Každá AI, ktorá sa “dotýka” EÚ je regulovaná

Táto regulácia riadi zavádzanie alebo implementáciu vysokorizikových systémov AI v rámci EÚ bez ohľadu na sídlo poskytovateľa. Vzťahuje sa aj na poskytovateľov z tretích krajín, ak sa výstupy ich systému používajú v EÚ.

Klasifikácia: zakázané, vysoko rizikové, s limitovaným rizikom

V právnych predpisoch regulácie sú systémy umelej inteligencie vymedzené na základe úrovne ich rizika:

• Zakázané: Systémy AI, ktoré predstavujú neprijateľné riziko (napr. sociálne bodovanie, manipulácia správania).

• Vysoko rizikové: Podliehajú prísnej regulácii.

• S limitovaným rizikom: Podliehajú základným požiadavkám na transparentnosť.

V jednoduchosti, predstavte si semafory. Preverte a skontrolujte či vo vašich systémoch nie sú zakázané praktiky (červené svetlo). Ak áno, okamžite ich odstráňte. Ak objavíte nejaké vysoko rizikové AI (oranžové svetlo), očakávajte množstvo povinností - právnych AJ technických. V prípade bežných aplikácií AI (zelené svetlo) sa toho veľa nevyžaduje.

Červené svetlo: Zakázané praktiky AI 

Majte na pamäti, že tieto praktiky sú uvedené ako zakázané praktiky a nie len ako špecializované produkty/prípady použitia AI, ktoré sú zakázané. Moje odporúčanie je vykonať audit systémov AI na prezistenie potenciálneho výskytu zakázaných praktík v priebehu prvých dvoch mesiacov od ratifikácie. Problémom je, že zakázané praktiky sú síce primárne zamerané na škodlivé zamýšľané účely (Hlava II, článok 5 - "...s cieľom..."), ale spadajú aj pod možnosť spôsobenia nezamýšľanej škody (Hlava II, článok 5 - "...alebo následkom..."). Z toho vyplýva moje odporúčanie na kontrolu či nedochádza k nejakej nezamýšľanej škode, ktorá by spadala pod zakázané praktiky. UPOZORNENIE: Zakázané praktiky nadobúdajú účinnosť do 6 mesiacov od ratifikácie, na rozdiel od väčšiny znenia regulácie, ktoré nadobúda účinnosť do 24 mesiacov.

Zakázané praktiky - výber z Hlavy II (parafrázovaný text):

• Manipulatívna umelá inteligencia: Systémy, ktoré klamlivo ovplyvňujú správanie a poškodzujú schopnosť človeka prijímať informované rozhodnutia.

• Zneužívanie zraniteľností: Umelá inteligencia, ktorá sa zameriava na osoby na základe ich veku, zdravotného postihnutia alebo ekonomického postavenia kvôli škodlivým účelom.

• Vtieravé biometrické sledovanie: Odvodzovanie citlivých osobných informácií (etnický pôvod, presvedčenie, sexuálna orientácia, atď.) pomocou biometrických dát, s obmedzenými výnimkami na schválené použitie pri presadzovaní práva.

• Sociálne skórovacie systémy: AI, ktorá posudzuje jednotlivcov na základe sociálneho správania, čo vedie k negatívnym dôsledkom.

• Profilovanie na predpovedanie trestnej činnosti: Používanie AI výlučne na predpovedanie kriminálneho správania bez podporných dôkazov.

• Nerozlišujúce rozpoznávanie tváre: Vytváranie databáz rozpoznávania tváre z necieleného zhromažďovania obrázkov z internetu alebo priemyselných kamier.

• Sledovanie emócií bez súhlasu: Odvodzovanie emocionálnych stavov na pracoviskách alebo v školách bez zdravotných/bezpečnostných dôvodov.

• Neobmedzená biometrická identifikácia v reálnom čase (RBI): Používanie RBI ('Real-Time' Biometric Identification) na verejných priestranstvách s obmedzenými výnimkami.

Oranžové svetlo: Je to vysoko riziková AI?

Hlava III sa zaoberá kritériami a ustanoveniami pre systémy AI, ktoré sa považujú za vysoko rizikové. Pravidlá klasifikácie (parafrázovaný text):

• Vysoko rizikové systémy AI sa označujú ako systémy, ktoré buď fungujú ako bezpečnostná súčasť výrobku regulovaného osobitnými právnymi predpismi EÚ uvedenými v Prílohe II a sú povinné podrobiť sa externému hodnoteniu zhody podľa týchto predpisov Prílohy II (napr. stroje, zdravotnícke pomôcky, hračky, výťahy, tlakové zariadenia, rekreačné plavidlá, bezpečnosť civilného letectva); alebo

• Sú spojené s prípadmi použitia uvedenými v Prílohe III (pozri ďalej), s určitými výnimkami:

• Ak systém AI vykonáva špecifickú procesnú úlohu;

• Zlepšuje výsledok činnosti, ktorú predtým vykonali ľudia;

• Identifikuje vzory alebo odchýlky v rozhodovaní bez zámeru nahradiť alebo ovplyvniť predchádzajúci ľudský úsudok bez primeraného ľudského dohľadu;

• Vykonáva predbežnú úlohu na hodnotenie, ktoré je dôležité na účely uvedené v Prílohe III.

• Poskytovatelia systémov AI spadajúcich pod Prílohu III, ktorí sa domnievajú, že ich systém nepredstavuje vysoké riziko, sú povinní zdokumentovať takéto posúdenie pred jeho uvedením na trh alebo poskytnutím služby.

• Systémy AI, ktoré vytvárajú profil jednotlivcov, vymedzený ako automatizované spracúvanie osobných údajov na vyhodnotenie rôznych aspektov života jednotlivca, ako je pracovný výkon, finančný stav, zdravie, osobné záujmy, spoľahlivosť, správanie, miesta alebo pohyb, sú vždy klasifikované ako vysoko rizikové.

Oranžové svetlo: Príloha III

...uvádza konkrétne prípady použitia systémov AI, ktoré sa považujú za vysoko rizikové (ale nie sú zakázané). Patria medzi ne (parafrázovaný text):

• Posudzovanie úverovej bonity: Systémy AI používané na hodnotenie úverovej bonity (okrem odhaľovania finančných podvodov).

• Posudzovanie poistných rizík a stanovovanie cien: Nástroje AI pri výpočte rizík a stanovovaní cien zdravotného a životného poistenia.

• Nábor zamestnancov a monitorovanie výkonnosti: AI používaná pri prijímaní zamestnancov (inzeráty, kontrola životopisov), prideľovaní úloh a hodnotení výkonnosti zamestnancov.

• Vzdialená biometrická identifikácia: Systémy, ktoré presahujú rámec jednoduchého overovania totožnosti, čo predstavuje potenciálne obavy o ochranu súkromia.

• Identifikácia citlivých atribútov: Biometrické systémy odvodzujúce chránené vlastnosti, ako je etnický pôvod, viera, atď.

• Systémy na zisťovanie emócií: AI používaná na analýzu emócií, ktorá vyvoláva potenciálne etické problémy.

• Prístup k základným službám: AI, ktorá určuje nárok na verejné dávky, čo má významný vplyv na jednotlivcov.

• Riadenie kritickej infraštruktúry: AI v životne dôležitej infraštruktúre, ako je energia, voda, atď.

• Vzdelávanie a odborná príprava: AI používaná pri prijímaní študentov, hodnotení a monitorovaní správania.

• Vymáhanie práva a migrácia: AI na predpovedanie trestnej činnosti, detektory lži, žiadosti o azyl.

• Výkon spravodlivosti a demokratické procesy: AI používaná v právnom rozhodovaní a potenciálnom ovplyvňovaní volieb.

Oranžové svetlo: Ak vysoko riziková, tak…

Pre poskytovateľov vysoko rizikových systémov umelej inteligencie sú v článkoch 8 až 25 podrobne uvedené potrebné požiadavky (parafrázované):

• Vypracovanie komplexného systému riadenia rizík: Plánujte potenciálne škody počas celého životného cyklu systému AI.

• Zabezpečenie vysokej kvality dát: Používajte relevantné, presné a reprezentatívne datasety na trénovanie a testovanie.

• Udržiavanie podrobnej dokumentácie: Vytvorte záznamy na preukázanie súladu pre prípadné audity.

• Umožnenie monitorovania systému: Zaznamenávajte kľúčové udalosti na identifikáciu rizík a zmien.

• Poskytnutie jasných pokynov pre používateľov: Pomôžte tým, ktorí systém nasadzujú, pochopiť jeho správne používanie a obmedzenia.

• Uprednostnenie ľudského dohľadu: Zabezpečte, aby ľudia mali kontrolu a mohli v prípade potreby zasiahnuť.

• Zaručenie presnosti, robustnosti a bezpečnosti: Spĺňajte vysoké štandardy, aby ste minimalizovali chyby a zabránili kybernetickým útokom.

• Implementovanie systémov kontroly kvality: Zaveďte procesy na zabezpečenie trvalého dodržiavania predpisov.

Rád by som vám poskytol konkrétnu predstavu o tom, aké by ste mohli mať náklady, potrebné na splnenie povinnosti pre vaše prípady použitia vysoko rizikovej AI. Keďže sme v skorej fáze ratifikácie regulácie, mojím najlepším pokusom o referenčnú hodnotu by bol školiaci kurz, ktorý pripravujem pre odborníkov z praxe. V súčasnosti ponúkam kurz, ktorý trvá 3 až 5 dní a slúži len na sprostredkovanie potrebných postupov pre účastníkov. Skutočná implementácia týchto postupov sa dá z môjho pohľadu ľahko odhadnúť na desaťnásobok tohto úsilia, na jeden prípad použitia (teda 30 - 50 osobodní).

Časový harmonogram a ďalšie kroky

Po nadobudnutí účinnosti sa nariadenia AI Act uplatňujú:

• 6 mesiacov pre systémy AI so zakázanými praktikami.

• 24 mesiacov pre vysoko rizikové systémy AI 

• (existujú aj ďalšie detailné lehoty)

Buďme teraz praktickí. Zdá sa, že je na to dosť času, však? To sme si mysleli všetci, keď sa blížilo GDPR. Berme túto reguláciu ako inšpiráciu na predvídanie toho, čo sa stane s Ai Act. Nižšie si môžete pozrieť údaje Google Trends pre GDPR. Ako vidíte, väčšina spoločností čakala s riešením súladu do poslednej chvíle. Vzniklo tak šialenstvo, ktoré si mnohí z nás živo pamätajú. Na začiatku roka 2018, zrazu "všetci" naraz chceli byť v súlade s nariadením GDPR. Žiaľ, dosiahnutie súladu mohlo trvať dlhšie ako niekoľko mesiacov, externí špecialisti mohli byť už obsadení, a podobne. Moje úprimné odporúčanie znie - začnite sa pripravovať už teraz a vyhnite sa tomuto šialenstvu.

Akčné kroky pre tímy a spoločnosti

• Zamerajte sa na "zakázané praktiky AI". 6 mesiacov je krátky čas (napr. zrušenie produktívneho prípadu použitia môže trvať dlhšie). Zorganizujte informačné stretnutia s komunitou pre dáta/Inteligentnú inteligenciu konkrétne na túto tému.

• Zmapujte systémy, v ktorých ste nasadzovateľom a v ktorých ste poskytovateľom.

• Vytvorte si neformálnu dokumentáciu všetkého, čo sa v súvislosti s touto témou deje. 

• Sledujte svojho národného regulátora. Hneď ako vytvoria riadiace orgány v akejkoľvek forme, napríklad "sandboxes", spojte sa s nimi. 

• Vyčleňte viacero ľudí z radov vývojárov a audítorov, aby sa dôkladne informovali o tejto téme.

• Nepúšťajte sa do defenzívy typu "chceme sa vyhnúť zákonu o umelej inteligencii tým, že nebudeme používať umelú inteligenciu". Tým by ste prišli o obrovskú konkurenčnú výhodu.

---

Potrebujete pomôcť s dodržiavaním predpisov AI Act ?

Ak hľadáte podporu, ponúkam školenia, konzultácie a audity. Vaše otázky môžete zaslať na email robert@barcik.training .

Ak ste jednotlivec, ktorý by sa chcel dozvedieť detailnejšie informácie o tejto regulácii, zverejnil som kurz na Udemy, ktorý pravidelne aktualizujem na základe vývoja AI Act.