Formulari per identificar el nivell de risc d'un sistema d'IA
La intel·ligència artificial pot contribuir a millorar l’eficiència i la qualitat dels serveis públics, però també pot generar riscos legals, ètics i socials si no s’utilitza adequadament.
El Reglament Europeu d’Intel·ligència Artificial (RIA) classifica els sistemes d’IA —conjunts de tecnologies i algoritmes que permeten a les màquines realitzar tasques pròpies de la intel·ligència humana— segons el seu nivell de risc i el possible impacte sobre els drets de les persones. Per als ajuntaments, identificar aquest risc és clau per complir la normativa i protegir la ciutadania.
Aquest formulari ofereix una primera orientació per determinar el nivell de risc d’un sistema d’IA abans de posar-lo en funcionament o d’avaluar-ne l’ús.
-Pas 1 de 4- Informa de les dades bàsiques del sistema d'IA
Descriu breument quin sistema d’IA s’està utilitzant o es vol implantar, per a què serveix i en quin àmbit municipal s’aplica.
* Els camps marcats amb asteriscs són obligatoris.
-Pas 2 de 4- Identifica si el sistema d'IA està prohibit
Comprova si el sistema encaixa en usos que no estan permesos segons el Reglament, perquè poden vulnerar greument els drets de les persones.
p. ex. Un joc per a nens que envia missatges amagats per fer-los voler comprar coses sense adonar-se'n
p. ex. Un xatbot que enganya a persones grans perquè contractin serveis que no necessiten
p. ex. Un sistema que classifica als estudiants segons el seu comportament a classe i en limita l'accés a beques
p. ex. Un programa que assigna un nivell de risc de delinqüència entre d'altres característiques, pel seu barri de residència, el nivell d'estudis i l'estat ocupacional
p. ex. Un codi que recull fotos de xarxes socials i càmeres de carrers per crear una base de dades de persones
p. ex. Un sistema de càmeres que analitza les cares dels alumnes a classe per saber si estan atents
p. ex. Un programa que analitza l'expressió facial de la persona per deduir la religió
p. ex. Un sistema de càmeres que identifica persones en temps real al carrer
-Pas 3 de 4- Determina si el sistema d'IA és d'alt risc
Identifica si el sistema pot afectar a la seguretat, a la salut o als drets fonamentals de les persones. Aquests usos requereixen mesures estrictes de control i supervisió.
p. ex. Un sistema d'IA que controla el funcionament dels frens d'un vehicle o el sistema de seguretat d'un ascensor
p. ex. Un sistema d'IA que defineix el perfilat de candidats per a processos selectius
p. ex. Un sistema d'IA que assigna cita prèvia segons el grau d'urgència de la petició. En aquest cas, el sistema impacta en molts usuaris i per tant, si presenta qualsevol error o biaix pot tenir conseqüències importants
p. ex. Un sistema d'IA que consulta dades de la ciutadania en altres administracions per calcular l'import d'un ajut i que genera els informes sense supervisió humana.
p. ex. Un sistema d'IA que gestiona la distribució d'electricitat en una xarxa energètica sense validació humana
p. ex. Un sistema d'IA que corregeix exàmens universitaris sense validació humana
p. ex. Un sistema d'IA que selecciona i descarta candidats automàticament per a una feina
p. ex. Un sistema d'IA que decideix si una persona rep una assegurança de salut en funció del seu historial mèdic
p. ex. Un sistema d'IA que avalua automàticament la fiabilitat d'un testimoni durant un procés judicial
p. ex. Un sistema d'IA que analitza sol·licituds d'asil i decideix si una persona pot obtenir la residència
p. ex. Un sistema d'IA que interpreta proves en un judici i influéix en la decisió del jutge
-Pas 4 de 4- Revisa si el sistema té un impacte baix
Els casos en que el sistema d'IA s’utilitza com a suport o eina interna es considera que el risc és limitat. Tot i així, cal complir requisits bàsics de transparència.
-Resta de Sistemes d'IA- Risc residual
p. ex. Un sistema d'IA que filtra correus spam, un joc basat en IA, un asistent de text bàsic, etc.