Estratègia municipal d'algoritmes i dades

Enunciat oficial. Estratègia municipal d'algoritmes i dades per a l'impuls ètic de la intel·ligència artificial.

Documents: Mesura de govern d'IA i Metodologia de sistemes algorítmics; marc de principis a la Mesura de digitalització oberta.

1. Origen i evolució

Naturalesa: és una mesura de govern, no una ordenança. No té rang normatiu vinculant per a tercers: obliga l'organització municipal i els seus proveïdors a través dels plecs i de les instruccions internes.

2. Objectius de l'estratègia

1. Garantir que l'ús de la IA i de les tecnologies urbanes emergents als serveis municipals respecta els drets digitals de la ciutadania.
2. Establir el marc normatiu i metodològic intern per a la incorporació d'aquestes tecnologies.
3. Fomentar l'humanisme tecnològic: la tecnologia al servei de les persones.
4. Promoure models transparents, auditables i oberts.
5. Assegurar la sobirania tecnològica i de les dades i evitar la dependència de proveïdors.
6. Reduir els biaixos i les discriminacions algorítmiques.
7. Impulsar la innovació i l'ús de la IA per millorar els serveis públics.
8. Generar coneixement i capacitat interna i formar el personal.

3. Principis

• Transparència i explicabilitat: la ciutadania ha de poder saber quan hi ha un algorisme darrere d'una decisió, quines dades fa servir i amb quina lògica.
• Supervisió humana: cap decisió amb efectes rellevants sobre drets sense intervenció humana significativa.
• Equitat i no-discriminació: avaluació i mitigació de biaixos, amb atenció especial als col·lectius vulnerables.
• Privadesa des del disseny i minimització de dades.
• Seguretat i robustesa.
• Rendició de comptes: responsabilitat identificable i mecanismes de reclamació.
• Sostenibilitat: consideració de l'impacte ambiental.
• Sobirania digital: control municipal sobre dades, models i infraestructura; preferència pel programari lliure i els estàndards oberts.
• Participació: implicació de la ciutadania i dels col·lectius afectats en el disseny.
• Proporcionalitat: la intensitat dels controls s'ajusta al risc del sistema.

4. Instruments

4.1 Registre municipal d'algorismes

El RPA (Registre Públic d'Algorismes) és l'inventari públic dels sistemes algorítmics que utilitza l'Ajuntament. Tot sistema algorítmic hi ha d'inscriure's, sigui quin sigui el seu nivell de risc, amb la seva finalitat, l'abast, l'àrea responsable, les dades que tracta, el tipus de decisió que suporta, el nivell de risc i, quan n'hi ha, l'EIA (Estudi d'Impacte Algorítmic). És l'instrument central de transparència algorítmica i segueix la línia dels registres d'Amsterdam i Hèlsinki.

Qui l'audita: l'estudi d'impacte previ el revisa el Consell Assessor en Intel·ligència Artificial, Ètica i Drets Digitals, format per experts externs a l'Ajuntament per garantir-ne la imparcialitat; un cop en explotació, el sistema es revisa mitjançant auditories algorítmiques dutes a terme per una entitat externa, amb la contractació liderada per l'IMI (Institut Municipal d'Informàtica), avui BIT (Barcelona Innovació i Tecnologia). Si el sistema tracta dades personals, s'inscriu també al RAT (Registre d'Activitats de Tractament) municipal.

Rendició de comptes: la informació del RPA —finalitat, abast, dades, riscos, EIA, informes d'auditoria i balanç final— es difon al Portal de Transparència, el canal bàsic i general perquè la ciutadania pugui conèixer i exigir comptes sobre l'ús municipal de la IA.

4.2 Avaluació d'impacte algorítmic

Procediment d'anàlisi previ al desplegament que valora l'impacte sobre drets fonamentals, equitat, privadesa i seguretat, i que determina les mesures de mitigació i el nivell de supervisió humana necessari. S'articula amb l'AIPD (Avaluació d'Impacte de Protecció de Dades) del RGPD, art. 35 i, per als sistemes d'alt risc, amb la FRIA (Fundamental Rights Impact Assessment) del RIA (Reglament d'Intel·ligència Artificial). L'art. 27 del RIA no l'exigeix davant qualsevol sistema d'alt risc: només davant els de l'annex III —llevat del punt 2— i quan el desplegador és un organisme de dret públic o una entitat privada que presta serveis públics; i, sigui quin sigui el desplegador, davant els de l'annex III, punt 5, lletres b) i c).

4.3 Definició de metodologies i protocols de contractació

El document Metodologia de sistemes algorítmics estableix com s'han de contractar els sistemes algorítmics:

• Clàusules tipus per als plecs: obligació de documentar el model i les dades d'entrenament, auditabilitat, lliurament del codi font, dret d'accés i d'inspecció, reversibilitat i propietat dels resultats.
• Requisits de qualitat de les dades i de documentació dels conjunts de dades (fitxes de dades, datasheets).
• Avaluació de biaixos com a requisit de lliurament.
• Criteris d'adjudicació que valorin transparència, explicabilitat i codi obert.
• Protocol de proves i validació abans del pas a producció.
• Monitoratge posterior i revisió periòdica del sistema en producció (deriva del model).

Alliberament del codi. Quan al plec no hi ha cap clàusula sobre la llicència del programari, cal mirar la titularitat: l'LCSP, art. 308.1 estableix que, llevat que el plec digui una altra cosa, els contractes de serveis que desenvolupen un producte protegit per propietat intel·lectual porten aparellada la cessió d'aquest dret a l'Administració contractant. Un cop l'Ajuntament n'és titular, alliberar-lo com a codi obert exigeix dos passos, no un de sol:

1. Comprovar les llicències de tercers: si el codi incorpora llibreries amb llicència propietària incompatible, no es pot publicar el conjunt sense abans substituir-les o negociar-ne l'ús.
2. Associar-hi una llicència de programari lliure adequada. L'ENI, art. 16 fixa les condicions de llicenciament de les aplicacions de titularitat pública (execució per a qualsevol propòsit, accés al codi font, modificació i redistribució) i indica que es procurarà l'aplicació de l'EUPL (European Union Public Licence, Llicència Pública de la Unió Europea).

4.4 Governança

L'estratègia crea quatre òrgans amb funcions diferenciades, dos d'interns i dos de participació externa:

• Comissió Transversal per a l'impuls de la IA ètica: òrgan intern, amb representació de les àrees municipals i ens dependents. Valida els sistemes d'IA que es proposen implantar, dirimeix els conflictes que sorgeixin en el seu ús i vetlla perquè la veu de la ciutadania es tingui en compte en el disseny dels serveis.
• Oficina Tècnica d'IA de l'IMI/BIT: defineix els estàndards i la metodologia tècnica, desenvolupa projectes pilot i n'avalua els riscos.
• Consell Assessor en Intel·ligència Artificial, Ètica i Drets Digitals: òrgan de participació extern —món acadèmic, societat civil, empreses tecnològiques— que emet els EIA i n'avalua l'impacte de manera imparcial, com a supervisió externa independent de l'Ajuntament.
• Pacte de ciutat per a l'impuls de l'humanisme tecnològic: òrgan participatiu ampli d'entitats, empreses i institucions que es reuneix un cop l'any per debatre, amb un enfocament menys tècnic que el Consell, la idoneïtat i l'impacte social dels sistemes d'IA municipals.

A més: el Delegat de Protecció de Dades, amb intervenció preceptiva quan hi ha tractament de dades personals; l'Oficina Municipal de Dades (OMD), dirigida pel Chief Data Officer, per al govern de les dades municipals → tema 31; i la formació del personal en competències de dades i IA.

4.5 Altres actuacions

• Catàleg de casos d'ús prioritzats per valor públic.
• Espai de proves controlat per assajar solucions abans del desplegament.
• Col·laboració amb universitats, centres de recerca i altres ciutats (Cities Coalition for Digital Rights, impulsada per Barcelona, Amsterdam i Nova York).
• Open Data BCN com a infraestructura de dades obertes → tema 33.
• Comunicació i alfabetització de la ciutadania sobre l'ús d'algorismes.

5. Els drets digitals com a marc

L'estratègia s'insereix en el discurs municipal de drets digitals:

• Sobirania digital: control sobre la infraestructura, les dades i el codi.
• Dades com a bé comú: les dades generades pels serveis públics i pels ciutadans pertanyen a la col·lectivitat, no al proveïdor que opera el servei.
• Programari lliure i «public money, public code»: el codi pagat amb diner públic s'ha de publicar.
• Estàndards oberts i interoperabilitat per evitar el bloqueig.
• Ètica per disseny i privadesa per disseny.
• Inclusió digital i lluita contra la bretxa.

Referències: la Mesura de digitalització oberta, els Barcelona Digital Standards i la guia de programari lliure municipal.

6. Encaix normatiu

Claus d'examen

• Si el plec no diu res sobre la llicència del codi desenvolupat i s'entén que és propietat de l'Ajuntament, alliberar-lo com a codi lliure exigeix dos passos, no un: comprovar que no s'hi han incorporat llibreries de tercers amb llicència propietària incompatible, i associar-hi una llicència de programari lliure adequada; publicar-lo directament sense comprovar-ho, o en format binari, són distractors (TS-TIC 2021, pràctica, s4-p21).
• La titularitat del codi, quan el plec calla, ve de l'LCSP, art. 308.1: la cessió a l'Administració és la regla per defecte, no l'excepció.
• No es confongui la FRIA (art. 27 del Reglament d'IA, drets fonamentals) amb l'AIPD (art. 35 del RGPD, protecció de dades): són avaluacions complementàries, no la mateixa.

Per recordar

• L'estratègia és una mesura de govern, aprovada per primer cop el 2021 i actualitzada el 2026 per adaptar-la al Reglament europeu d'IA. Barcelona en va ser pionera.
• Objectiu central: que l'ús de la IA als serveis municipals respecti els drets digitals de la ciutadania, amb models transparents, auditables i oberts.
• Instruments: Registre Públic d'Algorismes (RPA), avaluació d'impacte algorítmic (EIA), metodologies i clàusules de contractació, i governança amb l'OMD i el CDO.
• El RPA l'audita, abans del desplegament, el Consell Assessor en IA, Ètica i Drets Digitals; en explotació, auditories externes contractades per l'IMI/BIT.
• Principis: transparència i explicabilitat, supervisió humana, equitat, privadesa des del disseny, seguretat, rendició de comptes, sostenibilitat, sobirania digital i participació.
• La FRIA de l'art. 27 del Reglament d'IA no obliga davant qualsevol sistema d'alt risc: l'àmbit és el dels sistemes de l'annex III (§4.2).
• La contractació ha d'exigir documentació del model i de les dades, auditabilitat, codi font i reversibilitat.
• Alliberar codi com a programari lliure (LCSP, art. 308.1 + ENI, art. 16): la titularitat es cedeix a l'Administració per defecte, cal revisar les llicències de tercers, i la llicència recomanada és l'EUPL.