Dades obertes i reutilització de la informació

Enunciat oficial. Dades obertes i reutilització de la informació a l'Administració Local. Open Data BCN. Estàndards, llicències i interoperabilitat.

1. Conceptes

Dades obertes (open data): dades que qualsevol pot utilitzar, reutilitzar i redistribuir lliurement, amb l'única exigència, com a màxim, d'atribució i de compartir amb la mateixa llicència.

RISP (Reutilització de la informació del sector públic): ús per part de persones físiques o jurídiques de documents en poder del sector públic amb finalitats comercials o no comercials diferents del propòsit inicial del servei públic per al qual es van produir.

Tres conceptes que no s'han de barrejar:

2. Marc normatiu

• Directiva 2019/1024 — Directiva (UE, Unió Europea) 2019/1024, de dades obertes i reutilització de la informació del sector públic. Substitueix la Directiva PSI de 2003. Novetats: principi d'obertura per disseny i per defecte, gratuïtat com a regla, ampliació a empreses públiques i a dades de recerca, i creació de la categoria de conjunts de dades d'alt valor.
• Reglament d'execució (UE) 2023/138: fixa les sis categories de conjunts de dades d'alt valor, de publicació obligatòria, gratuïta i en format llegible per màquina via API: 1. Geoespacials 2. Observació de la Terra i medi ambient 3. Meteorològiques 4. Estadístiques 5. Societats i propietat de societats 6. Mobilitat
• Llei 37/2007, de reutilització de la informació del sector públic, modificada pel RDL (Reial Decret Llei) 24/2021 que transposa la Directiva 2019/1024. La reforma va introduir, entre altres coses, la gratuïtat com a regla general (abans es podia tarifar sense aquesta limitació): la reutilització només es pot tarifar de manera excepcional, i el que es cobri ha de quedar limitat als costos marginals de reproduir, posar a disposició i difondre la informació —incloent-hi, si escau, l'anonimització de dades personals i les mesures de protecció d'informació comercial confidencial—, mai al preu de venda. El límit dels costos marginals no és universal: l'article 7.2 n'exceptua els organismes obligats a cobrir una part substancial dels costos del servei públic, les biblioteques —incloses les universitàries—, els museus, els arxius i determinades societats mercantils públiques, que sí que poden repercutir costos més amplis i un marge de benefici raonable.
• Prohibició d'acords d'exclusivitat: els organismes del sector públic no poden atorgar drets d'exclusivitat a tercers sobre la reutilització, tret que siguin necessaris per prestar un servei d'interès públic; en aquest cas l'acord s'ha de revisar periòdicament (com a mínim cada tres anys). Els acords d'exclusivitat per digitalitzar recursos culturals tenen un règim propi, amb una durada que sol limitar-se a deu anys.
• Llei 19/2013 i Llei 19/2014: la publicitat activa ha de ser preferiblement en formats reutilitzables.
• ENI i la NTI (Norma Tècnica d'Interoperabilitat) de Reutilització de recursos d'informació, que defineix les condicions de la publicació, el vocabulari i el model de metadades.
• DGA (Data Governance Act, Reglament (UE) 2022/868): regula la reutilització de dades protegides en poder del sector públic (dades personals, confidencials o amb drets de tercers), els serveis d'intermediació de dades i l'altruisme de dades.
• Data Act (Data Act, Reglament (UE) 2023/2854): accés i ús de les dades generades per productes connectats, i canvi de proveïdor de serveis de tractament de dades.
• RGPD: les dades personals no es poden obrir; cal anonimització irreversible (l'anonimització correcta les treu de l'àmbit del RGPD; la pseudonimització no).

Excepcions a la reutilització: informació afectada per la seguretat nacional, la defensa, la propietat intel·lectual de tercers, el secret estadístic o comercial, la protecció de dades personals i la informació que no obri en poder del sector públic.

3. Principis i qualitat de les dades obertes

Els principis internacionals (Open Data Charter, Sunlight Foundation):

Obertes per defecte · oportunes i exhaustives · accessibles i utilitzables · comparables i interoperables · per a la millora de la governança i la participació ciutadana · per al desenvolupament inclusiu i la innovació.

Requisits d'un conjunt de dades obert: complet, primari (a la font i amb el màxim detall), oportú (publicat aviat), accessible al major nombre d'usuaris i finalitats, processable per màquina, no discriminatori (sense registre previ), en format no propietari i lliure de llicències restrictives.

Criteri de classificació a l'hora de publicar: davant un conjunt de dades nou, l'Administració l'ha de situar en el model de les cinc estrelles per decidir si el format en què es publica és prou obert, i no només si es publica o no. Un criteri ben fonamentat combina el valor per a la ciutadania i la demanda existent, la facilitat i el cost d'anonimització i manteniment, i si el conjunt entra dins d'una de les categories d'alt valor (publicació obligatòria via API). El model de cinc estrelles és l'escala de referència per graduar-lo:

4. Formats, estàndards i metadades

Interoperabilitat: que un conjunt de dades es pugui reutilitzar sense dependre de qui l'ha publicat exigeix tres coses alhora: format obert i no propietari (perquè qualsevol eina el pugui llegir), vocabulari de metadades comú (perquè el significat dels camps es pugui interpretar igual en portals diferents) i API estandarditzada (perquè es pugui consultar per programa). És el que permet que data.europa.eu federi automàticament els portals nacionals (datos.gob.es) i regionals (dades.gencat.cat, Open Data BCN): sense estàndards compartits, cada portal seria una illa.

Formats de publicació adequats: CSV (Comma-Separated Values: el més estès i recomanat per a dades tabulars), JSON (JavaScript Object Notation), XML (eXtensible Markup Language), RDF (Resource Description Framework)/Turtle/JSON-LD (Linked Data: dades enllaçades), Parquet (grans volums), GeoJSON, SHP, GML (Geography Markup Language), KML (Keyhole Markup Language, geogràfics), GTFS (General Transit Feed Specification: transport públic).

No adequats per publicar un conjunt de dades obertes: XLSX (llegible per màquina però propietari), PDF (no és processable per màquina), una imatge o captura de pantalla (no és processable ni editable), i JS (JavaScript) —que no és un format de dades, sinó un llenguatge de programació: no descriu dades, les manipula.

Compte amb una errada de solucionari documentada al material: en una pregunta sobre formats geogràfics, GeoJSON SÍ que és un format geogràfic (és l'estàndard de facto per a dades geoespacials en JSON). El format que no ho és, en aquell enunciat, era MKV (Matroska Video: un contenidor de vídeo).

Metadades i vocabularis: les metadades no són les dades substantives del conjunt, sinó dades sobre les dades —i sovint es publiquen amb el conjunt i al catàleg—: qui les ha publicat, en quin format, quan es van actualitzar per última vegada, quina àrea temàtica cobreixen o amb quina llicència es distribueixen. És aquesta informació la que permet trobar un conjunt de dades al catàleg, saber si és fiable i de qui prové, i que una eina el pugui interpretar sense intervenció humana; per això un estàndard de metadades (DCAT) és tan necessari com el format de les dades pròpiament dites.

• DCAT i el seu perfil europeu DCAT-AP (Application Profile: el perfil d'aplicació que n'estandarditza l'ús a Europa) (i l'espanyol DCAT-AP-ES), estàndard per descriure catàlegs de dades: conjunt de dades, distribució, publicador, tema, freqüència d'actualització, cobertura temporal i espacial.
• NTI de Reutilització: model de metadades obligatori a Espanya, basat en DCAT.
• Schema.org, Dublin Core, Data Package (frictionless).
• Taxonomia sectorial de datos.gob.es (22 sectors primaris).

API (Application Programming Interface): la publicació moderna exigeix API REST (REpresentational State Transfer) amb consulta, filtratge i paginació, a més de la descàrrega massiva (bulk download). Els conjunts d'alt valor ho tenen com a obligació legal.

Plataformes: CKAN (Comprehensive Knowledge Archive Network: la més estesa al sector públic, de codi obert), Socrata, OpenDataSoft, DKAN, uData.

Portals: datos.gob.es (nacional), dades.gencat.cat (Catalunya), data.europa.eu (europeu, que federa els nacionals), Open Data BCN (municipal).

5. Llicències

Creative Commons és una organització sense ànim de lucre que publica un joc de llicències estàndard i gratuïtes amb les quals l'autor cedeix per endavant part dels seus drets: no és un domini públic ni una renúncia al dret d'autor, sinó una manera de dir per escrit què pot fer qui rep l'obra. Les sigles CC que porten totes les llicències de la taula són les seves.

No són llicències obertes: CC BY-NC (Non-Commercial: prohibeix l'ús comercial) i CC BY-ND (No Derivatives: prohibeix les obres derivades). L'ús comercial ha de ser possible perquè unes dades siguin obertes; és una confusió freqüent.

Condicions generals de reutilització (art. 8 de la Llei 37/2007): no alterar el contingut, no desnaturalitzar el sentit de la informació, citar la font, esmentar la data de l'última actualització i no indicar que hi ha patrocini o aprovació del reutilitzador per part de l'organisme.

6. Open Data BCN

Portal de dades obertes de l'Ajuntament de Barcelona (opendata-ajuntament.barcelona.cat), un dels més antics d'Europa (des del 2010) i dels més ben valorats.

Característiques:

• Basat en CKAN, de codi obert.
• Centenars de conjunts de dades organitzats per àmbits: administració, ciutat i serveis, economia i empresa, població, territori i medi ambient.
• Publicació en CSV, JSON, XML, GeoJSON i API.
• Llicència CC BY 4.0 amb atribució a l'Ajuntament de Barcelona.
• Metadades conformes a DCAT i a la NTI.
• Integració amb la plataforma de dades municipal i amb Sentilo (sensors), amb dades gairebé en temps real de mobilitat, qualitat de l'aire, soroll i ocupació.
• Governat per l'OMD (Oficina Municipal de Dades) → tema 31.

Marc de principis: la Mesura de digitalització oberta i la mesura de gestió ètica i responsable de les dades, amb la idea de les dades com a bé comú i la sobirania sobre les dades generades pels serveis municipals —incloent-hi les generades per concessionaris, que els plecs han d'obligar a cedir a l'Ajuntament.

Iniciatives associades: Decidim (participació, de codi obert), DECODE (DEcentralised Citizen-owned Data Ecosystems: projecte europeu de sobirania de dades ciutadana), Cities Coalition for Digital Rights, BCNROC (BCN Repositori Obert del Coneixement: repositori documental obert) i el Pla Barcelona Ciutat Digital.

7. Valor i reptes

Valor: transparència i retiment de comptes, reutilització econòmica (aplicacions, serveis, recerca), eficiència interna (les àrees municipals també consumeixen l'API), participació ciutadana i innovació oberta.

Reptes:

• Qualitat i actualització: un conjunt publicat una vegada i abandonat perd tot el valor. Cal automatitzar la publicació des del sistema d'origen.
• Anonimització correcta: la reidentificació per creuament és un risc real; cal avaluar-lo abans de publicar.
• Sostenibilitat: qui manté els conjunts quan canvia el sistema d'origen.
• Governança: el catàleg de dades obertes ha de derivar del catàleg intern de dades → tema 31.
• Demanda: publicar el que es demana, no només el que és fàcil de publicar.
• Dades de concessionaris: assegurar-ne per plec la titularitat i la cessió.

Claus d'examen

• Un «criteri ben fonamentat» per compartir un conjunt de dades no és exigir directament les cinc estrelles. En un supòsit sobre les dades de Mercats, l'opció marcada com a correcta és la de tres estrelles —format estructurat i obert (no propietari)—, no la de cinc (dades enllaçades, l'excel·lència tècnica) ni la d'una (que l'enunciat descriu, erròniament, com «processable automàticament sense estar estructurada») (TS-TIC 2021 pràctica, supòsit 1, p. 19).
• JS (JavaScript) no és un format de dades obertes: és un llenguatge de programació. Entre KML, RDF, CSV i JS, el que no serveix per oferir un conjunt de dades és JS, perquè no descriu dades, les manipula (TS-TIC 2021 pràctica, supòsit 4, p. 27).
• GeoJSON SÍ és un format geogràfic vàlid; en una pregunta sobre formats geogràfics, el que no ho és sol ser un contenidor multimèdia com MKV, no GeoJSON.
• CC BY-NC i CC BY-ND NO es consideren llicències obertes, perquè l'ús comercial i les obres derivades han de ser possibles.

Per recordar

• Transparència = publicació activa; dret d'accés = a petició del ciutadà; dades obertes = publicació reutilitzable i llegible per màquina.
• Directiva (UE) 2019/1024: obertura per disseny i per defecte, gratuïtat com a regla, conjunts d'alt valor.
• Les sis categories d'alt valor: geoespacials, observació de la Terra i medi ambient, meteorològiques, estadístiques, societats i propietat de societats, i mobilitat.
• Cinc estrelles: llicència oberta → estructurat → format no propietari → URI → enllaçat.
• CC BY 4.0 és la llicència recomanada; CC BY-NC i CC BY-ND NO són obertes.
• PDF no és format de dades obertes; CSV i JSON sí. GeoJSON és un format geogràfic.
• DCAT / DCAT-AP és l'estàndard de metadades; CKAN és la plataforma més estesa.
• Open Data BCN: des de 2010, sobre CKAN, llicència CC BY 4.0, governat per l'OMD.
• Les dades personals no es poden obrir: cal anonimització irreversible; la pseudonimització no n'hi ha prou.