Tema 28 · Innovació, dades i BI

Gestió de la innovació. Sistema de gestió de la innovació (SGI)

Elaboració pròpia: la font és de pagament i no es reprodueix

Pot estar desactualitzat

Enunciat oficial. Gestió de la innovació. Sistema de gestió de la innovació (SGI): principis, context i lideratge.

1. Conceptes

Innovació (Manual d'Oslo, 4a edició, OCDE (Organització per a la Cooperació i el Desenvolupament Econòmic) / Eurostat): producte o procés nou o millorat —o una combinació d'ambdós— que difereix significativament dels productes o processos anteriors de la unitat i que ha estat posat a disposició dels usuaris potencials (producte) o posat en ús per la unitat (procés).

Dos elements imprescindibles: novetat significativa i implantació efectiva. Una idea no implantada no és innovació: és una invenció.

Tipus d'innovació: la 4a edició del Manual d'Oslo simplifica la classificació a dos —de producte (béns o serveis) i de procés de negoci, que engloba producció, logística, màrqueting, sistemes d'informació i administració—. Les edicions anteriors en distingien quatre: producte, procés, organitzativa i de màrqueting. Poden preguntar per qualsevol de les dues.

Per grau de novetat: incremental, que millora allò existent, contra radical o disruptiva, que canvia les regles del joc entrant per segments desatesos amb un producte més accessible.

Per l'origen del coneixement: innovació oberta contra innovació tancada, totes dues al §8.2. La governança d'aquests fluxos es descriu com a triple hèlix (universitat–empresa–administració) i quàdruple hèlix, que hi afegeix la societat civil. Quan el resultat busca valor col·lectiu i no de mercat es parla d'innovació social i d'innovació pública.

1.1 El sistema de gestió de la innovació (SGI)

Un SGI (Sistema de Gestió de la Innovació) és el conjunt d'elements interrelacionats —política, objectius, estructura i rols, processos, recursos i indicadors— que una organització estableix per innovar de manera sistemàtica i repetible en comptes de per iniciatives aïllades. El que aporta no són idees: aporta que es busquin, es triïn, es financin i s'avaluïn sempre igual, i que el resultat es pugui auditar.

Un SGI és un sistema de gestió normalitzat, com el de qualitat o el de seguretat de la informació, i comparteix amb ells dues coses. Es fonamenta en el cicle de millora contínua —planificar, fer, verificar i actuar—: aquesta és la base de tots els sistemes de gestió, i la mesura d'indicadors, les auditories i les no conformitats en són eines i sortides, no el fonament. I s'ordena segons l'estructura d'alt nivell de l'Annex SL (§2.2), que permet integrar-lo amb els altres sistemes de la casa. El descriuen dues famílies de normes: la UNE 166000 (§2), sobre R+D+i, i la ISO 56000 (§3), sobre innovació en sentit ampli.

2. La família UNE (Una Norma Española) 166000

Sèrie espanyola de normes de gestió de la R+D+i:

2.1 UNE 166006 — Vigilància tecnològica i intel·ligència competitiva

Finalitat: establir els requisits d'un sistema de vigilància tecnològica i intel·ligència competitiva que permeti captar, analitzar, difondre i explotar de manera sistemàtica la informació científica, tecnològica i de l'entorn, per convertir-la en coneixement útil per a la decisió i reduir el risc. És la resposta quan es pregunta la seva finalitat: no certifica projectes ni és norma de qualitat. La vigilància capta i organitza la informació; la intel·ligència competitiva l'analitza i n'extreu conclusions accionables.

Cicle: identificació de necessitats i factors crítics → cerca i captació → anàlisi i validació → difusió → explotació i decisió → avaluació. Les fonts: patents, publicacions científiques, normes, informes d'analistes, fires, competidors i fonts internes.

2.2 UNE 166002 — El sistema de gestió de la R+D+i

Estat de la norma. La UNE 166002:2021 va ser anul·lada l'11 de desembre de 2024 i substituïda per la UNE-EN ISO 56001:2024 (§3), que certifica el sistema de gestió de la innovació i no només de la R+D+i. Es descriu igualment perquè el programa oficial la cita.

Estructura d'alt nivell (Annex SL), igual que la ISO 9001:

4 Context de l'organització · 5 Lideratge · 6 Planificació · 7 Suport · 8 Operació · 9 Avaluació de l'acompliment · 10 Millora

Etapes del procés de R+D+i. La revisió del 2021 va alinear la norma amb la ISO 56002 i va ordenar el procés en cinc blocs, que són els que es pregunten:

1. Identificar oportunitats — des de la vigilància, la prospectiva i l'entorn (§7).
2. Crear conceptes — les idees es tornen conceptes descrits i comparables (§6).
3. Validar conceptes — contrastar-los amb evidència abans de gastar-hi: prototip, prova de concepte, pilot.
4. Desenvolupar solucions — enginyeria i preparació del desplegament.
5. Explotar resultats — comercialització o implantació interna, transferència de tecnologia i protecció de la propietat industrial i intel·lectual.

Compte amb la llista antiga. Fins al 2014 la norma desglossava el procés d'una altra manera —anàlisi de problemes, selecció d'idees, cartera de projectes, comercialització, protecció— i no és la que l'examen dona per bona: la correcta són els cinc blocs de dalt, amb validar conceptes com a fase pròpia.

Unitat de gestió de la R+D+i: la norma exigeix designar-ne una amb responsabilitats i autoritat definides.

3. La ISO 56000: el sistema de gestió de la innovació

Família internacional més recent, que amplia el concepte de R+D+i a innovació en sentit ampli.

3.1 Els vuit principis de la gestió de la innovació

Són vuit i la UNE 166002:2021 els comparteix (§2.2): realització de valor, financer o no; líders orientats al futur; direcció estratègica amb objectius explícits; cultura que fa conviure creativitat i execució; explotació de coneixements interns i externs; gestió de la incertesa, acceptant el fracàs com a aprenentatge; adaptabilitat; i enfocament sistèmic.

3.2 Context i lideratge

Context (capítol 4): comprendre el context intern (cultura, recursos, competències, propietat intel·lectual) i extern (mercat, tecnologia, regulació, competidors, societat), les necessitats de les parts interessades, l'abast del sistema i la cultura de la innovació com a element específic d'aquesta norma (§8.1). Les eines de diagnosi —el DAFO (Debilitats, Amenaces, Fortaleses, Oportunitats), el PESTEL (Polític, Econòmic, Social, Tecnològic, Ecològic i Legal) i el mapa de parts interessades— les desenvolupa el tema 1; aquí només s'hi apliquen.

Lideratge (capítol 5): l'alta direcció ha de retre comptes de l'eficàcia del sistema, establir la visió, l'estratègia, la política i els objectius d'innovació i fer-los compatibles amb la direcció estratègica, promoure una cultura que toleri el risc i l'error, assegurar els recursos, donar suport als altres rols de gestió i assignar rols, responsabilitats i autoritats.

El paper de la direcció no és generar les idees, sinó crear les condicions perquè es generin, es triïn i s'executin.

Planificació (6): riscos, objectius i carteres d'innovació. Suport (7): competències, temps dedicat, infraestructures, eines, propietat intel·lectual i comunicació. Operació (8): els processos d'innovació — identificar oportunitats, crear conceptes, validar conceptes, desenvolupar solucions i desplegar-les. Ull a l'última: la ISO 56002 tanca el procés en el desplegament i la UNE 166002:2021 en l'explotació dels resultats (§2.2).

4. Compra pública d'innovació

La CPI (Compra Pública d'Innovació) és la contractació pública orientada a adquirir béns o serveis que encara no existeixen al mercat, o a finançar-ne el desenvolupament, en comptes de comprar-ne una ja disponible al catàleg. És l'instrument amb què una administració converteix la seva demanda en palanca d'innovació; per això és aquí i no només com a matèria de contractació. El detall articulat de la LCSP el desenvolupa el tema 3; el que cau d'aquest tema és:

• Consulta preliminar del mercat (LCSP, art. 115): conjunt d'actuacions amb què els poders adjudicadors mantenen un diàleg amb el mercat, prèvies a l'inici de l'expedient, per conèixer i estudiar el nombre més ampli possible de solucions i que el marc de la licitació s'ajusti millor al mercat. No és el diàleg competitiu —procediment d'adjudicació, posterior a publicar la licitació— ni una consulta interna entre departaments.
• Als plecs es pot potenciar la innovació amb prescripcions tècniques de caràcter funcional (fixen el rendiment exigit, no la solució), criteris d'adjudicació que valorin les propostes innovadores i subcontractació especialitzada. El que no es pot fer és superar l'import de licitació: el pressupost és un límit fix.
• Dues modalitats: CPP (Compra Pública Precomercial) —serveis de R+D en què l'entitat no es reserva en exclusiva els resultats i comparteix riscos i beneficis; exclosa de la LCSP, art. 8— i CPTI (Compra Pública de Tecnologia Innovadora) —un bé o servei que no existeix en el moment de la compra però desenvolupable en un temps raonable.
• Procediment propi: l'associació per a la innovació (LCSP, art. 177). A Horizon Europe, el contracte que se signa un cop adjudicat el projecte és el grant agreement; el consortium agreement és l'acord intern entre socis.

5. Tecnologies emergents com a objecte d'innovació

Apareixen al temari com a exemples d'innovació. La que ha caigut és la cadena de blocs.

Blockchain / DLT (Distributed Ledger Technology)

• Cadena de blocs: registre distribuït replicat entre nodes, on les transaccions s'agrupen en blocs enllaçats criptogràficament — cada bloc conté el hash de l'anterior.
• Per què és resistent a manipulacions: perquè cada bloc conté el hash del previ i el registre està replicat i validat per consens entre nodes independents; alterar una transacció exigiria recalcular el hash d'aquell bloc i de tots els posteriors i imposar-ho a la majoria de la xarxa. La immutabilitat no ve del xifratge, sinó de l'encadenament de hashos més el consens distribuït.
• Descentralització: no hi ha una autoritat central que validi les transaccions; ho fan els nodes per consens. Elimina el punt únic de confiança, però no vol dir que no hi hagi regles ni governança.
• Casos d'ús reals: traçabilitat de la cadena de subministrament (aliments, medicaments), titulacions i credencials verificables, registre de la propietat i identitat autosobirana → tema 68. A l'Administració la variant rellevant és la de consorci amb permís.
• Quan no cal: si hi ha una autoritat de confiança acceptada per totes les parts, una base de dades amb signatura i auditoria és més simple i barata. Els distractors del cas d'ús solen ser tasques que una infraestructura convencional ja resol.

Bessó digital → tema 2. IoT → tema 62. La intel·ligència artificial és aquí un exemple de tecnologia emergent que cal avaluar; el seu desenvolupament tècnic i ètic és dels temes 29 i 30.

6. Generació, avaluació i selecció d'idees

És el bloc que la UNE 166002:2021 parteix en crear conceptes i validar conceptes (§2.2), i que la ISO 56007 desenvolupa a part. Té forma d'embut d'innovació: hi entren moltes idees barates i en surten poques solucions cares. Cada estretament és una porta on es decideix si allò continua, es reorienta o s'atura, amb criteris escrits abans —el model Stage-Gate—. Aturar una idea aviat no és un fracàs del sistema: és el que el fa barat.

D'on surten: de la vigilància i la prospectiva (§2.1 i §7), del personal propi (bústia d'idees, intraemprenedoria), de les persones usuàries, del mercat via consulta preliminar (§4) i de l'ecosistema extern (§8.2). L'anàlisi de queixes i incidències és la font més barata i més ignorada. Com es generen: pluja d'idees (brainstorming), amb la regla d'ajornar el judici; design thinking —empatitzar, definir, idear, prototipar i provar—; reptes i hackatons.

Com s'avaluen i se seleccionen: amb criteris explícits i ponderats —encaix estratègic, valor esperat, factibilitat tècnica, cost i termini, risc— sobre una matriu de puntuació o impacte–esforç, i amb una cartera equilibrada entre nucli, adjacent i transformacional. La incertesa no es resol discutint: es compra informació amb prototips i pilots.

On acaba aquest tema i on comença el 3. Aquí s'avalua una idea que encara no existeix, amb criteris qualitatius i molta incertesa. L'avaluació d'una solució concreta ja present al mercat —cas de negoci, retorn de la inversió, build vs buy— és del tema 3.

7. Prospectiva: anticipar en comptes de reaccionar

La prospectiva és l'exploració sistemàtica de futurs possibles a mitjà i llarg termini per decidir avui amb anticipació. No és la vigilància tecnològica (§2.1): els separa l'horitzó.

No competeixen: la vigilància dona el material i la prospectiva el projecta. Mètodes:

• Escenaris: construir tres o quatre futurs coherents i assajar l'estratègia contra tots. No es tracta d'encertar quin passarà, sinó de no quedar despullat davant cap.
• Delphi: consulta iterativa i anònima a un panell d'experts, amb retorn dels resultats entre rondes fins a convergir. L'anonimat impedeix que s'imposi la veu de més autoritat, i és el que el distingeix d'una taula rodona.
• Full de ruta tecnològic (roadmap): posa en una línia de temps mercat, servei i tecnologia habilitadora. Retroprojecció (backcasting): descriure el futur desitjat i caminar cap enrere fins avui. I l'exploració de l'horitzó, que llegeix senyals febles.

La corba de maduresa (Hype Cycle) de Gartner i la seqüència prova de concepte → pilot → producció les desenvolupa el tema 3.

8. Cultura d'innovació i innovació oberta

8.1 La cultura d'innovació

La cultura és el quart dels vuit principis (§3.1) i l'element del context que la ISO 56002 afegeix respecte d'altres sistemes de gestió: sense ella el sistema es queda en paperassa. Es reconeix per fets:

• Tolerància a l'error, amb una condició: barat, primerenc i documentat. Tolerar l'error no és tolerar repetir-lo.
• Temps i pressupost protegits per explorar, que és el primer que es retalla quan hi ha urgències.
• Reconeixement de qui proposa, també quan la proposta s'atura, i intraemprenedoria: recursos i un padrí intern per a qui vol tirar endavant la seva idea.
• Seguretat psicològica: un equip on qüestionar surt car només produeix idees prudents.

A l'Administració la resistència no sol ser hostilitat, sinó aversió al risc induïda pel control: qui innova respon dels seus errors i qui no innova no respon de res.

8.2 Innovació oberta i els seus mecanismes

La innovació oberta (Chesbrough) és el model en què l'organització fa servir deliberadament fluxos de coneixement amb l'exterior, en comptes de generar i explotar tota la innovació dins de casa, com fa la innovació tancada. Té tres direccions: d'entrada (inbound), incorporar coneixement de fora —universitats, centres tecnològics, empreses emergents, ciutadania—; de sortida (outbound), cedir a tercers allò que no s'explota —llicències, alliberament de codi, transferència—; i acoblada (coupled), co-creació amb un soci, amb aportació i retorn per les dues bandes.

Obert/tancat i incremental/radical són dos eixos diferents, i el tribunal els creua: el primer diu d'on ve el coneixement i el segon quant canvia el que ja hi havia (§1). Una innovació oberta pot ser incremental, i una de tancada, radical.

Mecanismes: reptes i concursos d'innovació; hackatons; laboratoris ciutadans i living labs, que assagen amb persones usuàries reals; col·laboració amb universitats i centres tecnològics; empreses derivades (spin-off) i inversió corporativa; col·laboració massiva (crowdsourcing) i programari lliure; i l'espai de proves regulatori (sandbox) → tema 3.

I sobretot: en una administració, la compra pública d'innovació (§4) és el mecanisme d'innovació oberta propi: la consulta preliminar obre el problema a qui el pot resoldre i l'associació per a la innovació paga perquè el resolgui.

9. Indicadors d'innovació

Un SGI que no es mesura no es pot millorar: els indicadors alimenten el capítol d'avaluació de l'acompliment (§2.2) i tanquen el cicle de millora contínua (§1.1). La ISO 56008 hi és la guia. Es classifiquen per on cauen a la cadena, i confondre'n el tipus és l'error típic:

Tres regles que valen més que la llista. Un indicador d'entrada no mesura innovació: mesura esforç —un sistema avaluat només per la despesa en R+D premia gastar—. Els de procés diuen si el sistema està viu: moltes idees captades i taxa de conversió zero no és un problema de creativitat, és l'embut tapat a la porta d'avaluació. I cap indicador aïllat val: es miren en quadre de comandament, amb almenys un de cada tipus i una sèrie temporal al darrere.

El European Innovation Scoreboard de la Comissió Europea agrupa desenes d'indicadors en dimensions d'entrada, d'activitat i de resultat per comparar els estats membres.

Claus d'examen

• La família UNE 166000 es pregunta creuant finalitats: 166000 terminologia, 166001 projectes, 166002 el sistema de gestió, 166006 vigilància, 166008 transferència. Dues vegades amb el mateix mecanisme (TS-TIC 2025, p. 5, sobre la 166006; TS-TIC 2025 pràctica, p. 28, sobre la 166000).
• Les etapes de la UNE 166002 són les cinc del 2021, no la llista antiga. Els distractors treuen validar conceptes, hi posen reservar pressupost o gestionar el canvi, o deixen la llista en tres (TS-TIC 2023, p. 38).
• Consulta preliminar contra diàleg competitiu: la clau és el moment. La consulta és prèvia a l'expedient; el diàleg competitiu és un procediment d'adjudicació posterior a publicar la licitació. Els altres distractors mouen l'actor —departaments interns en comptes del mercat—. És la més repetida del tema, tres vegades (TS-TIC 2018, p. 85; TS-TIC 2021, p. 41; TS-TIC 2023, p. 41).
• A la CPI, la falsa toca els diners i les sigles s'inventen. Als plecs no es pot superar l'import de licitació per proposar una solució innovadora (TS-TIC 2021, p. 40); i les úniques modalitats són CPP i CPTI (TS-TIC 2023, p. 39). D'Horizon Europe han preguntat el grant agreement, no el consortium agreement (TS-TIC 2023, p. 40).
• De blockchain només han preguntat el perquè. La immutabilitat ve de l'encadenament de blocs amb hash criptogràfic i de la distribució entre nodes, no dels smart contracts ni del xifratge; i la descentralització vol dir que no hi ha autoritat central que validi (TS-TIC 2025, p. 49; TS-TIC 2025 pràctica, p. 24 i p. 27). El cas d'ús que demanen és la traçabilitat de la cadena de subministrament (TS-TIC 2025 pràctica, p. 29).
• «La base en què es fonamenten els sistemes de gestió» és el cicle de millora contínua. Indicadors, auditories i no conformitats són distractors versemblants perquè tots hi són, però són eines i sortides del cicle (TM-TIC 2021-OP, p. 56).

Per recordar

• Innovació = novetat significativa + implantació efectiva. Una idea no implantada no és innovació.
• Un SGI es fonamenta en el cicle de millora contínua i s'ordena per l'Annex SL. Indicadors, auditories i no conformitats en són eines, no el fonament.
• UNE 166002 = sistema de gestió de la R+D+i (certificable); 166001 = projectes; 166006 = vigilància i intel·ligència competitiva; 166000 = terminologia.
• Etapes de la UNE 166002:2021: identificar oportunitats → crear conceptes → validar conceptes → desenvolupar solucions → explotar resultats.
• ISO 56002 orienta i ISO 56001 certifica; vuit principis, amb la cultura i la gestió de la incertesa entre ells. El lideratge crea les condicions, no genera les idees.
• Vigilància capta, a curt termini; intel·ligència competitiva analitza i conclou; prospectiva projecta a mitjà i llarg termini. L'anonimat caracteritza el Delphi.
• El procés d'idees és un embut amb portes: generar moltes, avaluar amb criteris explícits, aturar aviat. Obert/tancat (d'on ve el coneixement) i incremental/radical (quant canvia) són dos eixos diferents.
• Indicadors: els d'entrada mesuren esforç; els de procés —taxa de conversió, temps de cicle— diuen si el sistema està viu; els de resultat, quin efecte ha tingut.
• CPI: CPP (R+D, sense reserva exclusiva de resultats, fora de la LCSP) i CPTI (bé o servei inexistent). Procediment: associació per a la innovació; abans, la consulta preliminar.
• Blockchain: la resistència a la manipulació ve de l'encadenament de hashos i del consens distribuït; la descentralització és l'absència d'autoritat central de validació.

Tema 29 · Innovació, dades i BI

La Intel·ligència Artificial

Elaboració pròpia: la font és de pagament i no es reprodueix

Enunciat oficial. La Intel·ligència Artificial: tipus i nivells de complexitat, riscos i biaixos. IA ètica i responsable.

1. Concepte i tipus

Sistema d'IA (Reglament (UE) 2024/1689, d'Intel·ligència Artificial (RIA), art. 3, definició legal vigent): sistema basat en una màquina dissenyat per funcionar amb diferents nivells d'autonomia i que pot mostrar capacitat d'adaptació després del desplegament, i que, per a objectius explícits o implícits, infereix de la informació d'entrada que rep la manera de generar resultats de sortida —com prediccions, contingut, recomanacions o decisions— que poden influir en entorns físics o virtuals.

1.1 Per capacitat

• IA estreta o feble (ANI, Artificial Narrow Intelligence): resol una tasca concreta. És tota la IA que existeix avui.
• IA general (AGI, Artificial General Intelligence): capacitat cognitiva equivalent a la humana en qualsevol domini. Hipotètica.
• Superintel·ligència (ASI, Artificial Superintelligence): superior a la humana en tots els àmbits. Hipotètica.

1.2 Per tècnica i nivell de complexitat

Relació entre deep learning i machine learning (pregunta literal): el deep learning és un subconjunt del machine learning que utilitza xarxes neuronals artificials amb múltiples capes ocultes i que aprèn automàticament les característiques rellevants a partir de les dades brutes, sense necessitat d'enginyeria manual de característiques. Requereix molta més dada i capacitat de còmput que el ML clàssic. No és el revés, ni són sinònims, ni són disciplines independents.

Sistemes basats en regles / experts: la IA «simbòlica» clàssica, amb base de coneixement i motor d'inferència. No aprèn: aplica regles escrites per humans. És el nivell de complexitat més baix i el més explicable.

1.3 Tipus d'aprenentatge automàtic

1.4 IA generativa

Models que generen contingut nou (text, imatge, codi, àudio, vídeo) a partir de patrons apresos.

• LLM (Large Language Model): xarxes basades en l'arquitectura transformer (mecanisme d'atenció), entrenades amb grans volums de text per predir el següent token.
• Conceptes: prompt, finestra de context, temperatura, fine-tuning, RAG (Retrieval-Augmented Generation, que ancora les respostes en documents propis i redueix les al·lucinacions), embeddings i bases de dades vectorials, agents.
• Al·lucinació: el model genera contingut plausible però fals. És una propietat intrínseca del mecanisme de generació, no un error corregible del tot.
• Altres famílies generatives: GAN (Generative Adversarial Network, dues xarxes —generador i discriminador— que competeixen), VAE (Variational Autoencoder) i models de difusió (imatge).

2. Riscos i biaixos

2.1 Biaix

Biaix algorítmic: desviació sistemàtica dels resultats que produeix tractament desigual injustificat de persones o grups.

Origen del biaix:

Mètriques d'equitat: paritat demogràfica, igualtat d'oportunitats, igualtat d'odds, calibratge per grups. Són matemàticament incompatibles entre si en el cas general: cal triar quina noció d'equitat s'aplica i justificar-la. Aquest és un punt clau de l'IA responsable.

Eliminar l'atribut protegit no elimina el biaix: altres variables actuen de proxy (codi postal → origen socioeconòmic).

2.2 Altres riscos

• Manca de transparència i explicabilitat («caixa negra»): els models complexos no permeten explicar per què han decidit una cosa. Tècniques d'XAI (eXplainable AI, Artificial Intelligence; IA explicable): LIME (Local Interpretable Model-agnostic Explanations), SHAP (SHapley Additive exPlanations), importància de característiques, models substitut, arbres interpretables.
• Privadesa: entrenament amb dades personals, inferència d'atributs sensibles, atacs d'inferència de pertinença, memorització i regurgitació de dades d'entrenament. Mitigacions: minimització, anonimització robusta, privadesa diferencial, aprenentatge federat.
• Seguretat: atacs adversaris (entrades manipulades imperceptiblement), enverinament de dades (data poisoning), robatori del model, injecció de prompt i fuita d'informació en sistemes generatius.
• Al·lucinacions i desinformació; deepfakes.
• Impacte laboral i desqualificació professional.
• Impacte ambiental: consum energètic i d'aigua de l'entrenament i la inferència.
• Concentració de poder en pocs proveïdors i dependència tecnològica.
• Deriva del model (drift): el món canvia i el model es degrada; cal monitoratge continu i reentrenament.

3. IA ètica i responsable

3.1 Principis

Directrius ètiques per a una IA fiable (Grup d'Experts d'Alt Nivell de la Comissió Europea, 2019). Una IA fiable ha de ser lícita, ètica i robusta, i complir set requisits:

1. Acció i supervisió humanes (human agency and oversight): amb els models human-in-the-loop, human-on-the-loop i human-in-command.
2. Solidesa tècnica i seguretat: resiliència als atacs, pla de contingència, precisió, fiabilitat i reproductibilitat.
3. Gestió de la privadesa i de les dades: qualitat i integritat de les dades, i control d'accés.
4. Transparència: traçabilitat, explicabilitat i comunicació (l'usuari ha de saber que interactua amb una IA).
5. Diversitat, no-discriminació i equitat: evitar biaixos, accessibilitat i disseny universal, participació de les parts interessades.
6. Benestar social i ambiental: sostenibilitat, impacte social i democràtic.
7. Rendició de comptes: auditabilitat, minimització i informe d'impactes negatius, compensació i vies de reparació.

Els quatre principis ètics de què deriven: respecte de l'autonomia humana, prevenció del dany, equitat i explicabilitat.

Altres referents: Recomanació de la UNESCO (United Nations Educational, Scientific and Cultural Organization) sobre l'ètica de la IA (2021), Principis de l'OCDE (Organització per a la Cooperació i el Desenvolupament Econòmic) sobre IA, NIST AI Risk Management Framework i ISO/IEC 42001 (IEC: International Electrotechnical Commission; sistema de gestió de la IA, certificable).

3.2 El Reglament europeu d'IA

RIA (Reglament d'Intel·ligència Artificial) — Reglament (UE) 2024/1689. Primer marc jurídic integral del món. Enfocament basat en el risc, amb quatre nivells:

Obligacions dels sistemes d'alt risc: sistema de gestió de riscos al llarg de tot el cicle de vida, governança de dades (qualitat, representativitat, examen de biaixos), documentació tècnica, registre automàtic d'esdeveniments (logs), transparència i informació a l'usuari desplegador, supervisió humana efectiva, precisió, robustesa i ciberseguretat, sistema de gestió de la qualitat, avaluació de la conformitat i marcatge CE (Conformité Européenne), i registre a la base de dades de la UE (Unió Europea).

Avaluació d'impacte sobre els drets fonamentals (FRIA, Fundamental Rights Impact Assessment): obligatòria per als desplegadors que siguin organismes de dret públic o entitats privades que prestin serveis públics quan utilitzin sistemes d'alt risc. Això afecta directament els ajuntaments.

Models d'IA d'ús general (GPAI, General Purpose Artificial Intelligence): obligacions pròpies de documentació, drets d'autor i resum del contingut d'entrenament; per als de risc sistèmic, avaluacions i notificació d'incidents.

Calendari: en vigor l'1 d'agost de 2024; prohibicions de l'article 5 aplicables als 6 mesos (2 de febrer de 2025), si bé les dues prohibicions noves que hi va afegir el Digital Omnibus —generar material íntim sense consentiment i material d'abús sexual infantil— no s'apliquen fins al 2 de desembre de 2026; obligacions dels models GPAI als 12 mesos (2 d'agost de 2025); transparència de l'article 50 als 24 mesos (2 d'agost de 2026). Els terminis de l'alt risc es van ajornar pel Digital Omnibus (Reglament (UE) 2026/1744, en vigor el 27 de juliol de 2026): l'annex III (els sistemes d'alt risc de l'article 6.2, els anomenats autònoms), previst per al 2 d'agost de 2026, passa al 2 de desembre de 2027; l'annex I (productes regulats), previst per al 2 d'agost de 2027, passa al 2 d'agost de 2028. I una data que toca de ple les administracions: els sistemes d'alt risc ja en ús per autoritats públiques tenen fins al 2 d'agost de 2030 per adequar-s'hi. Autoritat espanyola: l'AESIA (Agencia Española de Supervisión de la Inteligencia Artificial).

3.3 Relació amb el RGPD

• L'RGPD, art. 22 dona dret a no ser objecte d'una decisió basada únicament en el tractament automatitzat, inclosa l'elaboració de perfils, que produeixi efectes jurídics o afecti significativament de manera similar; amb dret a obtenir intervenció humana, a expressar el punt de vista i a impugnar la decisió.
• Els arts. 13 i 14 obliguen a informar de l'existència de decisions automatitzades i, en aquests casos, a facilitar informació significativa sobre la lògica aplicada i sobre la importància i les conseqüències previstes.
• L'RGPD, art. 35 exigeix AIPD (Avaluació d'Impacte de Protecció de Dades) quan hi ha avaluació sistemàtica d'aspectes personals basada en tractament automatitzat amb efectes jurídics.
• Principis d'exactitud i minimització aplicats a les dades d'entrenament.
• Base jurídica de l'analítica i la personalització: quan el tractament amb IA (p. ex. recomanar activitats a partir de l'historial d'ús) no és necessari per prestar el servei bàsic, la base no pot ser l'interès públic; cal el consentiment de la persona usuària (RGPD, art. 6.1.a i art. 7), demanat amb informació clara i entenedora sobre com s'utilitzaran les seves dades.

4. IA al sector públic

Casos d'ús habituals: atenció ciutadana amb assistents conversacionals, classificació i encaminament d'expedients, detecció de frau i d'irregularitats, manteniment predictiu d'infraestructures, gestió de la mobilitat i el trànsit, planificació de serveis socials, anàlisi d'imatges (residus, ocupació de l'espai públic), traducció i accessibilitat.

Requisits addicionals respecte del sector privat:

• Els efectes jurídics de les decisions administratives fan que gairebé qualsevol ús decisori sigui alt risc.
• L'actuació administrativa automatitzada (Llei 40/2015, art. 41) exigeix designar prèviament l'òrgan competent per a especificacions, programació, manteniment, supervisió, control de qualitat i auditoria del sistema i del seu codi font, i l'òrgan responsable a efectes d'impugnació.
• Motivació dels actes (Llei 39/2015, art. 35): una decisió no explicable difícilment és motivable.
• Transparència algorítmica i registre públic d'algorismes.
• Contractació: cal exigir per plec l'accés al model, a les dades, a la documentació i als resultats de l'avaluació de biaixos, i la reversibilitat.

A Barcelona això s'articula amb la Mesura de govern d'IA i la Metodologia de sistemes algorítmics → tema 30.

Claus d'examen

• Deep learning és subconjunt del machine learning, no l'invers ni un sinònim: pregunta literal per la relació entre tots dos (TS-TIC 2025, p. 55).
• Consentiment com a base jurídica de la personalització no essencial: quan un servei ofereix recomanacions d'IA a partir de l'historial de la persona i el tractament no és imprescindible per al servei bàsic, cal demanar el consentiment amb informació clara i entenedora; les altres opcions del tribunal eren categories de dades (perfil, biometria, preferències), no fonaments de licitud (TS-TIC 2018, pràctica s1, p. 29).

Per recordar

• Tota la IA existent és estreta (ANI); l'AGI i l'ASI són hipotètiques.
• El deep learning és un subconjunt del machine learning amb xarxes de múltiples capes que aprenen les característiques a partir de les dades brutes.
• Supervisat = dades etiquetades; no supervisat = descobrir estructura (clustering); per reforç = recompenses.
• Eliminar l'atribut protegit no elimina el biaix: hi ha variables proxy.
• Les mètriques d'equitat són mútuament incompatibles: cal triar i justificar.
• Set requisits de la IA fiable: supervisió humana · solidesa tècnica · privadesa i dades · transparència · diversitat i no-discriminació · benestar social i ambiental · rendició de comptes.
• AI Act: quatre nivells de risc; la puntuació social pública està prohibida; l'annex III llista els sistemes d'alt risc; els organismes públics han de fer la FRIA.
• RGPD art. 22: dret a no ser objecte de decisions únicament automatitzades, amb dret a intervenció humana.

Tema 30 · Innovació, dades i BI

Estratègia municipal d'algoritmes i dades

Enunciat oficial. Estratègia municipal d'algoritmes i dades per a l'impuls ètic de la intel·ligència artificial.

Documents: Mesura de govern d'IA i Metodologia de sistemes algorítmics; marc de principis a la Mesura de digitalització oberta.

1. Origen i evolució

Naturalesa: és una mesura de govern, no una ordenança. No té rang normatiu vinculant per a tercers: obliga l'organització municipal i els seus proveïdors a través dels plecs i de les instruccions internes.

2. Objectius de l'estratègia

1. Garantir que l'ús de la IA i de les tecnologies urbanes emergents als serveis municipals respecta els drets digitals de la ciutadania.
2. Establir el marc normatiu i metodològic intern per a la incorporació d'aquestes tecnologies.
3. Fomentar l'humanisme tecnològic: la tecnologia al servei de les persones.
4. Promoure models transparents, auditables i oberts.
5. Assegurar la sobirania tecnològica i de les dades i evitar la dependència de proveïdors.
6. Reduir els biaixos i les discriminacions algorítmiques.
7. Impulsar la innovació i l'ús de la IA per millorar els serveis públics.
8. Generar coneixement i capacitat interna i formar el personal.

3. Principis

• Transparència i explicabilitat: la ciutadania ha de poder saber quan hi ha un algorisme darrere d'una decisió, quines dades fa servir i amb quina lògica.
• Supervisió humana: cap decisió amb efectes rellevants sobre drets sense intervenció humana significativa.
• Equitat i no-discriminació: avaluació i mitigació de biaixos, amb atenció especial als col·lectius vulnerables.
• Privadesa des del disseny i minimització de dades.
• Seguretat i robustesa.
• Rendició de comptes: responsabilitat identificable i mecanismes de reclamació.
• Sostenibilitat: consideració de l'impacte ambiental.
• Sobirania digital: control municipal sobre dades, models i infraestructura; preferència pel programari lliure i els estàndards oberts.
• Participació: implicació de la ciutadania i dels col·lectius afectats en el disseny.
• Proporcionalitat: la intensitat dels controls s'ajusta al risc del sistema.

4. Instruments

4.1 Registre municipal d'algorismes

El RPA (Registre Públic d'Algorismes) és l'inventari públic dels sistemes algorítmics que utilitza l'Ajuntament. Tot sistema algorítmic hi ha d'inscriure's, sigui quin sigui el seu nivell de risc, amb la seva finalitat, l'abast, l'àrea responsable, les dades que tracta, el tipus de decisió que suporta, el nivell de risc i, quan n'hi ha, l'EIA (Estudi d'Impacte Algorítmic). És l'instrument central de transparència algorítmica i segueix la línia dels registres d'Amsterdam i Hèlsinki.

Qui l'audita: l'estudi d'impacte previ el revisa el Consell Assessor en Intel·ligència Artificial, Ètica i Drets Digitals, format per experts externs a l'Ajuntament per garantir-ne la imparcialitat; un cop en explotació, el sistema es revisa mitjançant auditories algorítmiques dutes a terme per una entitat externa, amb la contractació liderada per l'IMI (Institut Municipal d'Informàtica), avui BIT (Barcelona Innovació i Tecnologia). Si el sistema tracta dades personals, s'inscriu també al RAT (Registre d'Activitats de Tractament) municipal.

Rendició de comptes: la informació del RPA —finalitat, abast, dades, riscos, EIA, informes d'auditoria i balanç final— es difon al Portal de Transparència, el canal bàsic i general perquè la ciutadania pugui conèixer i exigir comptes sobre l'ús municipal de la IA.

4.2 Avaluació d'impacte algorítmic

Procediment d'anàlisi previ al desplegament que valora l'impacte sobre drets fonamentals, equitat, privadesa i seguretat, i que determina les mesures de mitigació i el nivell de supervisió humana necessari. S'articula amb l'AIPD (Avaluació d'Impacte de Protecció de Dades) del RGPD, art. 35 i, per als sistemes d'alt risc, amb la FRIA (Fundamental Rights Impact Assessment) del RIA (Reglament d'Intel·ligència Artificial). L'art. 27 del RIA no l'exigeix davant qualsevol sistema d'alt risc: només davant els de l'annex III —llevat del punt 2— i quan el desplegador és un organisme de dret públic o una entitat privada que presta serveis públics; i, sigui quin sigui el desplegador, davant els de l'annex III, punt 5, lletres b) i c).

4.3 Definició de metodologies i protocols de contractació

El document Metodologia de sistemes algorítmics estableix com s'han de contractar els sistemes algorítmics:

• Clàusules tipus per als plecs: obligació de documentar el model i les dades d'entrenament, auditabilitat, lliurament del codi font, dret d'accés i d'inspecció, reversibilitat i propietat dels resultats.
• Requisits de qualitat de les dades i de documentació dels conjunts de dades (fitxes de dades, datasheets).
• Avaluació de biaixos com a requisit de lliurament.
• Criteris d'adjudicació que valorin transparència, explicabilitat i codi obert.
• Protocol de proves i validació abans del pas a producció.
• Monitoratge posterior i revisió periòdica del sistema en producció (deriva del model).

Alliberament del codi. Quan al plec no hi ha cap clàusula sobre la llicència del programari, cal mirar la titularitat: l'LCSP, art. 308.1 estableix que, llevat que el plec digui una altra cosa, els contractes de serveis que desenvolupen un producte protegit per propietat intel·lectual porten aparellada la cessió d'aquest dret a l'Administració contractant. Un cop l'Ajuntament n'és titular, alliberar-lo com a codi obert exigeix dos passos, no un de sol:

1. Comprovar les llicències de tercers: si el codi incorpora llibreries amb llicència propietària incompatible, no es pot publicar el conjunt sense abans substituir-les o negociar-ne l'ús.
2. Associar-hi una llicència de programari lliure adequada. L'ENI, art. 16 fixa les condicions de llicenciament de les aplicacions de titularitat pública (execució per a qualsevol propòsit, accés al codi font, modificació i redistribució) i indica que es procurarà l'aplicació de l'EUPL (European Union Public Licence, Llicència Pública de la Unió Europea).

4.4 Governança

L'estratègia crea quatre òrgans amb funcions diferenciades, dos d'interns i dos de participació externa:

• Comissió Transversal per a l'impuls de la IA ètica: òrgan intern, amb representació de les àrees municipals i ens dependents. Valida els sistemes d'IA que es proposen implantar, dirimeix els conflictes que sorgeixin en el seu ús i vetlla perquè la veu de la ciutadania es tingui en compte en el disseny dels serveis.
• Oficina Tècnica d'IA de l'IMI/BIT: defineix els estàndards i la metodologia tècnica, desenvolupa projectes pilot i n'avalua els riscos.
• Consell Assessor en Intel·ligència Artificial, Ètica i Drets Digitals: òrgan de participació extern —món acadèmic, societat civil, empreses tecnològiques— que emet els EIA i n'avalua l'impacte de manera imparcial, com a supervisió externa independent de l'Ajuntament.
• Pacte de ciutat per a l'impuls de l'humanisme tecnològic: òrgan participatiu ampli d'entitats, empreses i institucions que es reuneix un cop l'any per debatre, amb un enfocament menys tècnic que el Consell, la idoneïtat i l'impacte social dels sistemes d'IA municipals.

A més: el Delegat de Protecció de Dades, amb intervenció preceptiva quan hi ha tractament de dades personals; l'Oficina Municipal de Dades (OMD), dirigida pel Chief Data Officer, per al govern de les dades municipals → tema 31; i la formació del personal en competències de dades i IA.

4.5 Altres actuacions

• Catàleg de casos d'ús prioritzats per valor públic.
• Espai de proves controlat per assajar solucions abans del desplegament.
• Col·laboració amb universitats, centres de recerca i altres ciutats (Cities Coalition for Digital Rights, impulsada per Barcelona, Amsterdam i Nova York).
• Open Data BCN com a infraestructura de dades obertes → tema 33.
• Comunicació i alfabetització de la ciutadania sobre l'ús d'algorismes.

5. Els drets digitals com a marc

L'estratègia s'insereix en el discurs municipal de drets digitals:

• Sobirania digital: control sobre la infraestructura, les dades i el codi.
• Dades com a bé comú: les dades generades pels serveis públics i pels ciutadans pertanyen a la col·lectivitat, no al proveïdor que opera el servei.
• Programari lliure i «public money, public code»: el codi pagat amb diner públic s'ha de publicar.
• Estàndards oberts i interoperabilitat per evitar el bloqueig.
• Ètica per disseny i privadesa per disseny.
• Inclusió digital i lluita contra la bretxa.

Referències: la Mesura de digitalització oberta, els Barcelona Digital Standards i la guia de programari lliure municipal.

6. Encaix normatiu

Claus d'examen

• Si el plec no diu res sobre la llicència del codi desenvolupat i s'entén que és propietat de l'Ajuntament, alliberar-lo com a codi lliure exigeix dos passos, no un: comprovar que no s'hi han incorporat llibreries de tercers amb llicència propietària incompatible, i associar-hi una llicència de programari lliure adequada; publicar-lo directament sense comprovar-ho, o en format binari, són distractors (TS-TIC 2021, pràctica, s4-p21).
• La titularitat del codi, quan el plec calla, ve de l'LCSP, art. 308.1: la cessió a l'Administració és la regla per defecte, no l'excepció.
• No es confongui la FRIA (art. 27 del Reglament d'IA, drets fonamentals) amb l'AIPD (art. 35 del RGPD, protecció de dades): són avaluacions complementàries, no la mateixa.

Per recordar

• L'estratègia és una mesura de govern, aprovada per primer cop el 2021 i actualitzada el 2026 per adaptar-la al Reglament europeu d'IA. Barcelona en va ser pionera.
• Objectiu central: que l'ús de la IA als serveis municipals respecti els drets digitals de la ciutadania, amb models transparents, auditables i oberts.
• Instruments: Registre Públic d'Algorismes (RPA), avaluació d'impacte algorítmic (EIA), metodologies i clàusules de contractació, i governança amb l'OMD i el CDO.
• El RPA l'audita, abans del desplegament, el Consell Assessor en IA, Ètica i Drets Digitals; en explotació, auditories externes contractades per l'IMI/BIT.
• Principis: transparència i explicabilitat, supervisió humana, equitat, privadesa des del disseny, seguretat, rendició de comptes, sostenibilitat, sobirania digital i participació.
• La FRIA de l'art. 27 del Reglament d'IA no obliga davant qualsevol sistema d'alt risc: l'àmbit és el dels sistemes de l'annex III (§4.2).
• La contractació ha d'exigir documentació del model i de les dades, auditabilitat, codi font i reversibilitat.
• Alliberar codi com a programari lliure (LCSP, art. 308.1 + ENI, art. 16): la titularitat es cedeix a l'Administració per defecte, cal revisar les llicències de tercers, i la llicència recomanada és l'EUPL.

Tema 31 · Innovació, dades i BI

Gestió de dades a l'Administració

Elaboració pròpia: la font és de pagament i no es reprodueix

Enunciat oficial. Gestió de dades a l'Administració. Estratègia de dades, inventari i catàleg. Data governance i qualitat del dada.

1. Les dades com a actiu

Una estratègia de dades defineix com l'organització captura, emmagatzema, governa, comparteix i explota les dades per assolir els seus objectius. Sense estratègia, cada sistema genera el seu sitja i la mateixa dada té valors diferents en llocs diferents.

Components d'una estratègia de dades:

1. Visió i objectius de negoci que les dades han de suportar.
2. Govern: rols, polítiques, comitès i responsabilitats.
3. Arquitectura de dades: on viuen, com flueixen, quins models les descriuen → tema 32.
4. Qualitat de les dades: dimensions, mesura i remediació.
5. Metadades i catàleg: què hi ha, què significa, d'on ve.
6. Seguretat i privadesa: classificació, control d'accés, cicle de vida.
7. Compartició i obertura: interoperabilitat i dades obertes → tema 33.
8. Cultura i competències: alfabetització de dades i presa de decisions basada en evidència.
9. Mesura: indicadors de maduresa i de valor obtingut.

Marc de referència: DAMA-DMBOK (DAMA, Data Management Association; DMBOK, Data Management Body of Knowledge), amb la seva roda d'onze àrees de coneixement al voltant del govern de dades com a eix: arquitectura, modelatge i disseny, emmagatzematge i operacions, seguretat, integració i interoperabilitat, gestió de documents i contingut, dades mestres i de referència, data warehousing i BI (Business Intelligence), metadades, qualitat i govern.

2. Govern de les dades (data governance)

Definició: exercici d'autoritat i control —planificació, supervisió i execució— sobre la gestió dels actius de dades. Respon a qui decideix què sobre les dades.

No és el mateix que gestió de dades: el govern decideix i controla; la gestió executa.

2.1 Rols

Regla: cada conjunt de dades ha de tenir un propietari de negoci identificat. Sense propietari, ningú no decideix ni respon de la seva qualitat.

2.2 Polítiques

Classificació de la informació, control d'accés i mínim privilegi, cicle de vida i retenció, qualitat mínima exigible, gestió de metadades, ús secundari i compartició, anonimització i pseudonimització, i ètica de les dades.

3. Inventari i catàleg de dades

3.1 Inventari

Inventari de dades: relació dels conjunts de dades que l'organització posseeix, amb el sistema on resideixen, el responsable, la categoria d'informació i la base jurídica del tractament. És obligatori de facto per dues vies:

• El registre d'activitats de tractament del RGPD, art. 30, obligatori per a totes les autoritats i organismes públics sigui quina sigui la seva mida.
• L'inventari d'actius exigit per l'ENS com a base de l'anàlisi de riscos.

3.2 Catàleg de dades (data catalog)

Va més enllà de l'inventari: és un repositori cercable de metadades que permet a qualsevol persona autoritzada descobrir quines dades existeixen, què signifiquen, d'on venen, quina qualitat tenen i com accedir-hi.

Contingut: nom i descripció en llenguatge de negoci, propietari i custodi, esquema i tipus, glossari de negoci (definició acordada de cada terme), llinatge (lineage), indicadors de qualitat, classificació de sensibilitat, política de retenció, freqüència d'actualització i condicions d'ús.

Tipus de metadades: de negoci (significat, propietari, regles), tècniques (esquema, tipus, ubicació, format) i operatives (data de càrrega, volum, errors, llinatge d'execució).

Llinatge de dades (data lineage): traçabilitat del recorregut d'una dada des de l'origen fins al consum, incloent-hi totes les transformacions. Serveix per a l'anàlisi d'impacte, la depuració d'errors, l'auditoria i el compliment.

Eines: DataHub, OpenMetadata, Amundsen, Apache Atlas, Collibra, Alation, Informatica, Microsoft Purview, CKAN (Comprehensive Knowledge Archive Network, per a dades obertes).

Marc normatiu: a l'Administració, el catàleg no és una bona pràctica opcional sinó una obligació que ve de l'ENI (RD, Reial Decret, 4/2010) i de les seves Normes Tècniques d'Interoperabilitat (NTI): la NTI de Catàleg d'estàndards fixa quins estàndards són d'ús obligatori, la NTI de Document electrònic en regula els metadades i el cicle de vida, i la NTI de Reutilització de recursos de la informació en condiciona la publicació com a dada oberta → tema 33.

4. Qualitat de les dades

4.1 Dimensions

Norma: ISO/IEC 25012 (IEC: International Electrotechnical Commission; model de qualitat del dada) i ISO 8000.

4.2 Gestió de la qualitat

Cicle: perfilat (profiling) de les dades → definició de regles i llindars → mesura amb indicadors → informe i quadre de comandament → remediació (correcció a l'origen) → prevenció (validació a l'entrada) → monitoratge continu.

Principi fonamental: corregir a l'origen, no al magatzem. Netejar les dades al procés d'ETL (Extract, Transform, Load) cada nit sense corregir el sistema font és treball perpetu.

Cost de la no-qualitat: decisions errònies, retreball, pèrdua de confiança en els sistemes analítics, incompliment normatiu (el RGPD, art. 5 imposa el principi d'exactitud) i, al sector públic, perjudici directe al ciutadà (notificacions a adreces errònies, prestacions mal calculades).

5. Dades mestres i de referència

• Dades mestres (master data): les entitats de negoci compartides per tota l'organització — persona, empresa, adreça, via pública, equipament, expedient. MDM (Master Data Management): disciplina que en manté una versió única i fiable (golden record).
• Dades de referència: catàlegs i taules de codis compartits (municipis, tipus de via, monedes, codis de procediment).
• Estil d'implantació MDM: registre (índex de referències creuades), consolidació (repositori analític), coexistència (mestre sincronitzat amb els sistemes) i transaccional/centralitzat (el mestre és el sistema d'origen).
• A l'Administració, el padró municipal i el registre d'entitats fan de dades mestres de facto; la interoperabilitat (ENI) hi juga el paper d'evitar duplicar-les entre administracions.

6. Modelatge de dades

Conceptes bàsics que apareixen a l'examen amb freqüència:

• Model conceptual → lògic → físic.
• Entitat: objecte del món real, físic o conceptual, que es pot distingir de la resta i del qual interessen algunes propietats (p. ex. «Persona», «Expedient»). No s'ha de confondre amb un atribut (una propietat de l'entitat) ni amb el domini (el conjunt de valors possibles d'un atribut).
• Diagrama entitat-relació (E-R) de Chen: entitats (rectangles), atributs (el·lipses) i relacions (rombes que uneixen dues entitats). En la notació de peu de corb (crow's foot), la relació es representa amb una línia entre les dues entitats amb els símbols de cardinalitat als extrems.
• Cardinalitat: 1:1, 1:N i N:M. Una relació N:M significa que cada ocurrència d'una entitat es pot relacionar amb moltes de l'altra i viceversa; en el model relacional es resol creant una taula intermèdia (taula d'unió) amb les claus foranes de totes dues.
• Clau primària: atribut o conjunt d'atributs que identifica de manera única i no nul·la cada ocurrència d'una entitat. Un bon exemple d'atribut identificador únic per a l'entitat «Alumne» és el número d'expedient acadèmic o el NIF (Número d'Identificació Fiscal); no ho són el nom, la data de naixement ni el curs, perquè es poden repetir.
• Clau forana: atribut que referencia la clau primària d'una altra taula; garanteix la integritat referencial.
• Normalització: 1FN (valors atòmics, sense grups repetitius), 2FN (dependència funcional completa de la clau), 3FN (sense dependències transitives), BCNF (Boyce-Codd Normal Form). Es desnormalitza deliberadament als models analítics per rendiment → tema 32.
• ACID (Atomicity, Consistency, Isolation, Durability): propietats de les transaccions relacionals. La «Disponibilitat» NO forma part de l'acrònim ACID: aquesta és la distractora habitual.
• BASE i el teorema CAP (Consistency, Availability, Partition tolerance) en sistemes distribuïts → tema 32.

7. El model de l'Ajuntament de Barcelona

• OMD (Oficina Municipal de Dades), responsable de la gestió, qualitat, govern i explotació de les dades de l'Ajuntament i els seus ens associats, dirigida pel CDO (Chief Data Officer).
• Mesura de govern de gestió ètica i responsable de les dades: Barcelona Data Commons (2018): les dades com a bé comú, la sobirania tecnològica, la minimització, la transparència i el control ciutadà. Estableix que la gestió del cicle de vida de la dada ha de respectar els principis FAIR: Findable (localitzable), Accessible, Interoperable i Reusable — definits originalment per Wilkinson et al. (2016) a Scientific Data.
• Open Data BCN: portal de dades obertes → tema 33.
• CityOS / plataforma de dades municipal i Sentilo com a plataforma de sensors de codi obert.
• Marc de principis: Mesura de digitalització oberta i Mesura de govern d'IA.
• Interoperabilitat externa: Via Oberta de l'AOC (Administració Oberta de Catalunya) i les plataformes d'intermediació estatals, que fan efectiu el principi once-only (Llei 39/2015, art. 28).

Claus d'examen

• FAIR = Findable, Accessible, Interoperable, Reusable. El parany: distractors que canvien alguna lletra per «Alone», «Internal» o «Resilient», o que confonen «Fair» (just) amb «Findable» (TS-TIC 2018, p. 50).
• L'OMD la dirigeix el CDO (Chief Data Officer), no el DPD, el CTO (Chief Technology Officer) ni el CIO (Chief Information Officer): cadascun d'aquests càrrecs té un àmbit diferent i el DPD és qui apareix més sovint com a distractor (TS-TIC 2018, p. 51).
• Entitat ≠ atribut ≠ domini: descriure una entitat com «una característica que identifica una relació» és confondre-la amb un atribut; com «un conjunt de valors possibles», amb un domini (TS-TIC 2025 pràctica, p. 12).
• Cardinalitat N:M: molts a molts en tots dos sentits, no «una entitat relacionada amb una sola de l'altra» (que és 1:1) (TS-TIC 2025, p. 47).
• Atribut identificador únic: el DNI (Document Nacional d'Identitat) o el NIF, o el número d'expedient, mai el nom ni la data de naixement, que es poden repetir (TS-TIC 2025 pràctica, p. 14).
• La relació en un diagrama E-R es representa amb un romb, no amb un cercle, un rectangle (que és l'entitat) ni una línia doble (TS-TIC 2025 pràctica, p. 13).

Per recordar

• Govern de dades = qui decideix; gestió de dades = qui executa. Cada conjunt necessita un propietari de negoci.
• El registre d'activitats de tractament (RGPD, art. 30) és obligatori per a totes les administracions, sense excepció per mida.
• Catàleg de dades = metadades cercables amb glossari de negoci i llinatge; l'inventari és només la llista.
• Dimensions de qualitat: exactitud, completesa, consistència, actualitat, validesa, unicitat, integritat, traçabilitat, accessibilitat. Norma: ISO/IEC 25012.
• Corregir a l'origen, no al magatzem.
• MDM manté el golden record de les dades mestres.
• FAIR (Findable, Accessible, Interoperable, Reusable): principis de la Mesura de govern 2018 de l'Ajuntament de Barcelona; l'OMD la dirigeix el CDO.
• Entitat ≠ atribut ≠ domini: l'entitat és la «cosa» del món real; l'atribut, una propietat seva; el domini, els valors possibles d'un atribut.
• Cardinalitat N:M: molts a molts en tots dos sentits; es resol amb una taula intermèdia.
• ACID = Atomicitat, Consistència, Aïllament, Durabilitat. La disponibilitat no hi és.

Tema 32 · Innovació, dades i BI

Arquitectura de dades

Elaboració pròpia: la font és de pagament i no es reprodueix

Enunciat oficial. Arquitectura de dades. Data warehouse, data lake i data lakehouse.

1. OLTP i OLAP

Cub OLAP: estructura multidimensional on les dades s'organitzen per dimensions (temps, territori, servei) i mesures (imports, comptadors). Quan les dades s'estructuren en un cub OLAP, el model de base de dades al qual ens referim és el multidimensional, no el relacional ni el jeràrquic. Operacions típiques: roll-up (agregar), drill-down (desagregar), slice (fixar una dimensió), dice (subcub) i pivot.

Variants del cub: MOLAP (Multidimensional OLAP: matriu pròpia, ràpid, menys escalable), ROLAP (Relational OLAP: sobre taules relacionals, escalable, més lent) i HOLAP (Hybrid OLAP).

2. El magatzem de dades (data warehouse)

Definició de Bill Inmon: col·lecció de dades orientada a un tema, integrada, no volàtil i variant en el temps, destinada a donar suport al procés de presa de decisions de la direcció. Aquestes quatre característiques cauen literalment.

• Orientat a temes: s'organitza per àrees de negoci (ciutadania, tributs, mobilitat), no per aplicacions.
• Integrat: unifica codificacions, unitats i noms procedents de sistemes diversos.
• No volàtil: les dades no es modifiquen ni s'esborren; s'hi afegeixen.
• Variable en el temps: cada fet queda associat a un instant; es conserva l'històric.

2.1 Arquitectures

• Inmon (top-down): primer un magatzem corporatiu normalitzat (3FN), del qual pengen data marts departamentals. Coherent però lent d'implantar.
• Kimball (bottom-up): es construeixen data marts dimensionals per procés de negoci, integrats per dimensions conformades (un bus d'arquitectura). Més ràpid de donar valor.
• Data mart: subconjunt del magatzem orientat a una àrea concreta.
• ODS (Operational Data Store): magatzem operatiu amb dades actuals i integrades, per a consultes gairebé en temps real; és previ o paral·lel al magatzem.
• Staging area: zona intermèdia on aterren les dades brutes abans de transformar-se.

2.2 Modelatge dimensional

• Taula de fets: mesures numèriques d'un procés de negoci i les claus foranes cap a les dimensions. Tipus: transaccional, instantània periòdica i instantània acumulada.
• Taula de dimensions: context descriptiu (qui, què, on, quan). Desnormalitzada deliberadament.
• Esquema en estrella: una taula de fets envoltada de dimensions desnormalitzades. Simple i ràpid.
• Esquema en floc de neu (snowflake): dimensions normalitzades en subtaules. Estalvia espai, complica les consultes.
• Constel·lació de fets: diverses taules de fets que comparteixen dimensions.
• Granularitat: el nivell de detall d'una fila de fets. Definir-la és la primera decisió del disseny; una granularitat massa gruixuda impedeix anàlisis que després es demanaran.
• Dimensions lentament canviants (SCD, Slowly Changing Dimension): tipus 0 (no canvia), tipus 1 (sobreescriu, es perd l'històric), tipus 2 (afegeix una fila nova amb vigència, conserva l'històric — la més usada), tipus 3 (columna amb el valor anterior).

2.3 ETL i ELT

ETL (Extract, Transform, Load): procés d'extracció de dades de les fonts d'origen, transformació —neteja, normalització, deduplicació, enriquiment, agregació i aplicació de regles de negoci— i càrrega al magatzem de destinació. És el mecanisme que fa possible integrar dades heterogènies en un model coherent, i el que consumeix la major part de l'esforç d'un projecte de BI (Business Intelligence, intel·ligència de negoci — desenvolupat a tic/analitica-de-datos-y-business-intelligence).

ELT (Extract, Load, Transform): s'extreu, es carrega en brut i es transforma dins del sistema destinació, aprofitant-ne la potència de càlcul. És el model dominant al núvol i als data lakes.

Eines: Talend, Pentaho, Informatica i SSIS (SQL Server Integration Services) per a l'ETL clàssic; dbt per a la transformació ELT; Apache Airflow per a l'orquestració.

Captura de canvis (CDC, Change Data Capture): replicació incremental llegint el registre de transaccions (Debezium, GoldenGate) en lloc de fer extraccions completes.

3. El llac de dades (data lake)

Definició: repositori centralitzat que permet emmagatzemar dades a qualsevol escala en el seu format natiu i sense estructura predefinida —estructurades, semiestructurades i no estructurades—, per processar-les i analitzar-les quan calgui.

Objectiu principal en l'ecosistema de Big Data: centralitzar dades de fonts i formats diversos en brut, sense pèrdua d'informació ni transformació prèvia, per explotar-les després amb finalitats no conegudes en el moment de la captació —analítica avançada, ciència de dades i entrenament de models.

La diferència clau amb el magatzem és quan s'aplica l'esquema: el magatzem l'exigeix abans de carregar (schema-on-write) i per això només hi entra dada curada; el llac l'aplica en llegir (schema-on-read) i per això hi cap la dada bruta de qualsevol format. La resta de diferències en surten, i van comparades amb el lakehouse al §8.

Zones d'un data lake, l'arquitectura medalló: bronze/raw (ingesta en brut), silver/curated (netejada i conformada) i gold/consum (agregada i modelada per a l'ús).

Tecnologies: emmagatzematge d'objectes (S3 (Simple Storage Service, Amazon), Azure Data Lake Storage, Google Cloud Storage, MinIO, HDFS (Hadoop Distributed File System)), formats columnars (Parquet, ORC (Optimized Row Columnar), Avro) i motors de processament.

El substrat d'un llac és l'emmagatzematge d'objectes, no el bloc ni el fitxer (→ tema 56), i no per casualitat: la dada és un objecte —contingut més metadades— amb una clau i sense jerarquia de directoris, així que s'hi pot abocar qualsevol format sense decidir abans on encaixa, que és la condició material del schema-on-read; escala sense límit pràctic i costa molt menys per TB (terabyte) que el bloc; i separa l'emmagatzematge del còmput, perquè les dades es queden quietes i els motors s'aixequen a sobre. El revers és que l'objecte és immutable —es reescriu sencer, no s'hi modifica una fila—, i per això un llac «pelat» no sap fer UPDATE ni DELETE: és la mancança que resolen els formats de taula del §4 i la que fa problemàtic el dret de supressió del §7. La immutabilitat com a defensa contra el ransomware és matèria de les còpies de seguretat (→ tema 57).

Apache Spark és el motor de processament de dades habitualment utilitzat en entorns de data lake per analitzar grans volums de dades de manera distribuïda. Substitueix MapReduce de Hadoop amb un model en memòria molt més ràpid, i ofereix Spark SQL, Structured Streaming, MLlib i GraphX. Alternatives: Flink (flux real), Trino (consulta federada) i Hive (SQL sobre HDFS).

3.1 Dades estructurades, semiestructurades i no estructurades

La distinció no és el format del fitxer, sinó on viu l'esquema: és el que separa el que pot entrar en un magatzem del que necessita un llac.

Semiestructurada no vol dir «a mitges»: la dada porta l'esquema a dins, i per això dos registres del mateix conjunt poden tenir camps diferents —el que fa idònia una documental (§5.2) i el que un esquema relacional fix no tolera—. I el gruix de la informació d'una organització és no estructurada, justament la que un magatzem no pot admetre: aquest és el buit que va justificar el llac.

4. El lakehouse

Definició: arquitectura que combina la flexibilitat i el cost de l'emmagatzematge del data lake amb les garanties transaccionals, l'esquema i el rendiment del data warehouse, sobre una única còpia de les dades.

Com ho aconsegueix: amb formats de taula oberts que afegeixen una capa de metadades transaccional sobre els fitxers Parquet de l'emmagatzematge d'objectes:

• Delta Lake (Databricks), Apache Iceberg (Netflix) i Apache Hudi (Uber).
• Aporten transaccions ACID (Atomicity, Consistency, Isolation, Durability), evolució d'esquema, time travel (consultar l'estat en un instant passat), UPSERT (update + inSERT: actualitza el registre si ja existeix, l'insereix si no) i DELETE (essencials per al dret de supressió del RGPD, art. 17), compactació i govern unificat.

Què hi perds: maduresa desigual, complexitat operativa i dependència de l'ecosistema triat.

5. Bases de dades: relacionals i NoSQL

5.1 Relacionals (SQL)

Model de taules amb files i columnes, esquema fix, relacions per claus foranes, llenguatge SQL i garanties ACID. Productes: Oracle, SQL Server, PostgreSQL, MySQL/MariaDB, DB2 (DataBase 2, IBM).

Adequades quan: integritat referencial i transaccional és crítica, l'esquema és estable, les consultes són complexes i relacionals, i hi ha requisits de compliment i auditoria. És el cas de la immensa majoria de sistemes de tramitació administrativa.

SQL (Structured Query Language, llenguatge de consulta estructurat), normalitzat a la ISO/IEC 9075 (IEC: International Electrotechnical Commission), es divideix en dos blocs d'operacions: DDL (Data Definition Language, llenguatge de definició de dades) —crear i modificar l'estructura de les taules (CREATE, ALTER, DROP)— i DML (Data Manipulation Language, llenguatge de manipulació de dades) —consultar, inserir, actualitzar i esborrar registres (SELECT, INSERT, UPDATE, DELETE)—. El que queda fora d'SQL: la programació i gestió automàtica de còpies de seguretat és una tasca d'administració del SGBD (Sistema de Gestió de Bases de Dades), no una operació del llenguatge.

5.2 NoSQL

Diferència fonamental amb les relacionals: les NoSQL no imposen un esquema fix ni el model relacional de taules; estan dissenyades per a l'escalabilitat horitzontal (afegir nodes) i per a dades semiestructurades o no estructurades, sacrificant sovint la consistència forta a canvi de disponibilitat i tolerància a particions.

Quatre famílies:

Avantatge principal del model clau-valor: rendiment i simplicitat — l'accés per clau és directe i escala horitzontalment. Inconvenient: no permet consultar pel contingut del valor.

Quan triar NoSQL davant d'una relacional: si una administració local vol explotar en mode Big Data els milions de registres d'una xarxa de sensors IoT (Internet of Things) distribuïda pel municipi —sense esquema fix i creixent sense parar—, el sistema gestor amb millors prestacions de rendiment i capacitat és una documental com MongoDB, que escala horitzontalment; no MySQL, MariaDB ni PostgreSQL, pensades per escalar verticalment sobre un esquema estable.

Teorema CAP (Brewer): un sistema distribuït no pot garantir simultàniament Consistència, Disponibilitat i Tolerància a particions; en presència de particions cal triar entre C i A. BASE (Basically Available, Soft state, Eventual consistency) és l'alternativa a ACID en aquests entorns.

5.3 Bases de dades en microserveis

Cada microservei ha de tenir la seva pròpia base de dades independent (database per service); l'antipatró és compartir-ne una entre tots els serveis. El patró i les seves conseqüències —consistència eventual, patró Saga— es despleguen a tic/arquitectura-de-microservicios. El que en toca aquí és la polyglot persistence: cada servei tria el tipus de base de dades que s'ajusta a les seves dades, no un motor únic imposat a tots.

5.4 Altres

De sèries temporals (InfluxDB, Prometheus), vectorials (pgvector) per a IA (Intel·ligència Artificial) i cerca semàntica, NewSQL (CockroachDB) amb ACID i escalabilitat horitzontal, i en memòria (SAP HANA (High-performance ANalytic Appliance), Redis) → tema 50.

6. Big data i processament

Les V del Big Data — la formulació clàssica són quatre: Volum, Velocitat, Varietat i Veracitat. Sovint s'hi afegeix el Valor (cinc V) i, en algunes formulacions, Variabilitat i Visualització. Quan una pregunta demana «les 4 V», la resposta és volum, velocitat, varietat i veracitat.

L'objectiu fonamental del Big Data és extreure valor de les dades: convertir-les en informació útil per a les decisions de negoci.

Arquitectures de processament:

• Per lots (batch): processament periòdic de grans volums, un cop completament bolcats. Hadoop és l'eina de referència per a càrregues de Big Data per lots; Spark n'és l'evolució en memòria. Els seus mòduls són Hadoop Common, HDFS (fitxers distribuïts), YARN (Yet Another Resource Negotiator, recursos del clúster) i MapReduce (el model de programació). Està desenvolupat en Java.
• En temps real / stream processing: calcula les dades a mesura que arriben al sistema, sense esperar que es completi la càrrega. Apache Kafka (bus d'esdeveniments), Apache Flink, Spark Structured Streaming, Kafka Streams. Està especialment indicat per a mètriques d'alta velocitat generades per sensors —per exemple, lectures contínues de sonòmetres o de qualsevol xarxa IoT—, on cal detectar i actuar sense esperar que acabi la càrrega.
• Arquitectura Lambda: capa batch + capa de velocitat + capa de servei.
• Arquitectura Kappa: només streaming, reprocessant l'històric pel mateix camí.

7. Al sector públic

• Interoperabilitat (ENI) i once-only (Llei 39/2015, art. 28) determinen que moltes dades s'han de consultar a l'origen, no copiar.
• Protecció de dades: el RGPD, art. 5 imposa minimització i limitació de la finalitat; un data lake que ho acumula tot no és compatible amb aquests principis si conté dades personals sense base i sense termini. Cal classificació, pseudonimització i polítiques de retenció des del disseny.
• El dret de supressió (RGPD, art. 17) obliga a poder esborrar registres concrets: en un lake d'objectes immutables això exigeix formats de taula amb DELETE (Delta, Iceberg, Hudi).
• ENS: la categorització del sistema determina les mesures de protecció de la informació emmagatzemada.
• A Barcelona, la plataforma de dades municipal i Sentilo per a dades de sensors; el govern el porta l'OMD (Oficina Municipal de Dades) → tema 31.

7.1 La ingesta de dades IoT: el cas Sentilo

Sentilo és una plataforma de codi obert per gestionar sensors i actuadors de ciutat: recull informació de sensors actius repartits per la ciutat i en recopila i comparteix les dades en temps real. La va desenvolupar l'Ajuntament de Barcelona, a través de l'IMI (Institut Municipal d'Informàtica), i la van adoptar altres ciutats i administracions. Va guanyar l'Open Awards 2016 com a plataforma més innovadora desenvolupada amb programari lliure.

La norma UNE (Una Norma Espanyola) 178104 —interoperabilitat de les plataformes de ciutats intel·ligents— proposa un model de capes: la capa d'adquisició (la baixa), que recull les dades dels sensors i actuadors; per sobre, la capa d'interoperabilitat, que n'exposa l'accés amb seguretat; i la capa de coneixement, que transforma la dada en informació abans d'arribar a la de dades obertes. Sentilo forma part de la capa d'adquisició: és l'origen de la ingesta, no la capa de coneixement ni la d'OpenData.

Fins on arriba aquest tema. Aquí la ingesta interessa com a primera baula de l'arquitectura de dades: d'on ve la dada, en quina capa entra i on aterra. La connectivitat que la porta fins a la plataforma —les xarxes LPWAN (Low-Power Wide-Area Network) com LoRaWAN, el protocol de missatgeria MQTT (Message Queuing Telemetry Transport) i l'edge computing, que preprocessa a prop del sensor— és matèria de xarxes (→ tema 62), igual que la definició d'Internet de les coses.

La seqüència d'una aplicació smart city encadena tres paradigmes, i cadascun alimenta el següent: primer IoT —captar les dades dels sensors (Sentilo)—; després Big Data —manegar-ne el volum, de l'ordre de terabytes, amb les eines de la §6—; i finalment BI —convertir-les en informació per decidir.

8. Les tres generacions: com hem arribat aquí

No són tres opcions del catàleg: són tres generacions, i cadascuna neix del defecte que la seva predecessora no podia resoldre. Saber quin resol cadascuna és el que permet contestar quan l'enunciat descriu un problema en lloc de nomenar l'arquitectura.

• 1a — el magatzem. Còmput i emmagatzematge units, esquema abans de carregar, dada només estructurada. Resol l'analítica de negoci, però no admet dada no estructurada.
• 2a — el llac, en arquitectura de dos nivells. L'emmagatzematge d'objectes barat permet abocar-hi la dada en brut, i amb ella la ciència de dades. Però el llac no dona transaccions, així que conviu amb un magatzem al qual es copia la part curada. D'aquest doble nivell venen els seus quatre problemes clàssics: dada desfasada, fiabilitat dels processos que la copien, cost de dues còpies i dependència del format propietari del magatzem.
• 3a — el lakehouse. En comptes de copiar del llac al magatzem, hi posa a sobre una capa de metadades transaccional que dona les garanties del magatzem sobre l'única còpia del llac, en format obert: elimina el segon nivell i, amb ell, els quatre problemes.

El data mesh no és la quarta: no canvia la tecnologia sinó qui és el propietari de la dada, i es pot muntar damunt d'un lakehouse (→ tema 34, que també hi contraposa el data fabric).

Govern i qualitat no són el mateix, i cap arquitectura els substitueix: el govern de les dades decideix qui mana sobre cada dada; la qualitat de les dades mesura com és de bona. Un llac sense govern és el que es converteix en data swamp. Totes dues, al → tema 31.

Claus d'examen

• La seqüència IoT → Big Data → BI en un escenari smart city. Els distractors hi barregen sistemes de gestió de recursos, de clients, de processos o d'informació geogràfica, que ni capten sensors ni processen aquest volum (TS-TIC 2018, p. 53).
• El que NO és una operació d'SQL: programar còpies de seguretat és administració del SGBD, no DDL ni DML (TS-TIC 2025 pràctica, s4-p23).
• «Base de dades pròpia per servei», no una de compartida: és la bona pràctica en microserveis; compartir-la és l'antipatró del monòlit distribuït (TS-TIC 2025 pràctica, s3-p15).
• A l'acrònim ACID hi sobra sempre la mateixa lletra: atomicitat, consistència, aïllament i durabilitat. La «integració» és el distractor que hi col·loquen (TS-TIC 2025, p. 60).
• Mira què són les altres tres opcions abans de triar. En una llista d'eines de Big Data el descartat és el motor relacional (TS-TIC 2018, p. 15; TS-TIC 2023 pràctica, s4-p24); en una d'analítica de xarxes socials, el descartat és la base de dades (MongoDB, TS-TIC 2018, p. 16); i en un escenari IoT de milions de registres, la resposta és MongoDB contra tres relacionals (TS-TIC 2021, p. 10).
• Sentilo és la capa baixa o d'adquisició de la UNE 178104: no la d'OpenData, ni la interfície entre OpenData i coneixement, ni la semàntica de ciutat (TS-TIC 2021, p. 52).

Per recordar

• Tres generacions, no tres opcions: magatzem (no admet dada no estructurada) → llac + magatzem, dos nivells (dada desfasada, cost doble) → lakehouse (una sola còpia amb garanties).
• Inmon: el magatzem és orientat a temes, integrat, no volàtil i variable en el temps.
• Estrella = dimensions desnormalitzades; floc de neu = dimensions normalitzades.
• SCD tipus 2 conserva l'històric afegint files noves.
• ETL transforma abans de carregar; ELT carrega en brut i transforma dins del destí.
• Data lake: schema-on-read, dades brutes, objectiu no perdre informació per a usos futurs. Risc: data swamp.
• Apache Spark és el motor de processament distribuït habitual als data lakes.
• Lakehouse = lake + transaccions ACID i esquema, amb Delta Lake, Iceberg o Hudi.
• ACID = Atomicitat, Consistència, Aïllament, Durabilitat. CAP: en cas de partició, o consistència o disponibilitat.
• Clau-valor = accés ultraràpid per clau i escalabilitat; documental = cada registre és un document amb estructura pròpia i imbricada.
• 4 V del Big Data: volum, velocitat, varietat i veracitat. L'objectiu és extreure valor.
• Temps real → Kafka i Flink; lots → Spark.

Tema 33 · Innovació, dades i BI

Dades obertes i reutilització de la informació

Enunciat oficial. Dades obertes i reutilització de la informació a l'Administració Local. Open Data BCN. Estàndards, llicències i interoperabilitat.

1. Conceptes

Dades obertes (open data): dades que qualsevol pot utilitzar, reutilitzar i redistribuir lliurement, amb l'única exigència, com a màxim, d'atribució i de compartir amb la mateixa llicència.

RISP (Reutilització de la informació del sector públic): ús per part de persones físiques o jurídiques de documents en poder del sector públic amb finalitats comercials o no comercials diferents del propòsit inicial del servei públic per al qual es van produir.

Tres conceptes que no s'han de barrejar:

2. Marc normatiu

• Directiva 2019/1024 — Directiva (UE, Unió Europea) 2019/1024, de dades obertes i reutilització de la informació del sector públic. Substitueix la Directiva PSI de 2003. Novetats: principi d'obertura per disseny i per defecte, gratuïtat com a regla, ampliació a empreses públiques i a dades de recerca, i creació de la categoria de conjunts de dades d'alt valor.
• Reglament d'execució (UE) 2023/138: fixa les sis categories de conjunts de dades d'alt valor, de publicació obligatòria, gratuïta i en format llegible per màquina via API: 1. Geoespacials 2. Observació de la Terra i medi ambient 3. Meteorològiques 4. Estadístiques 5. Societats i propietat de societats 6. Mobilitat
• Llei 37/2007, de reutilització de la informació del sector públic, modificada pel RDL (Reial Decret Llei) 24/2021 que transposa la Directiva 2019/1024. La reforma va introduir, entre altres coses, la gratuïtat com a regla general (abans es podia tarifar sense aquesta limitació): la reutilització només es pot tarifar de manera excepcional, i el que es cobri ha de quedar limitat als costos marginals de reproduir, posar a disposició i difondre la informació —incloent-hi, si escau, l'anonimització de dades personals i les mesures de protecció d'informació comercial confidencial—, mai al preu de venda. El límit dels costos marginals no és universal: l'article 7.2 n'exceptua els organismes obligats a cobrir una part substancial dels costos del servei públic, les biblioteques —incloses les universitàries—, els museus, els arxius i determinades societats mercantils públiques, que sí que poden repercutir costos més amplis i un marge de benefici raonable.
• Prohibició d'acords d'exclusivitat: els organismes del sector públic no poden atorgar drets d'exclusivitat a tercers sobre la reutilització, tret que siguin necessaris per prestar un servei d'interès públic; en aquest cas l'acord s'ha de revisar periòdicament (com a mínim cada tres anys). Els acords d'exclusivitat per digitalitzar recursos culturals tenen un règim propi, amb una durada que sol limitar-se a deu anys.
• Llei 19/2013 i Llei 19/2014: la publicitat activa ha de ser preferiblement en formats reutilitzables.
• ENI i la NTI (Norma Tècnica d'Interoperabilitat) de Reutilització de recursos d'informació, que defineix les condicions de la publicació, el vocabulari i el model de metadades.
• DGA (Data Governance Act, Reglament (UE) 2022/868): regula la reutilització de dades protegides en poder del sector públic (dades personals, confidencials o amb drets de tercers), els serveis d'intermediació de dades i l'altruisme de dades.
• Data Act (Data Act, Reglament (UE) 2023/2854): accés i ús de les dades generades per productes connectats, i canvi de proveïdor de serveis de tractament de dades.
• RGPD: les dades personals no es poden obrir; cal anonimització irreversible (l'anonimització correcta les treu de l'àmbit del RGPD; la pseudonimització no).

Excepcions a la reutilització: informació afectada per la seguretat nacional, la defensa, la propietat intel·lectual de tercers, el secret estadístic o comercial, la protecció de dades personals i la informació que no obri en poder del sector públic.

3. Principis i qualitat de les dades obertes

Els principis internacionals (Open Data Charter, Sunlight Foundation):

Obertes per defecte · oportunes i exhaustives · accessibles i utilitzables · comparables i interoperables · per a la millora de la governança i la participació ciutadana · per al desenvolupament inclusiu i la innovació.

Requisits d'un conjunt de dades obert: complet, primari (a la font i amb el màxim detall), oportú (publicat aviat), accessible al major nombre d'usuaris i finalitats, processable per màquina, no discriminatori (sense registre previ), en format no propietari i lliure de llicències restrictives.

Criteri de classificació a l'hora de publicar: davant un conjunt de dades nou, l'Administració l'ha de situar en el model de les cinc estrelles per decidir si el format en què es publica és prou obert, i no només si es publica o no. Un criteri ben fonamentat combina el valor per a la ciutadania i la demanda existent, la facilitat i el cost d'anonimització i manteniment, i si el conjunt entra dins d'una de les categories d'alt valor (publicació obligatòria via API). El model de cinc estrelles és l'escala de referència per graduar-lo:

4. Formats, estàndards i metadades

Interoperabilitat: que un conjunt de dades es pugui reutilitzar sense dependre de qui l'ha publicat exigeix tres coses alhora: format obert i no propietari (perquè qualsevol eina el pugui llegir), vocabulari de metadades comú (perquè el significat dels camps es pugui interpretar igual en portals diferents) i API estandarditzada (perquè es pugui consultar per programa). És el que permet que data.europa.eu federi automàticament els portals nacionals (datos.gob.es) i regionals (dades.gencat.cat, Open Data BCN): sense estàndards compartits, cada portal seria una illa.

Formats de publicació adequats: CSV (Comma-Separated Values: el més estès i recomanat per a dades tabulars), JSON (JavaScript Object Notation), XML (eXtensible Markup Language), RDF (Resource Description Framework)/Turtle/JSON-LD (Linked Data: dades enllaçades), Parquet (grans volums), GeoJSON, SHP, GML (Geography Markup Language), KML (Keyhole Markup Language, geogràfics), GTFS (General Transit Feed Specification: transport públic).

No adequats per publicar un conjunt de dades obertes: XLSX (llegible per màquina però propietari), PDF (no és processable per màquina), una imatge o captura de pantalla (no és processable ni editable), i JS (JavaScript) —que no és un format de dades, sinó un llenguatge de programació: no descriu dades, les manipula.

Compte amb una errada de solucionari documentada al material: en una pregunta sobre formats geogràfics, GeoJSON SÍ que és un format geogràfic (és l'estàndard de facto per a dades geoespacials en JSON). El format que no ho és, en aquell enunciat, era MKV (Matroska Video: un contenidor de vídeo).

Metadades i vocabularis: les metadades no són les dades substantives del conjunt, sinó dades sobre les dades —i sovint es publiquen amb el conjunt i al catàleg—: qui les ha publicat, en quin format, quan es van actualitzar per última vegada, quina àrea temàtica cobreixen o amb quina llicència es distribueixen. És aquesta informació la que permet trobar un conjunt de dades al catàleg, saber si és fiable i de qui prové, i que una eina el pugui interpretar sense intervenció humana; per això un estàndard de metadades (DCAT) és tan necessari com el format de les dades pròpiament dites.

• DCAT i el seu perfil europeu DCAT-AP (Application Profile: el perfil d'aplicació que n'estandarditza l'ús a Europa) (i l'espanyol DCAT-AP-ES), estàndard per descriure catàlegs de dades: conjunt de dades, distribució, publicador, tema, freqüència d'actualització, cobertura temporal i espacial.
• NTI de Reutilització: model de metadades obligatori a Espanya, basat en DCAT.
• Schema.org, Dublin Core, Data Package (frictionless).
• Taxonomia sectorial de datos.gob.es (22 sectors primaris).

API (Application Programming Interface): la publicació moderna exigeix API REST (REpresentational State Transfer) amb consulta, filtratge i paginació, a més de la descàrrega massiva (bulk download). Els conjunts d'alt valor ho tenen com a obligació legal.

Plataformes: CKAN (Comprehensive Knowledge Archive Network: la més estesa al sector públic, de codi obert), Socrata, OpenDataSoft, DKAN, uData.

Portals: datos.gob.es (nacional), dades.gencat.cat (Catalunya), data.europa.eu (europeu, que federa els nacionals), Open Data BCN (municipal).

5. Llicències

Creative Commons és una organització sense ànim de lucre que publica un joc de llicències estàndard i gratuïtes amb les quals l'autor cedeix per endavant part dels seus drets: no és un domini públic ni una renúncia al dret d'autor, sinó una manera de dir per escrit què pot fer qui rep l'obra. Les sigles CC que porten totes les llicències de la taula són les seves.

No són llicències obertes: CC BY-NC (Non-Commercial: prohibeix l'ús comercial) i CC BY-ND (No Derivatives: prohibeix les obres derivades). L'ús comercial ha de ser possible perquè unes dades siguin obertes; és una confusió freqüent.

Condicions generals de reutilització (art. 8 de la Llei 37/2007): no alterar el contingut, no desnaturalitzar el sentit de la informació, citar la font, esmentar la data de l'última actualització i no indicar que hi ha patrocini o aprovació del reutilitzador per part de l'organisme.

6. Open Data BCN

Portal de dades obertes de l'Ajuntament de Barcelona (opendata-ajuntament.barcelona.cat), un dels més antics d'Europa (des del 2010) i dels més ben valorats.

Característiques:

• Basat en CKAN, de codi obert.
• Centenars de conjunts de dades organitzats per àmbits: administració, ciutat i serveis, economia i empresa, població, territori i medi ambient.
• Publicació en CSV, JSON, XML, GeoJSON i API.
• Llicència CC BY 4.0 amb atribució a l'Ajuntament de Barcelona.
• Metadades conformes a DCAT i a la NTI.
• Integració amb la plataforma de dades municipal i amb Sentilo (sensors), amb dades gairebé en temps real de mobilitat, qualitat de l'aire, soroll i ocupació.
• Governat per l'OMD (Oficina Municipal de Dades) → tema 31.

Marc de principis: la Mesura de digitalització oberta i la mesura de gestió ètica i responsable de les dades, amb la idea de les dades com a bé comú i la sobirania sobre les dades generades pels serveis municipals —incloent-hi les generades per concessionaris, que els plecs han d'obligar a cedir a l'Ajuntament.

Iniciatives associades: Decidim (participació, de codi obert), DECODE (DEcentralised Citizen-owned Data Ecosystems: projecte europeu de sobirania de dades ciutadana), Cities Coalition for Digital Rights, BCNROC (BCN Repositori Obert del Coneixement: repositori documental obert) i el Pla Barcelona Ciutat Digital.

7. Valor i reptes

Valor: transparència i retiment de comptes, reutilització econòmica (aplicacions, serveis, recerca), eficiència interna (les àrees municipals també consumeixen l'API), participació ciutadana i innovació oberta.

Reptes:

• Qualitat i actualització: un conjunt publicat una vegada i abandonat perd tot el valor. Cal automatitzar la publicació des del sistema d'origen.
• Anonimització correcta: la reidentificació per creuament és un risc real; cal avaluar-lo abans de publicar.
• Sostenibilitat: qui manté els conjunts quan canvia el sistema d'origen.
• Governança: el catàleg de dades obertes ha de derivar del catàleg intern de dades → tema 31.
• Demanda: publicar el que es demana, no només el que és fàcil de publicar.
• Dades de concessionaris: assegurar-ne per plec la titularitat i la cessió.

Claus d'examen

• Un «criteri ben fonamentat» per compartir un conjunt de dades no és exigir directament les cinc estrelles. En un supòsit sobre les dades de Mercats, l'opció marcada com a correcta és la de tres estrelles —format estructurat i obert (no propietari)—, no la de cinc (dades enllaçades, l'excel·lència tècnica) ni la d'una (que l'enunciat descriu, erròniament, com «processable automàticament sense estar estructurada») (TS-TIC 2021 pràctica, supòsit 1, p. 19).
• JS (JavaScript) no és un format de dades obertes: és un llenguatge de programació. Entre KML, RDF, CSV i JS, el que no serveix per oferir un conjunt de dades és JS, perquè no descriu dades, les manipula (TS-TIC 2021 pràctica, supòsit 4, p. 27).
• GeoJSON SÍ és un format geogràfic vàlid; en una pregunta sobre formats geogràfics, el que no ho és sol ser un contenidor multimèdia com MKV, no GeoJSON.
• CC BY-NC i CC BY-ND NO es consideren llicències obertes, perquè l'ús comercial i les obres derivades han de ser possibles.

Per recordar

• Transparència = publicació activa; dret d'accés = a petició del ciutadà; dades obertes = publicació reutilitzable i llegible per màquina.
• Directiva (UE) 2019/1024: obertura per disseny i per defecte, gratuïtat com a regla, conjunts d'alt valor.
• Les sis categories d'alt valor: geoespacials, observació de la Terra i medi ambient, meteorològiques, estadístiques, societats i propietat de societats, i mobilitat.
• Cinc estrelles: llicència oberta → estructurat → format no propietari → URI → enllaçat.
• CC BY 4.0 és la llicència recomanada; CC BY-NC i CC BY-ND NO són obertes.
• PDF no és format de dades obertes; CSV i JSON sí. GeoJSON és un format geogràfic.
• DCAT / DCAT-AP és l'estàndard de metadades; CKAN és la plataforma més estesa.
• Open Data BCN: des de 2010, sobre CKAN, llicència CC BY 4.0, governat per l'OMD.
• Les dades personals no es poden obrir: cal anonimització irreversible; la pseudonimització no n'hi ha prou.

Tema 34 · Innovació, dades i BI

Dominis de dades en arquitectura Data Mesh

Elaboració pròpia: la font és de pagament i no es reprodueix

Enunciat oficial. Dominis de dades en arquitectura DATA MESH.

1. El problema que resol

Les arquitectures analítiques monolítiques —un data warehouse o un data lake central operat per un únic equip de dades— topen amb tres límits quan l'organització creix:

• Coll d'ampolla organitzatiu: un sol equip central ha d'atendre totes les peticions de totes les àrees.
• Desconnexió del domini: l'equip central no coneix el significat de les dades que transforma; els errors semàntics són inevitables.
• Manca de propietat: quan una dada és dolenta, ningú no en respon. El productor no se'n fa càrrec perquè «ja ho arreglarà el data lake».

Data Mesh (Zhamak Dehghani, 2019) proposa descentralitzar l'arquitectura i la propietat analítiques cap als equips de domini, aplicant al món de les dades les lliçons del disseny orientat al domini i dels microserveis.

Data Mesh és, primer, un canvi organitzatiu i de responsabilitats, i només després una arquitectura tècnica. Aquest és el punt que més es malinterpreta.

2. Els quatre principis

2.1 Propietat de les dades orientada al domini

Les dades analítiques les posseeix i gestiona l'equip del domini de negoci que les genera i que millor les entén, no un equip central.

Domini (en Data Mesh): àrea de negoci amb límits clars i un equip responsable, que posseeix, gestiona i serveix les seves pròpies dades analítiques com un producte, amb responsabilitat completa sobre el seu cicle de vida —ingesta, model, qualitat, documentació, accés i evolució.

Aquesta és la definició que respon la pregunta d'examen. Un domini no és una carpeta del data lake, ni un esquema de base de dades, ni un data mart departamental gestionat pel centre: és una unitat organitzativa amb propietat i responsabilitat sobre les seves dades.

Tipus de domini: de font (genera dades des dels sistemes operacionals), de consum (les explota per a un cas d'ús) i agregat (combina dades de diversos dominis per crear una visió transversal).

Delimitació: els límits del domini se solen fer coincidir amb els contextos delimitats (bounded contexts) del Domain-Driven Design i amb les capacitats de negoci de l'organització.

Fronteres entre dominis: quan un domini consumeix dades d'un altre no n'hereta l'esquema intern, sinó el contracte de dades (data contract) que aquell publica —l'esquema, els objectius de qualitat i les regles d'evolució—, perquè un canvi al domini font no trenqui els consumidors sense avís. Els identificadors i les dades mestres compartides (client, ciutadà, immoble) es defineixen com a estàndard comú de la malla, no els imposa cap domini concret als altres.

2.2 Dades com a producte (data as a product)

Cada domini publica les seves dades com un producte amb un propietari (data product owner) i uns consumidors. Un producte de dades ha de complir les característiques DATSIS (Discoverable, Addressable, Trustworthy, Self-describing, Interoperable, Secure):

• Descobrible (Discoverable): registrat al catàleg, amb metadades cercables.
• Adreçable (Addressable): identificador únic i estable per accedir-hi.
• De confiança i veraç (Trustworthy): amb SLO (Service Level Objective, objectiu de nivell de servei) de qualitat publicats (frescor, completesa, exactitud) i mesurats.
• Autodescriptiu (Self-describing): esquema, semàntica, exemples i documentació.
• Interoperable: estàndards comuns de format, identificadors i tipus, per poder-lo combinar amb altres.
• Segur (Secure): control d'accés i compliment aplicats de manera nativa.

S'hi afegeixen sovint valuós per si sol i natiu multientorn.

El producte de dades inclou codi, dades i metadades, i la infraestructura que el serveix: no és només un fitxer.

2.3 Plataforma de dades d'autoservei

Una plataforma comuna proporciona als dominis les capacitats tècniques —emmagatzematge, processament, orquestració, catàleg, control d'accés, observabilitat, CI/CD— de manera autoservei, perquè cada domini pugui publicar productes de dades sense dependre d'un equip central i sense haver de ser expert en infraestructura.

Objectiu: reduir el cost cognitiu del domini. Si publicar un producte de dades exigeix conèixer Kubernetes, la descentralització no funciona.

Plans de la plataforma: infraestructura d'utilitat (emmagatzematge, còmput), experiència del producte de dades (crear, publicar, versionar, monitorar) i malla (mesh) supervisora (catàleg global, llinatge, polítiques).

2.4 Govern federat computacional

Un model de govern federat: un comitè amb representació de tots els dominis i de la plataforma acorda les polítiques globals —estàndards d'interoperabilitat, identificadors, seguretat, privadesa, qualitat mínima—, i cada domini decideix la resta.

Computacional vol dir que les polítiques s'implementen com a codi automatitzat a la plataforma, no com a documents que algú ha de recordar complir: validacions d'esquema, comprovacions de qualitat al desplegament, control d'accés declaratiu, etiquetatge automàtic de dades sensibles.

3. Comparació amb altres arquitectures

Data Mesh vs Data Fabric: el Data Fabric és un enfocament tecnològic —una capa d'integració, metadades actives i automatització que unifica l'accés a dades distribuïdes—; el Data Mesh és organitzatiu. No són excloents: es pot fer servir tecnologia de fabric per implementar una malla.

Data Mesh vs Data Lakehouse: el lakehouse és una arquitectura d'emmagatzematge i processament → tema 32; el mesh és un model de propietat i govern. Un mesh es pot construir sobre lakehouses per domini.

4. Implantació

Passos habituals:

1. Identificar els dominis i els seus límits, alineats amb l'estructura de negoci.
2. Designar propietaris de producte de dades a cada domini.
3. Definir els estàndards globals mínims: identificadors, formats, metadades, SLO de qualitat, classificació de sensibilitat.
4. Construir la plataforma d'autoservei de manera incremental, començant pel que més fricció genera.
5. Començar amb pocs dominis i un cas d'ús transversal que demostri el valor.
6. Automatitzar el govern: cada política nova, un control a la plataforma.
7. Formar els equips de domini en enginyeria de dades.

Riscos i condicions de fracàs:

• Descentralitzar sense plataforma: cada domini reinventa la roda i els costos es multipliquen.
• Descentralitzar sense govern: apareixen definicions incompatibles del mateix concepte i la interoperabilitat es perd.
• Equips de domini sense competències ni capacitat de dades: la propietat és nominal.
• Aplicar-ho a una organització petita: el cost del model supera el benefici. Data Mesh no és per a tothom.
• Confondre'l amb una tecnologia: comprar un producte «data mesh» no en fa cap.

5. Aplicació al sector públic

• Els dominis naturals d'un ajuntament: padró i població, tributs, urbanisme, mobilitat, medi ambient, serveis socials, cultura, recursos humans, contractació. Cadascun té ja un responsable funcional clar, cosa que facilita la delimitació.
• Encaix amb el govern de dades existent: el propietari de la dada i el custodi del model DAMA (Data Management Association) (→ tema 31) es corresponen amb el data product owner i l'equip de domini.
• Compliment com a política computacional: la classificació segons l'ENS, la base de licitud del RGPD, els terminis de retenció i les regles d'anonimització es poden implementar com a controls automàtics de la plataforma — que és exactament el que proposa el govern federat computacional.
• Interoperabilitat: els estàndards globals de la malla han de ser compatibles amb l'ENI i amb els vocabularis normalitzats de catàlegs de dades obertes → tema 33.
• Limitació realista: la majoria d'administracions no tenen la maduresa ni la capacitat d'enginyeria de dades distribuïda que el model requereix. Sovint el pas previ raonable és un lakehouse governat amb propietat de domini clara, sense arribar a la malla completa.

Claus d'examen

• «Domini» no és infraestructura. L'única pregunta oficial d'aquest tema distreu amb un servidor, un proveïdor de serveis i un node de xarxa de comunicacions: la resposta sempre és la unitat organitzativa amb responsabilitat sobre les seves dades, mai un element tècnic (TS-TIC 2025, p. 54).

Per recordar

• Data Mesh és un canvi organitzatiu abans que tècnic: descentralitza la propietat de les dades analítiques cap als dominis.
• Domini = àrea de negoci amb límits clars i un equip que posseeix, gestiona i serveix les seves dades analítiques com un producte.
• Quatre principis: propietat orientada al domini · dades com a producte · plataforma d'autoservei · govern federat computacional.
• Un producte de dades és DATSIS: descobrible, adreçable, de confiança, autodescriptiu, interoperable i segur.
• Computacional = les polítiques s'implementen com a codi automatitzat, no com a documents.
• Mesh ≠ Fabric: el fabric és tecnològic i el mesh, organitzatiu. Mesh ≠ Lakehouse: el lakehouse és emmagatzematge; el mesh, propietat i govern.
• Descentralitzar sense plataforma duplica costos; sense govern trenca la interoperabilitat.
• No és per a organitzacions petites.

Tema 35 · Innovació, dades i BI

Analítica de dades i Business Intelligence

Abast decidit per nosaltres: l'enunciat oficial no acota la matèria

Enunciat oficial. Analítica de dades i Business Intelligence. Visualització, quadres de comandament i presa de decisions basada en dades.

1. Analítica de dades i Business Intelligence

1.1 Què és el Business Intelligence

BI (Business Intelligence, intel·ligència de negoci): conjunt d'estratègies, processos, tecnologies i eines que transformen dades en brut en informació útil per a la presa de decisions. Dit amb les paraules amb què s'ha preguntat, la seva funció principal és l'anàlisi i la presentació de dades per donar suport a la decisió.

Característiques del BI:

• Integra dades de múltiples fonts heterogènies en un model coherent, i les converteix en coneixement per a l'organització.
• Treballa sobre dades històriques i actuals per descriure què ha passat i què està passant.
• Ofereix informes, consultes, quadres de comandament i anàlisi multidimensional.
• Està orientat a l'usuari de negoci, no al tècnic.
• Dona suport a la decisió: no decideix.
• Es basa en una única versió de la veritat: dades consolidades i governades.

No és característica del BI «predir el futur amb models d'aprenentatge automàtic» —això és analítica avançada o predictiva—, ni «processar transaccions operatives» —això és OLTP—, ni «substituir el criteri del gestor». Són les distractores habituals de la pregunta «quina NO és una característica del BI».

Les quatre prestacions amb què se sol descriure una solució de BI, i que convé no confondre entre si: reporting —crear informes personalitzats per presentar dades—, anàlisi —accedir a les dades i analitzar-les, també en temps real—, autoservei —que l'usuari se les faci sense demanar-ho a ningú— i integració amb altres sistemes.

El BI comparat amb els sistemes veïns, que és l'altra manera de preguntar el mateix:

El BI s'alimenta dels tres primers; no els substitueix.

1.2 Els quatre graus d'analítica

L'escala de maduresa analítica, i la pregunta que respon cada graó:

El BI clàssic cobreix els dos primers graus; el tercer i el quart són analítica avançada i entren en el terreny dels models → tema d'intel·ligència artificial.

1.3 BI, analítica i ciència de dades

Tres paraules que el tribunal fa servir com a distractores l'una de l'altra:

• Informe: una consulta fixa amb un format estable, que es lliura periòdicament.
• BI: exploració sobre un model preparat i governat, amb preguntes conegudes d'antuvi.
• Ciència de dades: exploració sobre dades en brut, amb hipòtesis noves, mètodes estadístics i programació.
• Mineria de dades (data mining): cerca de patrons desconeguts d'antuvi dins de grans conjunts.

L'intrús habitual de la llista és l'exportació de dades (data export): treure dades d'un sistema a un fitxer és una operació, no una disciplina.

2. D'on surten les dades del BI

Aquest apartat només arriba fins on cal per entendre el BI: el magatzem, el llac, el lakehouse, l'ETL i l'ELT els desenvolupa el tema d'arquitectura de dades.

• OLTP (Online Transaction Processing): els sistemes operatius, optimitzats per a moltes transaccions curtes. OLAP (Online Analytical Processing): els sistemes analítics, optimitzats per a consultes que agreguen molts registres. No es consulta l'OLTP per fer BI: se'n copien les dades.
• ETL (Extract, Transform, Load): la tipologia d'eina que cal quan les dades vénen amb formats i orígens diversos i s'han d'integrar, normalitzar i controlar. Extreu, transforma —neteja, homogeneïtza, deduplica, aplica regles de negoci— i carrega. A l'ELT (Extract, Load, Transform) la transformació es fa un cop carregades, dins del destí. Ni un sistema d'informació geogràfica, ni una metodologia àgil, ni un orquestrador de contenidors fan aquesta funció: són les distractores clàssiques.
• Magatzem de dades i llac de dades: el magatzem guarda dades ja modelades per a l'anàlisi de negoci; el llac guarda dades en brut i de qualsevol format, i la seva aplicació pràctica més habitual és servir de plataforma centralitzada per a projectes d'aprenentatge automàtic i ciència de dades. El llac no es limita a dades relacionals ni substitueix la gestió documental.
• Model dimensional: taules de fet —els esdeveniments mesurables, amb la seva granularitat— i taules de dimensió —el context pel qual es filtra i s'agrega—, en esquema en estrella (dimensions planes) o en floc de neu (dimensions normalitzades).
• Cub OLAP: la vista multidimensional del model. Operacions: roll-up (agregar), drill-down (desagregar), slice (fixar una dimensió), dice (subcub) i pivot (girar els eixos).
• Capa semàntica: tradueix les taules físiques a conceptes de negoci —mesures, indicadors, jerarquies— perquè l'usuari no hagi de conèixer l'esquema. És on viu la definició única de cada indicador.

Quan cal tecnologia de big data i quan no. No ho decideix el domini —«són sensors de ciutat»— sinó el volum, la velocitat i la varietat. El volum s'estima abans de decidir: nombre de dispositius × lectures per dia × mida del registre. Uns quants centenars de sensors que envien una lectura de desenes de bytes cada pocs minuts generen pocs megabytes al dia, i això es tracta amb tecnologia convencional.

3. Eines de BI

Pregunta real: quina NO és una eina de reporting BI? (TS-TIC 2023 pràctica, s4, p. 22). La distractora sol ser un producte inventat amb nom versemblant, o una eina real però d'una altra família: integració, base de dades, orquestració o monitoratge.

Power BI, pel que se n'ha preguntat:

• Power BI Desktop: eina d'escriptori de creació d'informes; genera fitxers .pbix (i .pbit per a plantilles).
• Power Query: la funcionalitat que permet transformar i netejar les dades abans de visualitzar-les. Fa servir el llenguatge M i desa els passos de manera reproduïble.
• DAX (Data Analysis eXpressions): llenguatge de fórmules per a mesures i columnes calculades.

4. Visualització de dades

4.1 Quin gràfic per a què

Principis de disseny (Tufte, Few, Cairo; recollits també a les regles de presentació d'Eurostat):

• Adequació: el gràfic ha de correspondre al tipus de dada i a la pregunta.
• Maximitzar la relació dada-tinta: fora la decoració que no aporta informació (chartjunk).
• Context: sempre objectiu, comparació i tendència; una xifra sola no diu res.
• Ordenació amb sentit: les categories s'ordenen per valor, no per alfabet, tret que l'ordre sigui el de la dada.
• Jerarquia visual: el més important, primer i més gran.

4.2 Com menteix un gràfic

Els sis casos que es reconeixen a la primera i que són la base de les preguntes de «quin d'aquests gràfics és enganyós»:

• Eix truncat: un gràfic de barres ha de començar a zero, perquè la longitud de la barra és la magnitud i truncar-la n'exagera la diferència. En un gràfic de línies, on el que es llegeix és el pendent, l'eix pot no començar a zero.
• Doble eix vertical amb escales triades per fer coincidir dues sèries que no tenen relació.
• Escales inconsistents entre panells que es comparen entre si.
• Àrea o volum proporcional a la dimensió lineal en lloc de a la magnitud: un radi doble és una àrea quàdruple.
• Període triat a mida (cherry-picking) perquè comenci just on convé.
• Tres dimensions decoratives, que deformen la perspectiva i fan illegible la comparació.

4.3 Visualització accessible

Una visualització publicada per una administració està sotmesa a la normativa d'accessibilitat del sector públic —el Reial decret 1112/2018, que remet a la norma europea EN 301 549 i, per tant, al nivell AA de les WCAG (Web Content Accessibility Guidelines). El que això vol dir en un gràfic:

• No codificar la informació només amb el color: cal a més forma, patró, etiqueta o posició. És el criteri 1.4.1, i és el que fa llegible un gràfic per a qui no distingeix el vermell del verd.
• Contrast del text: com a mínim 4,5:1 respecte del fons, i 3:1 si el text és gran. Criteri 1.4.3.
• Contrast dels elements gràfics necessaris per entendre el contingut —línies de sèrie, límits de barra, icones—: com a mínim 3:1. Criteri 1.4.11.
• Alternativa textual: tot contingut no textual ha de tenir un equivalent en text que compleixi la mateixa funció. Criteri 1.1.1. Per a un gràfic, l'alternativa útil no és «gràfic de barres», sinó què diu el gràfic, i idealment la taula de dades a sota.
• Paletes segures per al daltonisme i mida de lletra suficient a la distància de lectura prevista, que en un quadre de comandament penjat a la paret no és la del monitor.

5. Quadres de comandament

5.1 Què és i de quins tipus

Quadre de comandament (dashboard): conjunt de visualitzacions organitzades en una sola pantalla que mostra els indicadors clau necessaris per assolir un o més objectius. Es distingeix d'un informe en tres coses: cap en una pantalla, s'actualitza sol i està pensat per mirar-se, no per llegir-se.

Per nivell d'ús:

El quadre de comandament d'un servei de tecnologies de la informació —quins KPI (Key Performance Indicator, indicador clau de rendiment) i quins CSF (Critical Success Factor, factor crític d'èxit) porta, i com encaixa amb la millora contínua— el desenvolupa el tema de mesura i millora contínua dels serveis. Aquí el quadre de comandament es tracta com a artefacte de visualització: què és, com es construeix i què el fa llegible o enganyós.

5.2 El quadre de comandament integral

El QCI, quadre de comandament integral (Balanced Scorecard) de Kaplan i Norton, és el sistema que tradueix l'estratègia en objectius i indicadors repartits en quatre perspectives connectades per relacions causa-efecte:

• Financera: viabilitat econòmica, finançament, pressupost.
• Clients: al sector públic, ciutadania: satisfacció, demandes, cobertura.
• Processos interns: els procediments i les activitats clau que cal desplegar.
• Aprenentatge i creixement: persones, competències, sistemes i capacitat d'innovar.

El mapa estratègic és el dibuix d'aquestes relacions causa-efecte: mostra que millorar la formació (aprenentatge) escurça el temps de tramitació (procés), que augmenta la satisfacció (ciutadania). Al sector públic la perspectiva superior és la de la missió i la ciutadania, no la financera, perquè els diners són un mitjà i no la finalitat.

Els requeriments funcionals bàsics que ha de complir un sistema per implementar un QCI, segons els estàndards de la Balanced Scorecard Collaborative, es divideixen en quatre seccions: disseny del quadre de comandament integral, capacitació estratègica i comunicació, explotació del negoci, i feedback i aprenentatge.

5.3 Com es construeix

L'ordre importa, i és el que es pregunta. Un indicador triat abans de saber quin objectiu mesura és un indicador que no es fa servir mai:

1. Planificació i delimitació del projecte: abast, unitats implicades, patrocini directiu.
2. Definició d'objectius estratègics a partir de la missió i les línies estratègiques.
3. Elaboració del mapa estratègic: les relacions causa-efecte entre aquells objectius.
4. Selecció i disseny d'indicadors per a cada objectiu, amb la seva fórmula, la font de dades i el responsable.
5. Establiment de metes: el valor desitjat de cada indicador en un període determinat. Un indicador sense meta no diu si la cosa va bé.
6. Determinació dels plans d'acció i de les mesures correctores quan hi ha desviació.
7. Comunicació, implantació i retroalimentació: formació, transparència del sistema i revisió periòdica.

La seqüència que sol caure és mapa estratègic → selecció i disseny d'indicadors → metes, i la trampa és col·locar els plans d'acció just després del mapa, saltant-se els indicadors i les metes.

5.4 Tipus d'indicadors

Per l'objecte que mesuren —la classificació que ha caigut dues vegades:

• D'estructura (o d'organització): els mitjans i recursos de què es disposa. Plantilla, pressupost, equipament. Visió estàtica.
• De procés: l'activitat feta i com s'ha fet. Expedients tramitats, temps mitjà de resolució, taxa d'error. Diuen «com s'ha produït», no si s'ha produït bé.
• De resultats: l'eficàcia final i l'impacte sobre la població o el territori. Reducció efectiva del soroll, satisfacció de la ciutadania amb les actuacions, cobertura del servei. Són els que es lliguen a la missió.
• D'entorn: les variables externes que condicionen el servei i que l'organització no controla. Població, clima, conjuntura econòmica. Serveixen per interpretar la resta.

Per la dimensió de gestió que valoren:

• Economia: relaciona el cost dels recursos adquirits amb el previst inicialment. Comprar bé.
• Eficàcia: grau de compliment dels objectius previstos en un període. Assolir el que es va dir.
• Eficiència: relació entre el cost dels recursos emprats i la producció obtinguda. Assolir-ho amb el menor cost.
• Efectivitat: l'impacte final assolit i el grau en què s'ha resolt el problema plantejat. Es pot ser eficaç i eficient fent una cosa que no resol res: aquesta és exactament la diferència.
• Qualitat i equitat: conformitat amb el que espera la persona usuària i distribució justa del servei per territori i per renda.

5.5 Què fa llegible un quadre de comandament

Una pantalla per audiència, sense desplaçament; el més important a dalt a l'esquerra; agrupació per temes; filtres coherents entre els panells; cada indicador amb objectiu i tendència, mai una xifra sola; semàfors només amb llindar definit i documentat; i la definició de cada mesura consultable des del mateix quadre.

Què el fa mentir, més enllà dels gràfics de l'apartat 4.2: massa indicadors —amb quaranta no se'n mira cap—, agregar territoris o col·lectius molt diferents en una sola xifra, barrejar períodes de càlcul, i indicadors sense propietari, que ningú actualitza i que envelleixen sense que es noti.

6. BI d'autoservei

Definició: model en què els usuaris de negoci creen els seus propis informes i anàlisis sense dependre del departament de tecnologia, sobre un conjunt de dades governat i preparat prèviament.

Característiques del BI d'autoservei:

• Accés directe de l'usuari de negoci a dades preparades i fiables.
• Interfície visual senzilla: no cal que la persona usuària sigui experta en tecnologia, ni saber programar ni conèixer SQL (Structured Query Language).
• Serveix alhora persones usuàries ocasionals i avançades, amb nivells d'ús diferents sobre el mateix model.
• Creació d'informes personalitzats amb poc esforç i exploració interactiva: filtres, drill-down, segmentacions.
• Sobre un model semàntic governat: la llibertat és en l'exploració, no en la definició de les dades.

NO és característica del BI d'autoservei que «les persones usuàries hagin de ser expertes en tecnologia» —això és justament el que evita—, ni que «cada usuari defineixi les seves pròpies regles de negoci i mètriques», ni que «l'usuari accedeixi directament a les bases de dades operacionals», ni «requerir la intervenció del departament de tecnologia per a cada informe», que és el contrari del concepte.

Riscos: proliferació d'informes duplicats, indicadors incompatibles, fulls de càlcul a l'ombra, i problemes de rendiment i de seguretat si l'accés no està delimitat. Mitigació: catàleg de conjunts de dades certificats, capa semàntica única, formació, i govern del contingut (qui pot publicar què i per a qui).

7. Presa de decisions basada en dades

Decisió basada en dades (data-driven decision making): fonamentar les decisions en evidència mesurada en lloc de la intuïció o l'antiguitat de qui parla.

Condicions perquè funcioni:

1. Dades de qualitat i governades → tema de gestió de dades.
2. Indicadors ben definits, amb propietari, fórmula i definició única.
3. Accés de qui decideix a la informació, en el moment i el format adequats.
4. Alfabetització de dades (data literacy): saber llegir un interval de confiança, distingir correlació de causalitat i reconèixer un gràfic enganyós.
5. Cultura: acceptar que les dades contradiguin la intuïció, i que la mesura no és una amenaça.

Trampes freqüents: confondre correlació amb causalitat; biaix de supervivència; paradoxa de Simpson (una tendència agregada s'inverteix en desagregar per grups); cherry-picking del període o del segment que confirma la tesi; llei de Goodhart (quan la mesura es converteix en l'objectiu, deixa de ser una bona mesura); i decidir sobre mostres massa petites.

Al sector públic: l'evidència ha d'orientar-se al valor públic —equitat, cobertura, accessibilitat, satisfacció— i no només a l'eficiència. L'avaluació de polítiques públiques i la transparència (Llei 19/2013, art. 8, que obliga a publicar informació estadística sobre el grau de compliment i la qualitat dels serveis) donen a la mesura una dimensió de retiment de comptes.

Claus d'examen

• Els indicadors de resultats són els de l'impacte sobre la població. Ha caigut dues vegades amb el mateix disseny: un enunciat que parla d'«eficàcia final o impacte sobre la població o el territori» (TS-TIC 2018, p. 30) i un altre de satisfacció de la ciutadania davant unes actuacions (TS-TIC 2021, p. 13). Les distractores són sempre procés, estructura o organització i entorn.
• Efectivitat no és eficàcia. Quan l'enunciat diu «impacte final assolit i grau en què s'ha resolt el problema», la resposta és efectivitat (TS-TIC 2021, p. 42). Si digués «grau de compliment dels objectius previstos», seria eficàcia; si comparés recursos amb resultats, eficiència.
• Les fases del QCI es pregunten per l'ordre, no pel nom. Després del mapa estratègic vénen els indicadors i les metes, i només després els plans d'acció (TS-TIC 2021, p. 12).
• Els estàndards de la Balanced Scorecard Collaborative són quatre seccions i la que sol faltar a les distractores és feedback i aprenentatge (TS-TIC 2018, p. 28). Les opcions falses hi posen «dimensionament de l'empresa» o «eina tecnològica a implementar».
• Al BI d'autoservei, l'usuari no ha de ser expert en tecnologia. És la resposta a la pregunta «quina NO és una característica» (TS-TIC 2023, p. 28): tot el concepte existeix per treure la barrera tècnica, no per exigir-la.
• La necessitat de big data es calcula, no s'invoca. Quan l'enunciat dona nombre de sensors, freqüència de lectura i mida del registre, vol que multipliquis: uns pocs megabytes al dia no justifiquen big data (TS-TIC 2021, p. 19).

Per recordar

• Els quatre graus d'analítica: descriptiva (què), diagnòstica (per què), predictiva (què passarà), prescriptiva (què fer). El BI cobreix els dos primers.
• La funció principal del BI és analitzar i presentar dades per decidir. No és control d'accés, ni gestió de clients, ni optimització de processos.
• ETL = extreure de fonts diverses, transformar (netejar, homogeneïtzar, aplicar regles) i carregar: és la tipologia d'eina per integrar i normalitzar orígens heterogenis. El llac de dades serveix sobretot de plataforma per a aprenentatge automàtic i ciència de dades; el magatzem, per a l'anàlisi de negoci modelada.
• Cub OLAP → model multidimensional; operacions roll-up, drill-down, slice, dice, pivot. OLTP és el sistema operatiu, i no es consulta per fer BI.
• Power BI Desktop → .pbix; Power Query transforma i neteja abans de visualitzar; DAX és el llenguatge de mesures.
• Barres començant a zero; sectors només amb poques categories; línies per al temps; dispersió per a la correlació.
• Accessibilitat: no codificar només amb color, 4,5:1 de contrast al text i 3:1 als elements gràfics, i alternativa textual que digui què diu el gràfic.
• Tipus d'indicador: estructura (mitjans), procés (activitat), resultats (impacte sobre la població), entorn (variables externes).
• Economia (comprar bé), eficàcia (assolir objectius), eficiència (assolir-los amb menys cost), efectivitat (resoldre el problema de debò).
• Quadre de comandament integral: quatre perspectives i mapa estratègic causa-efecte; al sector públic mana la missió i la ciutadania.
• BI d'autoservei: l'usuari crea els seus informes sobre un model governat, sense ser expert en tecnologia; el que no fa és definir les seves pròpies mètriques ni accedir a l'OLTP.
• Correlació no és causalitat; compte amb la paradoxa de Simpson i amb la llei de Goodhart.