Analítica de dades i Business Intelligence

Abast decidit per nosaltres: l'enunciat oficial no acota la matèria

Enunciat oficial. Analítica de dades i Business Intelligence. Visualització, quadres de comandament i presa de decisions basada en dades.

1. Analítica de dades i Business Intelligence

1.1 Què és el Business Intelligence

BI (Business Intelligence, intel·ligència de negoci): conjunt d'estratègies, processos, tecnologies i eines que transformen dades en brut en informació útil per a la presa de decisions. Dit amb les paraules amb què s'ha preguntat, la seva funció principal és l'anàlisi i la presentació de dades per donar suport a la decisió.

Característiques del BI:

• Integra dades de múltiples fonts heterogènies en un model coherent, i les converteix en coneixement per a l'organització.
• Treballa sobre dades històriques i actuals per descriure què ha passat i què està passant.
• Ofereix informes, consultes, quadres de comandament i anàlisi multidimensional.
• Està orientat a l'usuari de negoci, no al tècnic.
• Dona suport a la decisió: no decideix.
• Es basa en una única versió de la veritat: dades consolidades i governades.

No és característica del BI «predir el futur amb models d'aprenentatge automàtic» —això és analítica avançada o predictiva—, ni «processar transaccions operatives» —això és OLTP—, ni «substituir el criteri del gestor». Són les distractores habituals de la pregunta «quina NO és una característica del BI».

Les quatre prestacions amb què se sol descriure una solució de BI, i que convé no confondre entre si: reporting —crear informes personalitzats per presentar dades—, anàlisi —accedir a les dades i analitzar-les, també en temps real—, autoservei —que l'usuari se les faci sense demanar-ho a ningú— i integració amb altres sistemes.

El BI comparat amb els sistemes veïns, que és l'altra manera de preguntar el mateix:

El BI s'alimenta dels tres primers; no els substitueix.

1.2 Els quatre graus d'analítica

L'escala de maduresa analítica, i la pregunta que respon cada graó:

El BI clàssic cobreix els dos primers graus; el tercer i el quart són analítica avançada i entren en el terreny dels models → tema d'intel·ligència artificial.

1.3 BI, analítica i ciència de dades

Tres paraules que el tribunal fa servir com a distractores l'una de l'altra:

• Informe: una consulta fixa amb un format estable, que es lliura periòdicament.
• BI: exploració sobre un model preparat i governat, amb preguntes conegudes d'antuvi.
• Ciència de dades: exploració sobre dades en brut, amb hipòtesis noves, mètodes estadístics i programació.
• Mineria de dades (data mining): cerca de patrons desconeguts d'antuvi dins de grans conjunts.

L'intrús habitual de la llista és l'exportació de dades (data export): treure dades d'un sistema a un fitxer és una operació, no una disciplina.

2. D'on surten les dades del BI

Aquest apartat només arriba fins on cal per entendre el BI: el magatzem, el llac, el lakehouse, l'ETL i l'ELT els desenvolupa el tema d'arquitectura de dades.

• OLTP (Online Transaction Processing): els sistemes operatius, optimitzats per a moltes transaccions curtes. OLAP (Online Analytical Processing): els sistemes analítics, optimitzats per a consultes que agreguen molts registres. No es consulta l'OLTP per fer BI: se'n copien les dades.
• ETL (Extract, Transform, Load): la tipologia d'eina que cal quan les dades vénen amb formats i orígens diversos i s'han d'integrar, normalitzar i controlar. Extreu, transforma —neteja, homogeneïtza, deduplica, aplica regles de negoci— i carrega. A l'ELT (Extract, Load, Transform) la transformació es fa un cop carregades, dins del destí. Ni un sistema d'informació geogràfica, ni una metodologia àgil, ni un orquestrador de contenidors fan aquesta funció: són les distractores clàssiques.
• Magatzem de dades i llac de dades: el magatzem guarda dades ja modelades per a l'anàlisi de negoci; el llac guarda dades en brut i de qualsevol format, i la seva aplicació pràctica més habitual és servir de plataforma centralitzada per a projectes d'aprenentatge automàtic i ciència de dades. El llac no es limita a dades relacionals ni substitueix la gestió documental.
• Model dimensional: taules de fet —els esdeveniments mesurables, amb la seva granularitat— i taules de dimensió —el context pel qual es filtra i s'agrega—, en esquema en estrella (dimensions planes) o en floc de neu (dimensions normalitzades).
• Cub OLAP: la vista multidimensional del model. Operacions: roll-up (agregar), drill-down (desagregar), slice (fixar una dimensió), dice (subcub) i pivot (girar els eixos).
• Capa semàntica: tradueix les taules físiques a conceptes de negoci —mesures, indicadors, jerarquies— perquè l'usuari no hagi de conèixer l'esquema. És on viu la definició única de cada indicador.

Quan cal tecnologia de big data i quan no. No ho decideix el domini —«són sensors de ciutat»— sinó el volum, la velocitat i la varietat. El volum s'estima abans de decidir: nombre de dispositius × lectures per dia × mida del registre. Uns quants centenars de sensors que envien una lectura de desenes de bytes cada pocs minuts generen pocs megabytes al dia, i això es tracta amb tecnologia convencional.

3. Eines de BI

Pregunta real: quina NO és una eina de reporting BI? (TS-TIC 2023 pràctica, s4, p. 22). La distractora sol ser un producte inventat amb nom versemblant, o una eina real però d'una altra família: integració, base de dades, orquestració o monitoratge.

Power BI, pel que se n'ha preguntat:

• Power BI Desktop: eina d'escriptori de creació d'informes; genera fitxers .pbix (i .pbit per a plantilles).
• Power Query: la funcionalitat que permet transformar i netejar les dades abans de visualitzar-les. Fa servir el llenguatge M i desa els passos de manera reproduïble.
• DAX (Data Analysis eXpressions): llenguatge de fórmules per a mesures i columnes calculades.

4. Visualització de dades

4.1 Quin gràfic per a què

Principis de disseny (Tufte, Few, Cairo; recollits també a les regles de presentació d'Eurostat):

• Adequació: el gràfic ha de correspondre al tipus de dada i a la pregunta.
• Maximitzar la relació dada-tinta: fora la decoració que no aporta informació (chartjunk).
• Context: sempre objectiu, comparació i tendència; una xifra sola no diu res.
• Ordenació amb sentit: les categories s'ordenen per valor, no per alfabet, tret que l'ordre sigui el de la dada.
• Jerarquia visual: el més important, primer i més gran.

4.2 Com menteix un gràfic

Els sis casos que es reconeixen a la primera i que són la base de les preguntes de «quin d'aquests gràfics és enganyós»:

• Eix truncat: un gràfic de barres ha de començar a zero, perquè la longitud de la barra és la magnitud i truncar-la n'exagera la diferència. En un gràfic de línies, on el que es llegeix és el pendent, l'eix pot no començar a zero.
• Doble eix vertical amb escales triades per fer coincidir dues sèries que no tenen relació.
• Escales inconsistents entre panells que es comparen entre si.
• Àrea o volum proporcional a la dimensió lineal en lloc de a la magnitud: un radi doble és una àrea quàdruple.
• Període triat a mida (cherry-picking) perquè comenci just on convé.
• Tres dimensions decoratives, que deformen la perspectiva i fan illegible la comparació.

4.3 Visualització accessible

Una visualització publicada per una administració està sotmesa a la normativa d'accessibilitat del sector públic —el Reial decret 1112/2018, que remet a la norma europea EN 301 549 i, per tant, al nivell AA de les WCAG (Web Content Accessibility Guidelines). El que això vol dir en un gràfic:

• No codificar la informació només amb el color: cal a més forma, patró, etiqueta o posició. És el criteri 1.4.1, i és el que fa llegible un gràfic per a qui no distingeix el vermell del verd.
• Contrast del text: com a mínim 4,5:1 respecte del fons, i 3:1 si el text és gran. Criteri 1.4.3.
• Contrast dels elements gràfics necessaris per entendre el contingut —línies de sèrie, límits de barra, icones—: com a mínim 3:1. Criteri 1.4.11.
• Alternativa textual: tot contingut no textual ha de tenir un equivalent en text que compleixi la mateixa funció. Criteri 1.1.1. Per a un gràfic, l'alternativa útil no és «gràfic de barres», sinó què diu el gràfic, i idealment la taula de dades a sota.
• Paletes segures per al daltonisme i mida de lletra suficient a la distància de lectura prevista, que en un quadre de comandament penjat a la paret no és la del monitor.

5. Quadres de comandament

5.1 Què és i de quins tipus

Quadre de comandament (dashboard): conjunt de visualitzacions organitzades en una sola pantalla que mostra els indicadors clau necessaris per assolir un o més objectius. Es distingeix d'un informe en tres coses: cap en una pantalla, s'actualitza sol i està pensat per mirar-se, no per llegir-se.

Per nivell d'ús:

El quadre de comandament d'un servei de tecnologies de la informació —quins KPI (Key Performance Indicator, indicador clau de rendiment) i quins CSF (Critical Success Factor, factor crític d'èxit) porta, i com encaixa amb la millora contínua— el desenvolupa el tema de mesura i millora contínua dels serveis. Aquí el quadre de comandament es tracta com a artefacte de visualització: què és, com es construeix i què el fa llegible o enganyós.

5.2 El quadre de comandament integral

El QCI, quadre de comandament integral (Balanced Scorecard) de Kaplan i Norton, és el sistema que tradueix l'estratègia en objectius i indicadors repartits en quatre perspectives connectades per relacions causa-efecte:

• Financera: viabilitat econòmica, finançament, pressupost.
• Clients: al sector públic, ciutadania: satisfacció, demandes, cobertura.
• Processos interns: els procediments i les activitats clau que cal desplegar.
• Aprenentatge i creixement: persones, competències, sistemes i capacitat d'innovar.

El mapa estratègic és el dibuix d'aquestes relacions causa-efecte: mostra que millorar la formació (aprenentatge) escurça el temps de tramitació (procés), que augmenta la satisfacció (ciutadania). Al sector públic la perspectiva superior és la de la missió i la ciutadania, no la financera, perquè els diners són un mitjà i no la finalitat.

Els requeriments funcionals bàsics que ha de complir un sistema per implementar un QCI, segons els estàndards de la Balanced Scorecard Collaborative, es divideixen en quatre seccions: disseny del quadre de comandament integral, capacitació estratègica i comunicació, explotació del negoci, i feedback i aprenentatge.

5.3 Com es construeix

L'ordre importa, i és el que es pregunta. Un indicador triat abans de saber quin objectiu mesura és un indicador que no es fa servir mai:

1. Planificació i delimitació del projecte: abast, unitats implicades, patrocini directiu.
2. Definició d'objectius estratègics a partir de la missió i les línies estratègiques.
3. Elaboració del mapa estratègic: les relacions causa-efecte entre aquells objectius.
4. Selecció i disseny d'indicadors per a cada objectiu, amb la seva fórmula, la font de dades i el responsable.
5. Establiment de metes: el valor desitjat de cada indicador en un període determinat. Un indicador sense meta no diu si la cosa va bé.
6. Determinació dels plans d'acció i de les mesures correctores quan hi ha desviació.
7. Comunicació, implantació i retroalimentació: formació, transparència del sistema i revisió periòdica.

La seqüència que sol caure és mapa estratègic → selecció i disseny d'indicadors → metes, i la trampa és col·locar els plans d'acció just després del mapa, saltant-se els indicadors i les metes.

5.4 Tipus d'indicadors

Per l'objecte que mesuren —la classificació que ha caigut dues vegades:

• D'estructura (o d'organització): els mitjans i recursos de què es disposa. Plantilla, pressupost, equipament. Visió estàtica.
• De procés: l'activitat feta i com s'ha fet. Expedients tramitats, temps mitjà de resolució, taxa d'error. Diuen «com s'ha produït», no si s'ha produït bé.
• De resultats: l'eficàcia final i l'impacte sobre la població o el territori. Reducció efectiva del soroll, satisfacció de la ciutadania amb les actuacions, cobertura del servei. Són els que es lliguen a la missió.
• D'entorn: les variables externes que condicionen el servei i que l'organització no controla. Població, clima, conjuntura econòmica. Serveixen per interpretar la resta.

Per la dimensió de gestió que valoren:

• Economia: relaciona el cost dels recursos adquirits amb el previst inicialment. Comprar bé.
• Eficàcia: grau de compliment dels objectius previstos en un període. Assolir el que es va dir.
• Eficiència: relació entre el cost dels recursos emprats i la producció obtinguda. Assolir-ho amb el menor cost.
• Efectivitat: l'impacte final assolit i el grau en què s'ha resolt el problema plantejat. Es pot ser eficaç i eficient fent una cosa que no resol res: aquesta és exactament la diferència.
• Qualitat i equitat: conformitat amb el que espera la persona usuària i distribució justa del servei per territori i per renda.

5.5 Què fa llegible un quadre de comandament

Una pantalla per audiència, sense desplaçament; el més important a dalt a l'esquerra; agrupació per temes; filtres coherents entre els panells; cada indicador amb objectiu i tendència, mai una xifra sola; semàfors només amb llindar definit i documentat; i la definició de cada mesura consultable des del mateix quadre.

Què el fa mentir, més enllà dels gràfics de l'apartat 4.2: massa indicadors —amb quaranta no se'n mira cap—, agregar territoris o col·lectius molt diferents en una sola xifra, barrejar períodes de càlcul, i indicadors sense propietari, que ningú actualitza i que envelleixen sense que es noti.

6. BI d'autoservei

Definició: model en què els usuaris de negoci creen els seus propis informes i anàlisis sense dependre del departament de tecnologia, sobre un conjunt de dades governat i preparat prèviament.

Característiques del BI d'autoservei:

• Accés directe de l'usuari de negoci a dades preparades i fiables.
• Interfície visual senzilla: no cal que la persona usuària sigui experta en tecnologia, ni saber programar ni conèixer SQL (Structured Query Language).
• Serveix alhora persones usuàries ocasionals i avançades, amb nivells d'ús diferents sobre el mateix model.
• Creació d'informes personalitzats amb poc esforç i exploració interactiva: filtres, drill-down, segmentacions.
• Sobre un model semàntic governat: la llibertat és en l'exploració, no en la definició de les dades.

NO és característica del BI d'autoservei que «les persones usuàries hagin de ser expertes en tecnologia» —això és justament el que evita—, ni que «cada usuari defineixi les seves pròpies regles de negoci i mètriques», ni que «l'usuari accedeixi directament a les bases de dades operacionals», ni «requerir la intervenció del departament de tecnologia per a cada informe», que és el contrari del concepte.

Riscos: proliferació d'informes duplicats, indicadors incompatibles, fulls de càlcul a l'ombra, i problemes de rendiment i de seguretat si l'accés no està delimitat. Mitigació: catàleg de conjunts de dades certificats, capa semàntica única, formació, i govern del contingut (qui pot publicar què i per a qui).

7. Presa de decisions basada en dades

Decisió basada en dades (data-driven decision making): fonamentar les decisions en evidència mesurada en lloc de la intuïció o l'antiguitat de qui parla.

Condicions perquè funcioni:

1. Dades de qualitat i governades → tema de gestió de dades.
2. Indicadors ben definits, amb propietari, fórmula i definició única.
3. Accés de qui decideix a la informació, en el moment i el format adequats.
4. Alfabetització de dades (data literacy): saber llegir un interval de confiança, distingir correlació de causalitat i reconèixer un gràfic enganyós.
5. Cultura: acceptar que les dades contradiguin la intuïció, i que la mesura no és una amenaça.

Trampes freqüents: confondre correlació amb causalitat; biaix de supervivència; paradoxa de Simpson (una tendència agregada s'inverteix en desagregar per grups); cherry-picking del període o del segment que confirma la tesi; llei de Goodhart (quan la mesura es converteix en l'objectiu, deixa de ser una bona mesura); i decidir sobre mostres massa petites.

Al sector públic: l'evidència ha d'orientar-se al valor públic —equitat, cobertura, accessibilitat, satisfacció— i no només a l'eficiència. L'avaluació de polítiques públiques i la transparència (Llei 19/2013, art. 8, que obliga a publicar informació estadística sobre el grau de compliment i la qualitat dels serveis) donen a la mesura una dimensió de retiment de comptes.

Claus d'examen

• Els indicadors de resultats són els de l'impacte sobre la població. Ha caigut dues vegades amb el mateix disseny: un enunciat que parla d'«eficàcia final o impacte sobre la població o el territori» (TS-TIC 2018, p. 30) i un altre de satisfacció de la ciutadania davant unes actuacions (TS-TIC 2021, p. 13). Les distractores són sempre procés, estructura o organització i entorn.
• Efectivitat no és eficàcia. Quan l'enunciat diu «impacte final assolit i grau en què s'ha resolt el problema», la resposta és efectivitat (TS-TIC 2021, p. 42). Si digués «grau de compliment dels objectius previstos», seria eficàcia; si comparés recursos amb resultats, eficiència.
• Les fases del QCI es pregunten per l'ordre, no pel nom. Després del mapa estratègic vénen els indicadors i les metes, i només després els plans d'acció (TS-TIC 2021, p. 12).
• Els estàndards de la Balanced Scorecard Collaborative són quatre seccions i la que sol faltar a les distractores és feedback i aprenentatge (TS-TIC 2018, p. 28). Les opcions falses hi posen «dimensionament de l'empresa» o «eina tecnològica a implementar».
• Al BI d'autoservei, l'usuari no ha de ser expert en tecnologia. És la resposta a la pregunta «quina NO és una característica» (TS-TIC 2023, p. 28): tot el concepte existeix per treure la barrera tècnica, no per exigir-la.
• La necessitat de big data es calcula, no s'invoca. Quan l'enunciat dona nombre de sensors, freqüència de lectura i mida del registre, vol que multipliquis: uns pocs megabytes al dia no justifiquen big data (TS-TIC 2021, p. 19).

Per recordar

• Els quatre graus d'analítica: descriptiva (què), diagnòstica (per què), predictiva (què passarà), prescriptiva (què fer). El BI cobreix els dos primers.
• La funció principal del BI és analitzar i presentar dades per decidir. No és control d'accés, ni gestió de clients, ni optimització de processos.
• ETL = extreure de fonts diverses, transformar (netejar, homogeneïtzar, aplicar regles) i carregar: és la tipologia d'eina per integrar i normalitzar orígens heterogenis. El llac de dades serveix sobretot de plataforma per a aprenentatge automàtic i ciència de dades; el magatzem, per a l'anàlisi de negoci modelada.
• Cub OLAP → model multidimensional; operacions roll-up, drill-down, slice, dice, pivot. OLTP és el sistema operatiu, i no es consulta per fer BI.
• Power BI Desktop → .pbix; Power Query transforma i neteja abans de visualitzar; DAX és el llenguatge de mesures.
• Barres començant a zero; sectors només amb poques categories; línies per al temps; dispersió per a la correlació.
• Accessibilitat: no codificar només amb color, 4,5:1 de contrast al text i 3:1 als elements gràfics, i alternativa textual que digui què diu el gràfic.
• Tipus d'indicador: estructura (mitjans), procés (activitat), resultats (impacte sobre la població), entorn (variables externes).
• Economia (comprar bé), eficàcia (assolir objectius), eficiència (assolir-los amb menys cost), efectivitat (resoldre el problema de debò).
• Quadre de comandament integral: quatre perspectives i mapa estratègic causa-efecte; al sector públic mana la missió i la ciutadania.
• BI d'autoservei: l'usuari crea els seus informes sobre un model governat, sense ser expert en tecnologia; el que no fa és definir les seves pròpies mètriques ni accedir a l'OLTP.
• Correlació no és causalitat; compte amb la paradoxa de Simpson i amb la llei de Goodhart.