Pulizia e ottimizzazione dei dati aziendali: dal disordine al dato tecnico

Un archivio può contenere migliaia di righe e risultare comunque poco utilizzabile. Una descrizione può riportare materiali, caratteristiche, dimensioni e lavorazioni all’interno di un unico testo. Un secondo file può contenere i valori economici. Un terzo può elencare componenti o servizi senza collegarli in modo uniforme agli elementi ai quali appartengono.

Le informazioni sono presenti, ma non possono ancora essere cercate, confrontate, aggiornate, importate o utilizzate per calcoli affidabili. Il passaggio dall’informazione al dato avviene quando ogni elemento assume un significato preciso, una posizione definita e una relazione verificabile con gli altri elementi.

Un file disordinato non è necessariamente un file graficamente confuso. Può presentare colonne ordinate, intestazioni leggibili e righe apparentemente complete. Le difficoltà emergono quando si prova a elaborarne il contenuto. Lo stesso materiale può essere scritto in modi differenti, le quantità possono utilizzare unità di misura non omogenee e un componente può essere indicato attraverso una descrizione in una riga e un codice in un’altra.

Anche una cella vuota può indicare l’assenza dell’informazione, un valore non applicabile oppure un dato da recuperare da un’altra fonte. L’esperto deve rendere visibili queste differenze prima di iniziare qualsiasi trasformazione.

Molte informazioni vengono registrate in forma sintetica perché le persone che le utilizzano ne conoscono già il significato. Una descrizione compatta può contenere contemporaneamente tipologia, materiale, caratteristica, misura, lavorazione, quantità e indicazione economica. Per una persona esperta la lettura può essere immediata; per un software rimane una semplice sequenza di caratteri.

La lavorazione del dato consiste nel riconoscere le diverse informazioni, separarle e collocarle nei rispettivi campi. La descrizione originale può essere conservata come fonte, mentre ciò che contiene viene trasformato in attributi tecnici utilizzabili.

Prima di pulire o unire i dati è necessario capire che cosa rappresenti ogni archivio. Quale file contiene le informazioni principali? Quale le completa? Quale versione è più recente? Attraverso quale identificativo possono essere collegate le righe? Quali campi vengono compilati manualmente? Due file possono sembrare compatibili perché presentano colonne simili, ma essere stati costruiti per scopi differenti.

Uno può descrivere l’elemento finale, un altro i componenti, un terzo i valori economici e un quarto le lavorazioni disponibili. L’esperto non parte dalla domanda «come unire questi file?» , ma da «quale parte della realtà descrive ciascun file?»

La pulizia dei dati non coincide soltanto con la correzione degli errori di scrittura o la rimozione dei duplicati. Ottimizzare un archivio significa uniformare il modo in cui le informazioni vengono rappresentate: adottare una sola denominazione per lo stesso elemento, uniformare abbreviazioni e simboli, convertire le unità di misura, separare valori numerici dalle descrizioni, distinguere quantità, importi e percentuali e ricostruire codici coerenti. L’obiettivo è fare in modo che informazioni equivalenti vengano riconosciute come tali e che informazioni differenti non vengano accorpate soltanto perché si assomigliano.

Il valore maggiore emerge quando le diverse fonti vengono messe in relazione. Un elemento principale può essere collegato ai propri componenti, un componente a quantità, caratteristiche e valore, una lavorazione alla fase nella quale viene utilizzata e un costo agli elementi che lo determinano. A quel punto l’archivio non è più un insieme di file separati.

Diventa una struttura capace di descrivere composizione, caratteristiche, lavorazioni, valori disponibili e relazioni da mantenere. Questa trasformazione rende il dato fruibile da un gestionale, da uno strumento di analisi, da un sistema di calcolo oppure da un processo automatizzato.

Fogli di calcolo avanzati, query, script e intelligenza artificiale permettono di analizzare grandi quantità di informazioni con una velocità difficilmente raggiungibile manualmente. Possono individuare schemi ricorrenti, estrarre informazioni dalle descrizioni, confrontare archivi, proporre corrispondenze, riconoscere anomalie e segnalare i casi da verificare.

Questi strumenti non sostituiscono però la comprensione del dato. Un sistema può riconoscere che due descrizioni sono simili, ma non stabilire autonomamente se rappresentino lo stesso elemento. La tecnologia accelera l’elaborazione; l’esperto definisce le regole con cui il risultato deve essere interpretato.

Durante la lavorazione possono emergere informazioni incomplete o collegamenti non dimostrabili. Un dato mancante non può essere sostituito da un’ipotesi soltanto perché appare probabile. Una lavorazione professionale distingue i dati presenti nella fonte, quelli derivati attraverso regole verificabili, quelli ottenuti collegando fonti coerenti, quelli che richiedono una conferma e quelli che non possono essere ricostruiti.

Questa distinzione rende il risultato affidabile e permette all’azienda di sapere quali informazioni possano essere utilizzate immediatamente e quali richiedano ancora un approfondimento.

L’intelligenza artificiale può offrire un contributo importante quando le informazioni sono contenute in testi, descrizioni non uniformi o documenti difficili da elaborare con regole tradizionali. Può riconoscere elementi ricorrenti, proporre classificazioni e trasformare un contenuto sommario in una prima struttura. Non basta però chiederle di sistemare un file.

Occorre definire quali informazioni debbano essere individuate, come rappresentarle, quali valori siano ammessi, quali relazioni possano essere costruite, quali casi debbano essere segnalati e che cosa non debba essere dedotto. Utilizzata senza regole, l’AI rischia di rendere ordinato anche ciò che non è corretto.

La verifica non dovrebbe essere eseguita soltanto al termine del lavoro. Dopo la normalizzazione bisogna controllare quante denominazioni siano state accorpate. Dopo il collegamento tra archivi occorre verificare quanti elementi abbiano trovato una corrispondenza. Dopo l’estrazione dalle descrizioni servono campioni significativi e casi anomali.

Conteggi iniziali e finali, duplicati, totali, percentuali di corrispondenza, dati non classificati e tracciabilità delle trasformazioni consentono di individuare una regola sbagliata prima che venga applicata all’intero archivio.

Un archivio ottimizzato non si valuta dall’ordine visivo delle colonne, ma da ciò che permette di fare. Il dato deve poter essere cercato, filtrato, importato, collegato e aggiornato senza reinterpretare ogni volta la fonte originale. Al termine della lavorazione l’azienda dovrebbe disporre di una struttura coerente, campi con significato definito, valori normalizzati, relazioni ricostruite, informazioni tecniche utilizzabili, casi dubbi separati e regole documentate.

Il file finale è soltanto il contenitore. Il vero risultato è la trasformazione di informazioni disperse in una base dati comprensibile e governabile.

L’intervento diventa utile quando l’azienda possiede molte informazioni ma non riesce a utilizzarle direttamente perché sono distribuite, sommarie o prive di una struttura uniforme. Accade quando i dati provengono da più archivi, le descrizioni contengono informazioni tecniche non separate, occorre collegare elementi principali, componenti e lavorazioni, codici e denominazioni non sono coerenti oppure il risultato dovrà essere importato o elaborato da un altro sistema.

In queste situazioni non basta conoscere bene un foglio di calcolo. Serve comprendere il contenuto, progettare la struttura finale e utilizzare gli strumenti digitali senza perdere il significato originario.

Un’azienda può possedere informazioni importanti senza riuscire ancora a sfruttarle. Possono essere nascoste nelle descrizioni, distribuite tra file differenti o registrate secondo logiche nate per esigenze ormai cambiate. L’esperto costruisce il passaggio tra ciò che è semplicemente disponibile e ciò che può essere realmente utilizzato.

Analizza le fonti, riconosce le relazioni, definisce le regole, utilizza gli strumenti digitali per accelerare il lavoro e mantiene separato ciò che è certo da ciò che deve essere verificato. Il valore non consiste nell’aggiungere informazioni che non esistono, ma nel far emergere, organizzare e rendere tecnico ciò che l’azienda possiede già.