La Micro ETL Foundation

La Micro ETL Foundation è un insieme di idee, riflessioni, suggerimenti, soluzioni che devono essere presenti nella progettazione di un Data Warehouse e che devono essere indipendenti dal business che si sta modellizzando.

Parliamo quindi di tutto ciò che possiamo definire come infrastruttura di standardizzazione e controllo. Per esempio:

• naming convention
• invio di segnalazioni di alert via email o sms
• controllo dell'esecuzione dei jobs di caricamento
• controllo dell'esecuzione dei singoli moduli
• controlli di qualità
• ecc.

Nel caso in cui la soluzione sia reale (quindi con codice open source) essa deve essere implementata in uno o più moduli (per esempio Oracle pl/sql) facilmente inseribili in un contesto già esistente.  

La soluzione di controllo che è stata descritta nel post "Note di Data Warehouse – Il controllo di congruenza" è proprio un esempio di quello che è un piccolo "mattone" nella costruzione della Micro ETL Foundation.

Sono trascorsi vari anni da quando presentai alla "IDC Data Warehouse e Business Intelligence Conference 2001" di Milano un tema dal titolo "L'utilizzo di un framework per la configurazione e il controllo dei progetti di Data Warehouse" ma noto che le problematiche sono sempre le stesse, e il tempo necessario per il controllo e la qualità del dato continua ad essere, come per la documentazione, ignorato o fuori budget.

A mio avviso (e per esperienza) per un Data Warehouse di successo, il 30 o 40 percento del tempo (e del codice) deve essere dedicato al controllo e deve essere presente nel Gantt di progetto.