Kvalitet podataka - poslovni ili tehnološki problem

Verujem da u poslednje vreme često čujete termine data quality, data governance, master data management, ... Kako su ovi termini postali posebno popularni poslednjih godina, došlo je do najezde kompanija koje nude razna rešenja upravo iz pomenutih oblasti. Ukoliko je prisutno nepoznavanje materije, prirode projekta koji se uvodi u firmu i nedovoljna svest o realnim potrebama, čak ni proizvodi i usluge najboljih svetskih kompanija neće doprineti ostvarenju cilja. Dakle, razumevanje prirode projekta koji se uvodi je neophodan preduslov za kvalitetnu realizaciju istog.

Sa aspekta kvaliteta podataka, za sada je dovoljno reći da se podaci smatraju kvalitetnim ukoliko dovoljno dobro odslikavaju stanje u realnom svetu. Postoji više dimenzija kvaliteta podataka, ali o njima će biti više reči u zasebnom članku.

Mnoge organizacije nisu svesne nivoa kvaliteta svojih podataka ili su, još gore, svesne da im podaci nisu dovoljno dobri, ali ne prepoznaju kakve to gubitke ima za posledicu. Za primer ćemo uzeti slučaj sa jednog od mojih prethodnih angažovanja kao developer u banci na razvoju modula čija je funkcija trebala da bude automatsko štampanje adresa klijenata kojima je trebalo poslati pismo upozorenja pred utuženje (klijenti koji kasne sa otplatom određenog broja rata kredita). Iako, na osnovu definicije zahteva implementacija ovog modula deluje trivijalno, naišli smo na dva ozbiljna problema:

• Nepostojanje pripremljenih podataka o broju zakasnelih uplata kredita po klijentu
• Loši/nepotpuni podaci o adresama klijenata

U vreme o kom govorim BI sistem u pomenutoj banci nije bio implementiran, te su se izveštaji pravili prema potrebi uz modifikaciju postojećih. Obzirom na ovakav način rada, morali smo za svaki modul da razvijamo poseban upit kojim ćemo iz baze izvući potrebne podatke, a to zahteva znatno više vremena za izradu i testiranje.  Samim tim je i podložnije greškama.Drugi problem je bio taj što podaci o adresama klijenata nisu bili potpuni. Sva pisma koja su poslata na netačne adrese predstavljaju čist gubitak u vidu potrošenog materijala, vremena za štampanje, kovertiranja i troškova slanja.

Iz navedenog, očigledno je da je problem kvaliteta podataka zapravo problem poslovnih korisnika u čije rešavanje je potrebno uključiti i IT odeljenje što proizvodi sledeće zaključke:

• poslovni korisnici su obavezni da definišu mere kvaliteta podataka i nivo prihvatljivosti; na primer, ukoliko je reč o firmi koja šalje veliki broj pisama, moguće je izračunati koliko pisama će se godišnje vratiti zbog pogrešne adrese i taj gubitak izraziti u novčanim jedinicama
• korist od povećanja kvaliteta podataka je najefiksanije izraziti u novčanim jedinicama kako bi se obezbedio sponzor za DQ projekat
• meriti samo ključne procese
• rad na kvalitetu podataka mora biti kontinualan proces jer jednokratno poboljšanje kvaliteta podataka ne donosi dugoročne efekte
• zadužiti osobu koja poznaje kako poslovne procese tako i podatke u sistemu za brigu o kvalitetu podataka; ovu ulogu često ne može da "pokrije" samo jedna osoba već je po poslovnim područjima potrebno imenovati najkompetentnije osobe za tu ulogu.