Datan validointi- ja normalisointimenetelmät modernissa tietovarastoinnissa
Niemi, Ari (2023)
Niemi, Ari
2023
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2023082825020
https://urn.fi/URN:NBN:fi:amk-2023082825020
Tiivistelmä
Opinnäytetyön tarkoituksena oli toteuttaa tietovarastointiprojekti, jossa modernia data-arkkitehtuuria hyödyntäen validoitiin ja normalisoitiin ulkoisen tiedontuottajan toimittamaa yrityksiin ja vastuuhenkilöihin liittyvää dataa, jotta datan pohjalta voitiin muodostaa tietovarastoon rajapintojen ja palvelujen käytössä oleva harmonisoitu taulu. Työn toimeksiantaja oli media-alalla toimiva yritys. Opinnäytetyön tekijä oli mukana projektin suunnittelussa ja toteutuksessa.
Opinnäytetyön tietopohja koostuu tietovarastoinnin peruskäsitteistä sekä pilvipohjaisten tietovarastointiratkaisujen piirteistä, datan laatuun ja laadunhallintaan liittyvistä tekijöistä sekä erilaisten datan validointi- ja normalisointimenetelmien esittelystä. Opinnäytetyö on tyypiltään toiminnallinen. Aineiston keräämisen menetelmä oli kehitysprojekti, joka toteutettiin vuoden 2023 alkupuoliskolla validoimalla tiedontuottajan toimittaman datan laatua ja ominaisuuksia, ja toteuttamalla validoinnin tulosten pohjalta normalisointiin liittyviä toimenpiteitä, joilla datan laatua pyrittiin parantamaan.
Johtopäätöksenä voidaan todeta, että tiedontuottajan toimittama data oli varsin kattavaa ja eheää, mutta se ei täyttänyt kaikkia vaatimuksia. Normalisointitoimenpiteiden myötä dataa saatiin puhdistettua attribuutista riippuen muutamasta sadasta tiedosta useisiin tuhansiin, mikä todettiin tärkeäksi toimeksiantajan luotettavuuden ja laatumielikuvan kannalta.
Opinnäytetyön tietopohja koostuu tietovarastoinnin peruskäsitteistä sekä pilvipohjaisten tietovarastointiratkaisujen piirteistä, datan laatuun ja laadunhallintaan liittyvistä tekijöistä sekä erilaisten datan validointi- ja normalisointimenetelmien esittelystä. Opinnäytetyö on tyypiltään toiminnallinen. Aineiston keräämisen menetelmä oli kehitysprojekti, joka toteutettiin vuoden 2023 alkupuoliskolla validoimalla tiedontuottajan toimittaman datan laatua ja ominaisuuksia, ja toteuttamalla validoinnin tulosten pohjalta normalisointiin liittyviä toimenpiteitä, joilla datan laatua pyrittiin parantamaan.
Johtopäätöksenä voidaan todeta, että tiedontuottajan toimittama data oli varsin kattavaa ja eheää, mutta se ei täyttänyt kaikkia vaatimuksia. Normalisointitoimenpiteiden myötä dataa saatiin puhdistettua attribuutista riippuen muutamasta sadasta tiedosta useisiin tuhansiin, mikä todettiin tärkeäksi toimeksiantajan luotettavuuden ja laatumielikuvan kannalta.