Big data - Ratkaisut ja testaaminen
Marjalahti, Jero (2016)
Marjalahti, Jero
Jyväskylän ammattikorkeakoulu
2016
All rights reserved
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2016090514027
https://urn.fi/URN:NBN:fi:amk-2016090514027
Tiivistelmä
Opinnäytetyön tehtävänä oli JYVSECTEC:in toimesta tutustua yleisellä tasolla big dataan sekä tutkia tarkemmin viiden suurimman big data -toimittajan ratkaisuja ja testata opinnäytetyön edistyessä valittuja ratkaisuja.
Big datan teoriaosassa käytiin läpi big datan käytössä olevat määritelmät, historia sekä siihen johtaneet muutokset datan määrän kasvussa ja monimuotoisuudessa. Big datan arkkitehtuurista selvitettiin siihen liittyvät rajapinnat ja datalähteet. Eri palvelutyypeissä tutustuttiin big data -palveluiden organisointiin ja työkaluihin sekä ICT-alan suuryritysten luomiin ja käyttöönottamiin ratkaisuihin.
Etukäteen valittujen viiden suuriman big data -toimittajan jakeluista käytiin läpi teoriatasolla toimittajien heikkoudet ja vahvuudet, tarjolla olevat eri vaihtoehdot sekä niiden ohjelmisto- ja laitteistovaatimukset.
Korkeiden kustannusten ja suurten laitteistovaatimusten takia testauksessa päädyttiin tutkimaan tarkemmin IBM:n Bluemix-pilvipalvelun tarjoamia mahdollisuuksia. Tätä päätöstä tuki myös se, että IBM:ltä saatiin opiskelijatunnukset, jotka mahdollistivat pidempiaikaisen testauksen. Testauksessa käytettiin Streaming Analytics, Insights for Twitter ja Insights for Weather -palveluja, joilla saatiin big dataan liittyvät testisovellukset luotua ja testattua.
Big datan teoriaosassa käytiin läpi big datan käytössä olevat määritelmät, historia sekä siihen johtaneet muutokset datan määrän kasvussa ja monimuotoisuudessa. Big datan arkkitehtuurista selvitettiin siihen liittyvät rajapinnat ja datalähteet. Eri palvelutyypeissä tutustuttiin big data -palveluiden organisointiin ja työkaluihin sekä ICT-alan suuryritysten luomiin ja käyttöönottamiin ratkaisuihin.
Etukäteen valittujen viiden suuriman big data -toimittajan jakeluista käytiin läpi teoriatasolla toimittajien heikkoudet ja vahvuudet, tarjolla olevat eri vaihtoehdot sekä niiden ohjelmisto- ja laitteistovaatimukset.
Korkeiden kustannusten ja suurten laitteistovaatimusten takia testauksessa päädyttiin tutkimaan tarkemmin IBM:n Bluemix-pilvipalvelun tarjoamia mahdollisuuksia. Tätä päätöstä tuki myös se, että IBM:ltä saatiin opiskelijatunnukset, jotka mahdollistivat pidempiaikaisen testauksen. Testauksessa käytettiin Streaming Analytics, Insights for Twitter ja Insights for Weather -palveluja, joilla saatiin big dataan liittyvät testisovellukset luotua ja testattua.