Data-analytiikan hyödyntäminen Energiamarkkinoiden tiedonvaihtosanomien käsittelyssä
Levänsuo, Hannes (2020)
2020
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2020101521337
https://urn.fi/URN:NBN:fi:amk-2020101521337
Tiivistelmä
Tutkitaan energiamarkkinoiden sanomaliikenteen sanomien käsittelyä ja työjonoja, joita pitkin sanoma kulkee. Tavoitteena oli löytää pullonkaulaprosessit tai työjonot, joiden vuoksi tiettyjen sanomien käsittelyaika on pidempi, kuin tarvitsisi olla.
Tutkimus toteutettiin Excelin Power Queryllä sekä Excelissä pyörivillä VBA-skripteillä. Näiden avulla työjonoista löydettiin ongelmaprosessi, jonka korjaus pienentäisi tiettyjen sanomien käsittelyä huomattavasti. Excelin päälle tehdyllä työkalulla on mahdollista tutkia otantoja sanomien kulusta tietyllä aikavälillä.
Tavoitteena oli löytää myös tapoja parantaa analytiikkaa ja tässä tapauksessa paras tapa olisi luoda erillinen tietokanta analytiikkaa varten. Tuotantotietokannan tarkemmat tiedot säilytetään vain viikon, joten tutkinta suuremmalla aikavälillä ei ole mahdollista. Erillisen tietokannan avulla voitaisiin tutkia esimerkiksi eri vuosien työjonojen käsittelyaikoja toisiinsa ja löytää pitkäaikaisia vaikutuksia sanomaliikenteen käsittelyprosesseissa. Investigation of message processing in electricity market and balance settlement. Main goal was to investigate and find slow processes in message processing queues and nodes.
Work was done with Excel Power Query and VBA-scripts on Excel platform. With these tools we were able to find slowness on some messaging processing queues. We created a platform that you can manually search messages processes on a specific timeframe.
One object was also to find a way to make analytics better. One of the best option in this situation was to create a new data warehouse for storing summary data. We store message queue data for a week so a long term summary data would allow yearly investigation of message queue processing.
Tutkimus toteutettiin Excelin Power Queryllä sekä Excelissä pyörivillä VBA-skripteillä. Näiden avulla työjonoista löydettiin ongelmaprosessi, jonka korjaus pienentäisi tiettyjen sanomien käsittelyä huomattavasti. Excelin päälle tehdyllä työkalulla on mahdollista tutkia otantoja sanomien kulusta tietyllä aikavälillä.
Tavoitteena oli löytää myös tapoja parantaa analytiikkaa ja tässä tapauksessa paras tapa olisi luoda erillinen tietokanta analytiikkaa varten. Tuotantotietokannan tarkemmat tiedot säilytetään vain viikon, joten tutkinta suuremmalla aikavälillä ei ole mahdollista. Erillisen tietokannan avulla voitaisiin tutkia esimerkiksi eri vuosien työjonojen käsittelyaikoja toisiinsa ja löytää pitkäaikaisia vaikutuksia sanomaliikenteen käsittelyprosesseissa.
Work was done with Excel Power Query and VBA-scripts on Excel platform. With these tools we were able to find slowness on some messaging processing queues. We created a platform that you can manually search messages processes on a specific timeframe.
One object was also to find a way to make analytics better. One of the best option in this situation was to create a new data warehouse for storing summary data. We store message queue data for a week so a long term summary data would allow yearly investigation of message queue processing.