Rajapinnan regressiotestauksen automaatiojärjestelmän valinta

Abstract

Tutkimuksen tarkoitus oli löytää kohdeyritykselle sopiva avoimen lähdekoodin järjestelmä kohdeyrityksen tuotteiden tarjoamien REST-rajapintojen regressiotestaamisen automatisointiin. Testiautomaation käyttöönoton tavoitteena oli parantaa kohdeyrityksen tuotteiden laatua ja toiminnan tehokkuutta lisäämällä testien käyttöä. Tämän oletettiin vähentävän kehitystyössä tapahtuvia tahattomia muutoksia rajapintojen toiminnassa ja näiden korjaamiseen tarvittavaa tuottamatonta takuutyötä. Tutkimusongelma oli selvittää, onko kohdeyritykselle sopivia testiautomaatiojärjestelmiä ylipäänsä olemassa ja mikä niistä on sekä teknisesti että muilta ominaisuuksiltaan sopivin kohdeyrityksen käyttöön.

Järjestelmien sopivuuden vertailemiseksi muutamaa sopivimmalta vaikuttanutta vaihtoehtoa kokeiltiin käytännössä. Vertailun tasapuolisuuden vuoksi ennen järjestelmien valintaa asetettiin joukko kriteereitä, jotka kohdeyritykselle sopivan järjestelmän tulisi täyttää. Kokeista laadittiin muistiinpanoja ja havaintoja analysoitiin laadullisen luokittelun menetelmällä. Kolmesta sopivimmalta vaikuttavasta järjestelmästä kahta pystyttiin kokeilemaan käytännössä. Kolmannen järjestelmän kohdalla testaaminen epäonnistui järjestelmän asennuspaketin virheen vuoksi. Molemmat testatut järjestelmät olisivat sopineet kohdeyrityksen käyttöön, mutta toinen näistä täytti kriteerit paremmin. Lopputuloksena saatiin suositus kohdeyritykselle käyttöönotettavasta järjestelmästä. Myös järjestelmän käyttöönoton vaikuttavuuden seuraamista suositeltiin.

Sopivimman testiautomaatiojärjestelmän löytäminen ja käyttöön ottaminen on kohdeyritykselle merkittävä tehokkuustekijä. Tutkimuksessa käytettyä menettelytapaa voidaan myös soveltaa yleisemminkin yrityksen liiketoimintaa tukevien tietojärjestelmien valintaan.

The objective of this Bachelor’s thesis was to discover an open source test automation framework suitable to automate regression testing RESTful interfaces at the commissioning company. Test automation was intended to improve product quality and efficiency of operations at the commissioning company by increasing the usage of regression testing. This was expected to reduce the frequency of unintended changes in the behaviour of interfaces and unbillable work needed to revert these changes. The research problem was to investigate whether suitable test automation frameworks exist at all and if so, which one is best suited for the commissioning company.

To compare the suitability a few apparently most fitting frameworks were put to test in practise. For unbiased comparison a set of criteria to define a suitable framework for the commissioning company were placed. Notes were taken during these tests and their observations were analysed through qualitative categorization. Two out of the three apparently most suitable frameworks were successfully tested. Testing of the third system failed because the published installation package was defective. Although both successfully tested frameworks were found suitable for the commissioning company one of them fulfilled the placed criteria better. The result was a recommendation for the commissioning company to deploy specified test automation framework. Monitoring the effectiveness of the deployment was also recommended.

Discovery and deployment of the best suited test automation framework will be a major influence on efficiency at the commissioning company. The methodology used in this study can be adapted to more generally examine the suitability of information systems to support production work.