Integrating a hardware platform to a test automation solution

Abstract

This Bachelor’s Thesis documents a test automation project conducted in a Finnish ICT company. The objective of the project was to introduce a test automation solution for a consumer hardware platform and related software modules. Development of organizational software testing conventions and preparation for longer term requirements formed the basis for executing the project.

The primary success criterion for the project was to create a test automation system using Jenkins automation server software and Robot Framework, an open source test automation framework. The project begun by dividing the success criteria to smaller subtasks and by determining their interdependencies. First task was to ensure environment-agnostic test case execution. Ten test devices were then installed to a rack environment and network connectivity to each device was verified. The test device pool was configured to Jenkins as resources. Jenkins test jobs were then created to utilize the test devices. Select test jobs were also scheduled to execute hourly.

The solution was tested by employing it in daily software testing work. This revealed connectivity problems between the Jenkins server and test devices, which were rectified by introducing artificial latency to network calls. A memory leak issue on the Jenkins server was also identified during testing; it was fixed by introducing a missing command line parameter.

The resulting test automation system fulfilled all set requirements. The project and related process was very educational. The resulting system fulfilled the client’s needs and is future-proof considering its extensibility and ease of modification.

Insinöörityö tehtiin suomalaisen tieto- ja viestintätekniikkayrityksen testiautomaatioprojektin yhteydessä, jonka tavoitteena oli tuoda kuluttajalaitteistoalusta ja siihen liittyvät ohjelmistomoduulit testiautomaation piiriin. Projektin taustalla olivat organisaation ohjelmistotestauskäytäntöjen muutokset ja valmistautuminen uusiin, pidemmän aikavälin vaatimuksiin.

Projektin onnistumisen kriteerinä oli luoda testiautomaatiojärjestelmä Jenkins-automaatiopalvelinohjelmistoa ja Robot Framework -testausohjelmistokehystä hyväksi käyttäen. Projekti aloitettiin jakamalla kriteerit pienempiin kokonaisuuksiin ja selvittämällä niiden keskinäiset riippuvuussuhteet. Ensimmäisenä työvaiheena oli testitapausten toiminnan varmistaminen suoritusympäristöstä riippumatta. Tämän jälkeen testilaitteita asennettiin räkkiympäristöön ja varmistettiin niiden saavutettavuus verkossa. Testilaitteet määriteltiin resursseiksi Jenkins-palvelimelle, jolle luotiin myös laitteita käyttäviä testaustyötehtäviä. Testiajoja myös ajastettiin suoritettavaksi tunnin välein, ja niiden toiminta varmistettiin palvelimen lokeista.

Järjestelmän toimintaa testattiin varsinaisessa ohjelmistotestaustyössä, joka paljasti yhteysongelmia Jenkins-palvelimen ja testilaitteiden välillä. Yhteysongelmat ratkaistiin lisäämällä viivettä palvelimen ja testilaitteiden välisiin verkkokutsuihin. Lisäksi havaittiin muistivuoto-ongelma, joka korjattiin lisäämällä yksittäinen puuttuva komentoriviparametri.

Projektin tuloksena syntynyttä testiautomaatiojärjestelmää hyödynnetään yrityksessä päivittäisessä ohjelmistotestaustyössä. Järjestelmä täytti tilaajan tarpeen ja on helposti muunneltavissa tulevaisuutta ajatellen. Projekti oli prosessina erittäin opettavainen.