Embedded Software Testing Methods

Abstract

This thesis was carried out at Efore Group Product Development department, Espoo. The aim of the thesis was to develop and tailor embedded software testing process and meth-ods and develop customised testing tool.

Traditional software testing methods were studied to familiarise oneself with the basic concepts of software testing. Several software testing methods were studied to map op-tions for exploiting existing methods in developing software testing method for low-level embedded software environment.

The customised testing method was built around Test Maturity Model integration TMMi model to ensure integration of the software testing practices to the existing software de-velopment process and pave the way for continuous improvement of software testing. A spiral model was selected to be the main process control structure due to its iterative and test intense nature. The concrete testing practice incorporated into the customised meth-od was based on agile Test Driven Development TDD method to shorten defect lifecycles and set emphasis on developer oriented software testing. From these elements a tailored software testing method was formed.

In order to perform software testing in early stages of project, a hardware software test-ing platform was designed. The platform was able to simulate analogue, digital and PWM signals to enable testing in simulated target environment before actual hardware is availa-ble. The testing platform could be fully automated by test scripts. The platform gathered test log from inputs and formatted the data for further processing and documentation.

The platform prototype was tested on one actual project and proven to be functional and suitable for effective early-stage testing.

Insinöörityö tehtiin Efore Oyj:n tuotekehitysosastolle Espooseen. Insinöörityön tavoitteena oli kehittää ja räätälöidä prosessi ja menetelmät sulautettujen järjestelmien ohjelmistotestaukseen sekä kehittää työkalu testauksen suorittamiseksi.

Työssä tutkittiin perinteisiä ohjelmistotestauksen menetelmiä ja testauskonsepteja. Lisäksi tutkittiin useita ohjelmistotestausmetodeja ja kartoitettiin mahdollisuutta olemassa olevien metodien hyödyntämiseen tilaajayrityksen sulautettujen järjestelmien matalan tason ohjelmistotestauksen kehittämisessä.

Räätälöity testausmetodi rakennettiin Test Maturity Model integration TMMi –mallin ympärille, jotta voitiin varmistaa testauskäytänteiden integroituminen ohjelmistokehitysprosessiin ja mahdollistaa testausmetodien jatkuva kehittäminen. Pääasialliseksi prosessin ohjaus- ja kontrollimetodiksi valittiin spiraalimalli iteratiivisen ja testausorientoituneen luonteensa vuoksi. Kehitetyssä metodissa konkreettinen testauksen toteutus pohjautuu joustavaan Test Driven Development TDD –metodiin, jotta vikojen elinikä voitiin minimoida ja painottaa testaus kehittäjälähtöiseksi. Näistä elementeistä koottiin räätälöity testausmenetelmä Eforen käyttöön.

Jotta ohjelmistotestaus olisi ollut mahdollista aloittaa varhaisessa vaiheessa, työssä kehitettiin ohjelmistotestausalusta. Alusta pystyi tuottamaan analogisia ja digitaalisia signaaleja sekä PWM-pulssisignaaleja. Alustalla voitiin simuloidan lopullista laiteympäristöä ja testaus voitiin suorittaa kohdeprosessorissa ennen varsinaisen laitteiston valmistumista. Testausalustan lähdöt voitiin automatisoida täysin skripteillä. Alusta keräsi sisääntuloista dataa ja muotoili kerätyn datan pohjalta lokitiedostoja jatkokäsittelyä ja dokumentointia varten.

Alustan prototyyppiä testattiin meneillään olleen projektin yhteydessä ja testausalustan konsepti todettiin toimivaksi. Laitteisto soveltui tehokkaaseen varhaisessa vaiheessa tapahtuvaan ohjelmiston testaukseen.