Dippatyö:

28 sivua

4865 sanaa

*Moni sivu on vielä pelkällä otsikolla varustettu, mutta kyllä se sisältö tästä karttuu

Konferenssipaperi:

6 sivua

3983 sanaa

* Tämä tuskin pitenee paljoa, ennemminkin saa käyttää paljon aikaa eri ilmaisujen hiomiseen.

Sitten kun määritelmät on selvänä niin pitäisi päättää mitä on järkevää tutkia. Jos otan model-driven testing työkaluja niin niitä on tasan yksi kaupallinen tullut vastaan. Jos otetaan puhtaat model-driven testing työkalut niin määrä lähenee jo kymmentä. Mutta jos otetaan testi input dataa määritelmistä generoivia työkaluja mukaan niin määrä räjähtää käsiin ja aika loppuu kesken. Ne kyllä tavallaan ovat mallipohjaisia työkaluja koska käyttävät data domain mallia. Lisä hankaluuden muodostaa erilaiset tutkimusprojektien myötä syntyneet työkalut, niiden epäselvä tilanne ja open source kentän hajanaisuus. Täytynee katsoa miten pitkälle aika riittää ja tehdä rajaus sen mukaan.

CaseMakerin idea on testauksen kattavuuden parantaminen hienoilla algoritmeilla. Käyttäjä määrittelee siihen kaikki tiedonsyöttökanavat ja oikeat syötteet niihin. Esim. "sukupuoli" kenttään käy vain vastaukset "nainen" ja "mies" muut on vääriä. Kun on neljä kenttää joissa jokaisessa on kymmenen eri vaihtoehtoa saadaan mahdollisten testien lukumääräksi 10*10*10*10=10000. Entä sitten kun vaihtoehtoja on käytännössä rajattomasti esim "nimi" kentässä? Siinähän käy niin että vaihtoehdot räjähtää käsiin. Tähän CaseMaker tarjoaa ratkaisuja esim. ekvivalenssi partitioinnin ja pairwise tekniikat.

Määriteltyjä syötteitä kutsutaan jossain input data-alue malliksi (model of input data domain). Eli jos ajattelee sitä tuolla lailla niin se on mallipohjaista testausta. Joka tapauksessa ei se ole kovin fiksu työkalu mallipohjaisesta näkökulmasta.

Tämä näytti olevan aika pitkälti sulautettuihin suuntautunut työkalu. Se käytää matlabia mallintamaan ja ajamaan kaiken laskennan. Näyttäis että sillä voi mallintaa jopa rautaa.  Mistään ohjeesta ei kuitenkaan selvinnyt käytettävyyden kannalta oleellisinta seikkaa, eli kuinka testit ajetaan oikeasti. Odottellaan jospa tuotetuki vastaisi sähköpostiin.

Tässä työkalussa on erittäin mukavan oloinen mallinnustyökalu.  Itse testityökalu jää vähän heppoisen oloiseksi. Parasta työkalussa on asynkronisten syötteiden lisääminen. Kyllä tällä näyttäisi saavan aikaan ihan kelvollista mallipohjaista testausta, täytynee kuitenkin vielä vähän syventyä.

Tämän ranskalaisen työkalun mainokset lupaavat melkein kuun taivaalta, toisin näyttäisi olevan itse työkalun kanssa. Perjantaina näin siitä esityksen, ja ainakaan siinä ei tullut esille mitään mikä olisi varsinaista mallipohjaista testausta. Ihmeellistä sinänsä sillä Leirioksen kaverit ovat kirjoittaneet mainion kirjan aiheesta, mutta työkalu ei ole samaa tasoa. Evaluointi lisenssiä ei ole kuulemma mahdollista saada mitenkään päin. Sain kuitenkin käyttöohjeet, ja toivon että niistä saa tarpeeksi tietoa.

Vastaavia tieteellisiä tutkimuksia työkaluista ei ole ennen tehty, ja hyvä niin sillä muuten tämä olisi turhaa. On kuitenkin pari keveimmin perustein kokoon kyhättyä paperia. Jos näitä papereita on esitelty jossain niin minun tulevalla paperilla pitäisi päästä matkustelemaan vaikka ja mihin... :)

Commercial model based testing tools on Practical Model Based Testing kirjan kirjoittajien pitämä listaus kaupallisista mallipohjaisista työkaluista. Tämä on minulle hyödyllisin paperi. Vaikka sisältöä on vähän niin se on asiantuntijoiden kirjoittamaa ja todella hyvin paikkansapitävää, vaikka ei olekaan puolueetonta.

A Taxonomy Of Model-Based Testing on paperi jossa kuvataan asioita joilla mallipohjaisia työkaluja voi vertailla keskenään. Tämä on minulle erittäin hyödyllinen, vaikka en ole ihan samoilla linjoilla heidän kanssaan. Onpahan jotain mihin peilata omaa näkemystään.

AGENDIS - Model Based Testing Tools on erittäin maineikkaan AGENDIS projektissa tehty paperi työkaluista. Näyttää aluksi hyvältä, mutta kun vähän vilkaisee niin itse tutkimus on jätetty puolitiehen tai miltei kokonaan pois. Analyysi on luokkaa "Valmistaja X:n kotisivulta käy ilmi että tämä on hyvä työkalu". Eli ihan kiva paperi sinänsä, mutta vailla syvempää tietoa ja vanha, joten siitä puuttuu uudemmat työkalut.

Perspectives Of Model-Based Testing on yhteenveto papereista. En ole vielä perehtynyt tähän syvällisemmin, mutta näyttäisi olevan ihan käyttökelpoista tavaraa. Ainakin siinä on pari työkalun nimeä joita ei ole muualla esiintynyt.

Resurssien vaatimuksethan on tärkeä tieto käytettäessä tällaista työkalua. Qtronic tekee todella nopeaa hyvä työtä ja kattavia testejä, kunhan hakupuut ja odotusajat pidetään lyhyinä. Kokeilin tässä että miten käy jos hakupuut käännetään tappiin. Testi hyrskytti noin puoli tuntia ja tilakattavuutta saatiin 91% (normaalisti tuohon menee 5 sekuntia). Siinä vaiheessa keskusmuistissa oli jotain 1,2 GB tavaraa ja huomasin samalla että se ei osaa ihan tasaisesti jakaa kuormaa molemmille prosessoreille. Testaustietokoneet ovatkin yleensä oikeita prosessorikarsinoita joissa on tehoja todella paljon, joten hakupuutkin saavat hieman venyä.

Kaiken kaikkiaan todella miellyttävä kokemus. Eihän tuo varmasti ole suorastaan helppo käyttää oikeaan työntekoon, koska on niin paljon ominaisuuksia. Uskon että Qtronicilla saa kuitenkin enemmän kuin se euroissa ottaa.

Mainitsen tässä muutaman esimerkin miksi Qtronic on hyvä:

Siinä on avoimet rajapinnat testattavan systeemin ja työkalun välissä sekä tulosten analysointipuolella ja lisäksi se sisältää valmiita plugineja mm. XML ja HTML pohjaiseen tulosten tulostamiseen. Elikkä jos haluat tehdä tuloksista vaikka tekstitiedoston niin koodaat vain pluginin avoimeen rajapintaan ja tulokset tulee juuri niin kuin haluat.

Testien generointialgoritmit ovat erittäin hyviä. Algoritmit ovat todella vaikea tutkimusala ja alati tasapainoilua ajan, prosessointitehon ja hyödyn kanssa. Qtronicissa on käytetty hyödyksi alan viimeistä tutkimustietoa ja vielä jalostettu sitä hyötykäyttöön.

Lisensointi käytäntö on erittäin miellyttävä. Juuri lisensointi on kaatanut monen hyvän ohjelman käyttöönoton. Qtronicissa se on erittäin joustava ja käytännöllinen. mm. kelluvan lisenssin voi lukita viikoksi, jos on viikon työreissulla ja tarvii työkalua. Testausyritys voi hankkia oman lisenssin alle Value Chain versioita, joilla sen asiakas voi ajaa testejä jotka on tehty tietyllä lisenssillä. Näin asiakkaan ei tarvitse hommata huomattavan kallista lisenssiä pelkkään testien ajoon. Monesti ostaessaan oikeita työkaluja siinä lukee että pitää olla asennettuna Visual Studio, Mathlab jne.. joista tulee hintaa ihan simona. Tässä asiakkaalle ei tule yhtään hintaa mistään ylimääräisestä.

Ainoana miinuksena voin sanoa että Qtronic on ihan hirveän kallis mutta hyöty on kyllä isompi osaavissa käsissä.

Voin yhtyä erään IBM:n tutkijan sanomaan "Uskon mallipohjaisen testauksen tulemiseen, kunhan normaalit testaajat pidetään siitä kaukana!".

Ensi viikolla yritän käyttää Qtronicia. Saapa nähdä olenko silloin yhtä tyytyväinen kuin tuon ohjeen luettuani.

Ajattelin jakaa työkaluanalyysin neljään osaan:

1. Mallinnus: Tässä on melkoinen kirjo mm: UML statechart, UML2.0, B notation, FSM, EFSM, Simulink, Markov Chain, TTCN-3 ja joitain omia virityksiä. Vaikea sanoa mikä noista on paras, kun se riippuu niin paljon lähestymistavasta.

2. Testien generointi: Tähän saa osviittaa analysoimalla työkaluja. Niissä voi valita juostaanko päättömästi ympäri tilakonetta, vai yritetäänkö päästä johonkin tiettyyn tilaan, käydäänkö joka tilassa, mennäänkö kaikki siitymät läpi jne... Itse logiikka on kuitenkin piilossa työkalun sisuksissa eikä missään kerrota että mitä menetelmiä se käyttää. Toivottavasti mua ei kiinnostakkaan ;)

3. Testien suoritus: Tässä törmää ensin käsitteeseen Online/Offline, eli tehdäänkö testit etukäteen (offline) ja ajetaan sitten vai keksitäänkö testejä sitä mukaan (online). Ajattelin laittaa tähän kaikki mitä tapahtuu Play-napin painamisen jälkeen. Elikkä sisältää logien luettavuudesta aina testauksen havainnollistamiseen asti.

4. Sovelluskerroksen rakennus: Tämä näyttäisi olevan koko projektin kenkkumaisin osa. Ajattelinkin että kun menen testaamaan johonkin näitä menetelmiä niin annan jonkun guru-koodarin tehtäväksi tehdä tämä rajapinta, jolla malli liitetään itse ohjelmaan.

Seuraavaksi ajattelin lueskella lisää menestystarinoita, ja samalla kinuta ohjelmien valmistajilta testiversioita ohjelmiin.