Combinatorial testing

Sverre ThomassenMats Gimming Myhre

2

Sverre Thomassen / Mats Gimming Myhre

Konsulent / SeniorkonsulentSogeti Norge AS

3

Combinatorial testing

Lyntale Presentasjon Rom Kaffepause

TRUE TRUE Hugin TRUEFALSE FALSE Munin FALSE

Sleipner

4

Combinatorial testing - Fordelene

Økt effektivitet

Høyere kvalitet

Forbedret utviklings- og testprosess

Redusert kostnad

csrc.nist.gov/groups/SNS/acts/documents/kuhn-kacker-lei-hunter09.pdf

5

Combinatorial testing-PairwiseAlle kombinasjoner av

2 parametreAlle verdier til hvert

paramenter dekkes av minst en test

Meget effektivt

Relativt liten ressursbruk

Avhengig av verktøy

6

Pairwise finner 60% - 95%1

1 D.R. Kuhn, D.R. Wallace, and A. Gallo, “Software Fault Interactions and Implications for Software Testing,” IEEE Trans. Software Eng., vol. 30, no. 6, 2004, pp. 418–421.

Figur: Introducing Combinatorial Testing in a Large Organization:  Experience Report, (poster); full paper in IEEE Computer, April 2015.J. Hagar. D.R. Kuhn, R.N. Kacker, T. Wissink.

Figur 1

7

4-6 kombinasjoner avdekker alt!1

1 D.R. Kuhn, D.R. Wallace, and A. Gallo, “Software Fault Interactions and Implications for Software Testing,” IEEE Trans. Software Eng., vol. 30, no. 6, 2004, pp. 418–421.

Type Pairwise 100% dekning

Medisinske enheter 95 % 4 kombinasjonerNASA database 95 % 4 kombinasjonerNettverksikkerhet 60 % 5 kombinasjonerNettlesertest 70 % 6 kombinasjonerServer-applikasjon 75 % 6 kombinasjoner

8

Vurder pairwise (2-way) sammen med andre testteknikker!►Er pairwise godt nok?

• Vurder risiko►Avansert løsning m/mange kombinasjoner krever flere

kombinasjoner►Kombiner med flere testteknikker

• Tmap.net

1 D.R. Kuhn, D.R. Wallace, and A. Gallo, “Software Fault Interactions and Implications for Software Testing,” IEEE Trans. Software Eng., vol. 30, no. 6, 2004, pp. 418–421.

9

ACTS – 4-way eksempel

10

ACTS– 2-way (pairwise) eksempel

11

Takk for oss!► ACTS:

• http://csrc.nist.gov/groups/SNS/acts/index.html• Her finner du også lenker til diverse artikler av Rick Kuhn.

► Testmetoder:• http://tmap.net/

► Referanser:• D.R. Kuhn, D.R. Wallace, and A. Gallo, “Software Fault Interactions and

Implications for Software Testing,” IEEE Trans. Software Eng., vol. 30, no. 6, 2004, pp. 418–421.

• Figur 1: Introducing Combinatorial Testing in a Large Organization:  Experience Report, (poster); full paper in IEEE Computer, April 2015.J. Hagar. D.R. Kuhn, R.N. Kacker, T. Wissink.

► Presentasjon:• Twitter: @matsgmyhre