dvbconsulting.nldvbconsulting.nl/wp-content/uploads/2016/...versie-3.0-… · web viewverder de...

Het effect van optimism op de schatting van een ERP-forecast.

Naam: J. van Capelleveen

Studentnummer: 851338868

Datum: 07-02-2016

Versie 3.0


Masteropleiding: ManagementwetenschappenUniversiteit: Open Universiteit NederlandCursuscode: B9431B

Begeleidingscommissie:1e begeleider: Ir G.L.S.G. Janssens2e begeleider: Dr. Ir. H.H. MartinExaminator: Dr. Ir. H.H. Martin


VoorwoordIn 2012 ben ik gestart met de module `changemanagement and implementatie’ en besloot meteen daarna om de gehele Master of Science Managementwetenschappen aan de Open Universiteit te volgen.

Vanaf de start van deze opleiding heb ik zelf ook te maken met problematische verandersituaties. Er wordt wel eens gezegd `Practice what you preach’ en dat is mijn lijfspreuk geweest de afgelopen 3-4 jaren. Het besluit om een ingewikkelde relatie van bijna 19 jaar, waarin je elkaar in de houdgreep houdt, te stoppen is de moeilijkste beslissing geweest in mijn leven. Verder de combinatie het verantwoordelijk zijn voor het live brengen van een ERP-pakket en een masterstudie vielen niet mee. Avonden overwerken en daarna jezelf opladen om tot middernacht achter de boeken te kruipen, is een hele opgave geweest.

Ik wil mijn ex Mascha bedanken voor haar steun gedurende het studietraject. Tevens wil ik mijn familie en vrienden bedanken voor hun begrip, want door het harde werken (studie en werk) heb ik minder tijd aan hun kunnen besteden.

Verder wil ik Guy Janssens bedanken voor zijn scherpe blik en duidelijke feedback wat deze scriptie zeker ten goede is gekomen. Ook wil ik Harry Martin bedanken voor het afstemmen en meelezen.

Met de afronding van dit afstudeeronderzoek en hiermee ook deze masterstudie sluit ik dit jaar wederom een problematische verandersituatie af met tevens de kennis dat verandering de enige constante is (zoals de Griekse filosoof Heraclitus het destijds al zei) en de volgende verandering alweer een feit is.


SamenvattingShore (2008) en Rutten et al. (2014) signaleren, dat er mogelijk problemen kunnen ontstaan door biases bij de beheersing van projecten en programma’s. Beide artikelen beschrijven, dat mensen niet rationeel en consistent zijn bij het nemen van besluiten. Er worden systematische denkfouten (biases) gemaakt en mensen laten zich bij hun keuzes (mis)leiden door emoties. Hierdoor is het aannemelijk, dat bij projectmanagement mogelijk ongewenste effecten kunnen optreden als gevolg van menselijke bias. Het kunnen interpreteren en mogelijk inschatten van deze biases vormt de basis van dit onderzoek.

De hoofdvraag voor de literatuurstudie luidde:”In hoeverre is er in één of meerdere ICT-projecten sprake geweest van één of meer verschillende typen biases en welke effecten hebben deze gehad op het verloop van het ICT-project en waaruit bestonden die biases dan?”

Het literatuuronderzoek heeft geleid tot een basisinzicht op het gebied van biases en voor een beperkt aantal typen biases de effecten daarvan op het verloop van een ICT-project. Voor deze gevonden biases blijkt het lastig causale verbanden te trekken. Dit heeft te maken met het feit, dat er door verschillende auteurs wordt aangegeven, dat er nog maar betrekkelijk weinig onderzoek is gedaan naar biases en laat staan naar de effecten van deze biases op het verloop van projecten. Toch blijkt uit het literatuuronderzoek, dat een drietal biases effecten uitoefent op een forecast/planning en deze het verloop van een ICT-project beïnvloedt:• Optimism (Actiegerichte bias)• Strategic misrepresentation (Aandachts-bias)• Political bias (Aandachts-bias)

Het empirisch onderzoeken van deze drie gevonden biases is te omvangrijk voor een afstudeerscriptie. Verder bleek na het besturen van de literatuur, dat er een standaard interviewen/of vragenlijsten is m.b.t. het meten van Optimism beschikbaar is en daarom is er de keuze gemaakt om in het empirisch onderzoek alleen de biases Optimism verder te gaan onderzoeken.

Het onderzoek was verder gericht op het bepalen of de schatters van reeds geïmplementeerde ICT-projecten last hadden van optimism en wat de effecten daarvan zijn geweest op het verloop van deze ICT-projecten. Omdat de onderzoeker bekend is met ERP-implementaties (een specifiek type ICT-project) en binnen dit domein (ERP-systemen) de mogelijkheden heeft om onderzoek te doen, zal dit empirisch onderzoek gericht zijn op ICT-projecten van het type ERP.

De hoofdvraag voor het empirisch onderzoek luidde:“In welke mate is er bij de schatters van ERP-projecten sprake geweest van optimism en wat was het effect hiervan op het verloop van deze ERP-projecten”

Doelstelling van het empirisch onderzoek bestond uit twee delen: Deel 1: Uit de bestudeerde literatuur zijn sterke aanwijzingen dat optimism de

forecast van een ICT-traject beïnvloedt en met dit onderzoek zal worden bepaald of


de schatters van reeds geïmplementeerde ERP-project last hadden van optimism en dus of de conclusie van het literatuuronderzoek kan worden onderstreept.

Deel 2: Inzicht verkrijgen in de effecten van optimism (bij de schatters van de forecast) op het verloop van reeds geïmplementeerde ERP-projecten. Het kunnen begrijpen en uiteindelijk beheersen van deze systematische bias kan een belangrijke sleutel zijn voor het behalen van een succesvol project.

In het eerste deel van het onderzoek (A) is met het tool van Shefrin (2007) getracht optimism te meten. Twee van de drie schatters blijken een objectieve mening te hebben. Volgens het tool van Shefrin (2007) zouden de meeste mensen last hebben van optimism. Uit deze tool is gebleken, dat twee schatters blijkbaar uitzonderingen zijn op de regel, daar de meeste mensen wel last van optimism zouden moeten hebben.De schatters gaven in het tweede deel van het onderzoek (B) aan, dat ze bij het inschatten van het maatwerk te optimistisch zijn geweest, ondanks dat optimism bij hen niet werd gemeten middels het tool van Shefrin (2007). Hiermee kan niet worden aangetoond, dat deze generieke tool van Shefrin (2007) onjuist is maar er kan wel worden geconstateerd, dat er een verschil is tussen datgene wat er is uitgekomen en wat te verwachten was volgens het tool van Shefrin (2007). Waardoor dit verschil is ontstaan, is verder niet onderzocht en dus niet bekend.

In beide cases werden de effecten van optimism op het verloop van het project omschreven als complexer en meer maatwerk met langere doorlooptijden en hogere kosten.

Samengevat kunnen wij concluderen dat: Optimism in beide cases is gevonden en het enkel en alleen invloed heeft gehad op

de inschatting van het maatwerk en daardoor op het verloop van het project. Hierdoor kregen deze projecten te maken met de volgende effecten; complexer (meer maatwerk), langere doorlooptijden en hogere kosten.

Het tool van Shefrin (2007) heeft niet optimism gemeten bij 2 schatters, terwijl dit wel uit de analyse van de semigestructureerde interviews naar voren is gekomen. Waardoor het verschil (verwachting versus de praktijk) is ontstaan, is niet verder onderzocht en dus niet bekend.

Met de beantwoording van de hoofdvraag van dit onderzoek is geprobeerd een bijdrage te leveren aan het vormen van inzicht in de effecten van optimism bij de schatters van ERP-projecten (type ICT-traject). Het kunnen begrijpen en uiteindelijk beheersen van deze systematische bias kan een belangrijke sleutel zijn voor het behalen van een succesvol project.

Aanbevelingen voor verder onderzoek: Uit het onderzoek is naar voren gekomen, dat het tool van Shefrin (2007) niet

optimism heeft gemeten bij 2 schatters, terwijl dit wel uit de interviews naar voren is gekomen. Het tool van Shefrin (2007) heeft hier gefaald. Er moeten meer studies volgen om deze uitspraak te valideren. Hiermee kan worden bepaald of er überhaupt generieke uitspraken gedaan kunnen worden met het tool van Shefrin (2007) binnen een kwalitatief onderzoek.


Verder is uit het onderzoek naar voren gekomen, dat de effecten van optimism alleen betrekking hadden op de inschatting van het maatwerk en niet op het standaard deel van een ERP-pakket. Vanwege beperkt aantal cases zouden er meer studies moeten worden uitgevoerd om deze uitspraak te valideren, hierdoor zal de generaliseerbaarheid van dit onderzoek worden verhoogd. Een keuze van vervolgonderzoek is om deze twee stromen (standaard versus maatwerk) apart te gaan onderzoeken.


InhoudsopgaveVoorwoord................................................................................................................................3

Samenvatting............................................................................................................................ 4

Hoofdstuk 1 Inleiding...............................................................................................................1

1.1 Inleiding......................................................................................................................1

1.2 Theoretische en praktische relevantie........................................................................2

1.3 Probleemstelling.........................................................................................................2

1.3.1 Hoofd- en deelvragen literatuurstudie...................................................................2

1.3.2 Hoofd- en deelvragen empirisch onderzoek...........................................................3

1.4 Aanpak empirisch onderzoek.....................................................................................4

1.5 Leeswijzer...................................................................................................................4

Hoofdstuk 2 Theoretisch kader ‘Biases in ICT-projecten’........................................................6

2.1 Wat wordt verstaan onder ICT-projecten?.................................................................6

2.2 Wat wordt verstaan onder bias en welke typen biases kunnen worden onderscheiden?.....................................................................................................................8

2.3 Welke typen biases hebben zich voorgedaan tijdens het verloop van ICT-projecten?10

2.4 Waar in de projectcyclus worden typen biases in wetenschappelijke casestudies ontdekt?.............................................................................................................................. 13

2.5 Welke effecten hebben de verschillende typen biases gehad op het verloop van deze ICT-projecten?.............................................................................................................16

2.6 Beantwoording theoretische centrale vraag............................................................18

Hoofdstuk 3 Methode van onderzoek...................................................................................19

3.1 Onderzoeksvragen....................................................................................................19

3.2 Technisch onderzoeksontwerp.................................................................................20

3.2.1 Gebruikte onderzoeksstrategie.........................................................................20

3.2.2 Selectie van casus..............................................................................................21

3.2.3 Gegevens bronnen............................................................................................21

3.2.4 Methoden van dataverzameling........................................................................22

3.3 Conceptueel onderzoeksontwerp.............................................................................26

3.2.1 Probleemstelling................................................................................................26

3.4 Aard van het onderzoek...........................................................................................27

3.5 Onderzoeksethiek.....................................................................................................28

3.6 Kwaliteitsaspecten van dit empirisch onderzoek......................................................28


3.7 Interpretatie en analyse van de data........................................................................31

Hoofdstuk 4 Onderzoeksresultaten.......................................................................................33

4.1 Beantwoording onderzoeksvragen...........................................................................33

4.1.2 In welke mate was er sprake van optimism bij de respondenten?....................33

4.1.3 & 4.1.4 Wat waren de schattingen van de ERP-projecten inzake criteria kosten, tijd en functionaliteit? Wat was de uiteindelijke realisatie van de ERP-projecten inzake criteria kosten, tijd en functionaliteit?.............................................................................34

4.1.5 Indien er optimism bij de schatters kan worden aangetoond, wat was het effect van deze bias op het verloop van de ERP-projecten inzake criteria kosten, tijd en functionaliteit?................................................................................................................ 34

4.1.6 Afwijkingen t.o.v. het onderzoeksplan....................................................................37

4.2 Conclusie onderzoeksresultaten...............................................................................38

Hoofdstuk 5 Conclusie en aanbevelingen..............................................................................39

5.1 Eindconclusie afstudeerrapport....................................................................................39

5.2 Aanbevelingen..........................................................................................................41

Hoofdstuk 6 Productiereflectie / kritische reflectie...............................................................41

Hoofdstuk 7 Procesreflectie...................................................................................................42

Hoofdstuk 8 Referenties........................................................................................................43

Bijlage 1 Verantwoording zoekstrategie..............................................................................47

Bijlage 2 Verantwoording Literatuuronderzoek..................................................................49

Bijlage 3 Verantwoording bron per deelvraag.....................................................................50

Bijlage 4 Veel voorkomende biases in vijf typologieën ingedeeld.......................................51

Bijlage 5 Verantwoording indeling biases in typologieën....................................................52

Bijlage 6 Shore`s systematic biases founded in the decision literature...............................54

Bijlage 7 Cognitieve biases selected to be evaluated..........................................................55

Bijlage 8 Voorwaarden van de case & schatters..................................................................56

Bijlage 9: De gekozen cases..................................................................................................58

Casus 1:............................................................................................................................... 58

Casus 2:............................................................................................................................... 58

Bijlage 10 Betrouwbaarheid en validiteit check vragenlijst Shefrin.......................................59

Bijlage 11 Uitwerking analyse secundaire bronnen...............................................................61

Bijlage 12 Question about the effect of optimism bias (Flyvbjerg)........................................65

Bijlage 13 Interview projectleiders verwerkingslijst.............................................................67

Bijlage 14 Interview schatters verwerkingslijst.....................................................................70

Bijlage 15 Uitleg Shefrin Questionnaire.................................................................................75


Bijlage 16 Shefrin vragenlijst matrix (uitwerking)..................................................................76

Bijlage 17 Gecomprimeerde antwoorden verkregen uit interview.......................................78

Bijlage 18 Totale uitwerking (synthese).................................................................................88

Bijlage 19 Conclusie matrix.....................................................................................................96

1


Hoofdstuk 1 Inleiding1.1 InleidingUit onderzoek van Anderson (2010) blijkt, dat er veel wetenschappelijk onderzoek naar falende projecten wordt uitgevoerd. Ondanks deze toenemende hoeveelheid theorie blijven de resultaten op criteria kosten, tijd en functionaliteit tegenvallen (Flyvbjerg, Garbuio, & Lovallo, 2009). Organisaties worden in toenemende mate steeds complexer en moeten zich in steeds hoger tempo aanpassen aan hun veranderende omgeving, welke steeds veeleisender en dynamischer wordt (Samset & Williams, 2010). Trainingen, boeken en websites over programma- en projectmanagement proberen inzicht te geven in de mogelijke faalfactoren. Deze lijsten zijn behoorlijk uitputtend, maar veel genoemde faalfactoren zijn: gebrek aan betrokkenheid, de complexiteit van projecten en gebrekkig projectmanagement, gebrekkige en onvolledige informatie, verloop van personeel en missen van heldere scope (McCray, Purvis, & McCray, 2002; Royer, 2003; Shore, 2008; Staw, 1987; Van Aken, 1996).

In de literatuur beschreven theorieën over projectmanagement hebben vertrouwen in de instrumentele rationaliteit wat gebaseerd is op de homo economicus 1 gedachte. Hoewel veel gedragswetenschappers dit model niet meer serieus lijken te nemen, blijkt dit model voor managers en leiders veelal het heersende paradigma (Van Aken, 1996). In werkelijkheid blijken mensen echter helemaal niet zo rationeel en consistent bij het nemen van beslissingen en besluiten. Er worden systematische denkfouten (biases) gemaakt en mensen laten zich bij hun keuzes (mis)leiden door emoties (Kahneman, Lovallo, & Sibony, 2011b; Lovallo & Sibony, 2010; Powell, Lovallo, & Fox, 2011; Purvis, McCray, & Roberts, 2004).

In de psychologie wordt dit verklaard d.m.v. een geaccepteerd model van systeemdenken, waarbij het brein wordt opgesplitst in twee delen (Tversky & Kahneman, 1974). Systeem 1 werkt op basis van gevoel en wordt gekenmerkt door een onbewuste, snelle en intuïtieve werking. Systeem 2 is o.b.v. redenatie beslissen en is gecontroleerd traag, met een reflectieve werking (Evans, 2010a; Stanovich & West, 1999; Tversky & Kahneman, 1974).

Het systeem 2 kan de conclusies van systeem 1 betwijfelen, falsificeren en bijsturen maar veelal zijn we niet alert genoeg, omdat de beslissingen vanuit intuïtie als ‘waar’ worden aangevoeld (Evans, 2010a). Het systematisch afwijken van rationele redenering wordt cognitieve bias (vooringenomenheid) genoemd. Kahneman (1974) bepleit dat in situaties met een grote mate van complexiteit en onzekerheid meer vertrouwd zou moeten worden op systeem 2. Hiermee zou voorkomen kunnen worden, dat er niet continue in de systematische fouten van systeem 1 wordt getrapt.

Toch wordt met deze cognitieve illusie in de praktijk maar zelden rekening gehouden. Shore (2008) geeft in een overzicht biases die de oorzaak zijn voor het mislukken van projecten en ook Rutten et al. (2014) signaleren in hun artikel “Responding to human biases in project control”, dat er mogelijk een probleem bestaat met biases bij de beheersing van projecten en programma’s. De auteurs geven aan dat er op dit moment weinig bekend is over het

1 De homo economicus is een rationeel handelend individu die streeft naar maximalisatie van zijn eigen nut en maakt daarbij consistente keuzes. (zie

bijvoorbeeld Van de Ven, 2003; Van Staveren, 2000; Duindam, 1999)

2


identificeren van biases laat staan het voorkomen c.q. verzachten van biases in het domein van projectmanagement (Rutten et al., 2014).

In het licht van de hierboven beschreven achtergonden is het dus aannemelijk, dat bij projectmanagement mogelijk ongewenste effecten optreden als gevolg van menselijke bias. Het kunnen interpreteren en mogelijk inschatten van deze biases vormt de basis van dit onderzoek.

1.2 Theoretische en praktische relevantieMet dit onderzoek zal geprobeerd worden een bijdrage te leveren aan het vormen van inzicht in het detecteren van systematische biases in projecten. Vanuit wetenschappelijk oogpunt is dit onderzoek relevant, doordat kennis van biases en projectmanagement met elkaar zullen worden gecombineerd. Hierover is nog maar weinig onderzoek gedaan en kan gezien worden als een ‘gap’ in de literatuur (Rutten et al., 2014; Shore, 2008). Deels zal dit te maken hebben met het feit dat organisaties niet zullen staan te springen om hun eigen fouten met onderzoekers te gaan delen (Shore, 2008).

Ter verbetering van het werken in projecten worden in toenemende mate concrete handvatten gevraagd. Dit onderzoek zal dan ook uiteindelijk bruikbare handvatten en inzichten moeten opleveren voor Project Management, waarbij het kunnen begrijpen, detecteren en uiteindelijk beheersen van systematische biases een belangrijke sleutel kan zijn voor het behalen van een succesvol project.

1.3 Probleemstelling Probleemstelling luidt:

1.3.1 Hoofd- en deelvragen literatuurstudieIn de eerste stap van het afstudeeronderzoek wordt de wetenschappelijke literatuur op het gebied van de begrippen biases en ICT-projecten uitgewerkt. Er zal worden ingegaan op de

In dit onderzoek wordt het verloop van ICT-projecten doorzocht op de aanwezigheid van systematische biases. Het afstudeeronderzoek start met een verkenning van bestaande theorieën en inzichten over de begrippen systematische biases en ICT-projecten wat zal moeten leiden tot een onderzoeksoptiek. De theoretische centrale vraag van dit onderzoek heeft betrekking op de onderzoeksoptiek, dit zal dan ook de theoretische basis voor dit afstudeeronderzoek zijn. Ook geeft het een eerste en voorlopig antwoord op de onderzoeksvraag, maar geeft tevens richting aan het empirische deel van het afstudeeronderzoek, waar ERP-projecten (een type ICT-traject) zullen worden onderzocht. Hiermee zal geprobeerd worden een antwoord te formuleren op de centrale hoofdvraag van dit afstudeeronderzoek: “In welke mate is er bij de schatters van ERP-projecten sprake geweest van optimism en wat was het effect van deze bias op de schatting inzake criteria kosten, tijd en functionaliteit”. Met de beantwoording van de hoofdvraag zal geprobeerd worden een bijdrage te leveren aan het vormen van inzicht in de effecten van optimism bij de schatters van ERP-projecten. Het kunnen begrijpen en uiteindelijk beheersen van deze systematische bias kan een belangrijke sleutel zijn voor het behalen van een succesvol project.

3


theoretische centrale vraag: ”In hoeverre is er in één of meerdere ICT-projecten sprake geweest van één of meer verschillende typen biases en welke effecten hebben deze gehad op het verloop van het ICT-project en waaruit bestonden die biases dan?”

Door de centrale vraag op te delen in deelvragen wordt meteen duidelijk welke gegevens er verzameld moeten worden om de centrale vraag te kunnen beantwoorden (Verschuren & Doorewaard, 2000).

1. Wat wordt verstaan onder ICT-projecten?2. Wat wordt verstaan onder bias en welke typen biases kunnen worden

onderscheiden?3. Welke typen biases hebben zich voorgedaan tijdens het verloop van ICT-projecten?4. Waar in de projectcyclus worden typen biases in wetenschappelijke casestudies

ontdekt?5. Welke effecten hebben de verschillende typen biases gehad op het verloop van deze

ICT-projecten?

De resultaten uit het literatuuronderzoek kan verder onderzocht worden middels een empirisch onderzoek. Het empirisch onderzoeken van deze drie gevonden biases is te omvangrijk voor een afstudeerscriptie. Verder bleek na het besturen van de literatuur, dat er een standaard interviewen/of vragenlijsten is m.b.t. het meten van Optimism beschikbaar is en daarom is er de keuze gemaakt om in het empirisch onderzoek alleen de biases Optimism verder te gaan onderzoeken.

Het onderzoek zal gericht zijn om te bepalen of schatters van reeds geïmplementeerde ICT-projecten last hadden van optimism en wat de effecten daarvan zijn geweest op het verloop van deze ICT-projecten. Omdat de onderzoeker bekend is met ERP-implementaties (een specifiek type ICT-project) en binnen dit domein (ERP-systemen) de mogelijkheden heeft om onderzoek te doen, zal dit empirisch onderzoek gericht zijn op ICT-projecten van het type ERP.

1.3.2 Hoofd- en deelvragen empirisch onderzoekHoofdvraag van dit onderzoek is als volgt: “In welke mate is er bij de schatters van ERP-projecten sprake geweest van optimism en wat was het effect hiervan op het verloop van deze ERP-projecten”

Deelvragen voor het onderzoek welke bestaat uit twee delen:Deel 1 (bij CASE A & B) : Bij de schatters van ERP-projecten zal optimism worden gemeten.

1. Wie waren de schatters van de ERP-projecten?2. In welke mate was er sprake van optimism bij de respondenten?

Deel 2 (bij CASE A & B): Onderzoek naar de effecten van optimism (bij de schatters van de forecast) op het verloop van ERP-projecten.

3. Wat waren de schattingen van de ERP-projecten inzake criteria kosten, tijd en functionaliteit?

4. Wat was de uiteindelijke realisatie van de ERP-projecten inzake criteria kosten, tijd en functionaliteit?

4


5. Indien er optimism bij de schatters kan worden aangetoond, wat was het effect van deze bias op het verloop van de ERP-projecten inzake criteria kosten, tijd en functionaliteit?

1.4 Aanpak empirisch onderzoek Om de in de vorige paragraaf beschreven doelstelling te verwezenlijken, is het noodzakelijk om de vraagstelling van het empirisch onderzoek te formuleren. Een onderzoeksmodel beschrijft globaal de structuur van het onderzoek en helpt de vraagstelling aan te laten sluiten aan de doelstelling van dit onderzoek (Verschuren & Doorewaard, 2000). Hieronder is een schematische weergave van het doel en de globale stappen die gezet moeten worden om dit doel te bereiken.

Figuur 1 Concept onderzoeksmodel (volgens opzet Verschuren et al. (2000))

Deel 1: Uit de bestudeerde literatuur zijn sterke aanwijzingen dat optimism de forecast van een ICT-traject beïnvloedt. Dit onderzoek zal met behulp van de vragenlijst van Shefrin (2007) bepalen of de schatters van reeds geïmplementeerde ERP-projecten (een type ICT-trject) last hadden van optimism.

Deel 2: Op zoek naar de effecten van optimism (bij de schatters van de forecast) op het verloop van reeds geïmplementeerde ERP-projecten.

Het uiteindelijke resultaat van dit onderzoek zal een theoretisch en empirisch gevormde conclusie zijn, waarin antwoord zal worden gegeven op de hoofdvraag van dit onderzoek en aanbevelingen voor vervolgonderzoek.

1.5 LeeswijzerHet rapport is uit de volgende hoofdstukken opgebouwd:

Hoofdstuk 2 Literatuurstudie Hoofdstuk 3 Methode van onderzoek Hoofdstuk 4 Onderzoeksresultaten

5


Hoofdstuk 5 Conclusie en aanbevelingen Hoofdstuk 6 Discussie Hoofdstuk 7 Procesreflectie Hoofdstuk 8 Referenties

6


Hoofdstuk 2 Theoretisch kader ‘Biases in ICT-projecten’In deze eerste stap van het afstudeeronderzoek wordt de wetenschappelijke literatuur op het gebied van de begrippen biases en ICT-projecten uitgewerkt. In bijlage 1 is hiervoor de verantwoording van de gebruikte zoekstrategie beschreven. Hiermee wordt duidelijk hoe de resultaten van de literatuurstudie tot stand zijn gekomen.

In de hieronder volgende paragrafen 2.1 t/m 2.5 worden de deelvragen voor het literatuuronderzoek beatwoord. Afsluitend zal in paragraaf 2.6 een antwoord op de theoretische centrale vraag worden geformuleerd.

2.1 Wat wordt verstaan onder ICT-projecten?Allereerst zal het begrip ICT worden afgebakend en vervolgens zal worden beschreven wat wordt verstaan onder een project. Daarna volgt de beantwoording van deze deelvraag.

Wat betekent de term Informatie en communicatietechnologie (ICT)?De termen IT en ICT zijn voor meerderlei uitleg vatbaar en zijn door de jaren heen vervaagd (Osterwalder, 2003). In het verleden werd de nadruk gelegd op informatie-aspecten, maar door de groei van de communicatiemogelijkheden, zoals de ontwikkeling van de PC en internet, is het oude begrip IT getransformeerd tot ICT (Apulu, Latham, & Moreton, 2011; Boonstra, 2005).

ICT is een verzamelbegrip, die computertechnologieën, telecommunicatie en media kunnen omvatten (Boonstra, 2005; Gielkens, 2012; Gyaase, Anokye-Sarfo, & Bediako, 2013). Ritchie & Brindley (2005) beschrijven ICT als de reeks van digitale technologieën die zijn ontworpen voor het verzamelen, ordenen, opslaan, verwerken en communiceren van informatie binnen en buiten een organisatie. Gyaase et al. (2013) voegen daar het doorgeven van informatie aan toe. Een vergelijkbare definitie wordt door Ongori en Migiro (2010) gegeven “as applications and devices that are deployed to create, produce, analyse, package, distribute, retrieve, store and transform information”. Sommige auteurs beschrijven ICT enkel als het werken met computers (Apulu et al., 2011).

Deze definities suggereren, dat ICT een term is die alle technologieën m.b.t. de communicatie van informatie omarmen. Omdat er in de wetenschappelijk literatuur geen eenduidige definitie van ICT gevonden is, werd uitgeweken naar het studieboek van Gielkens (2012), wat een standaardwerk op het gebied van IT en Management is. De definitie van Gielkens (2012) dekt de lading van de hierboven beschreven definities en daarom zal in dit rapport deze definitie worden gehanteerd:

Wat wordt verstaan onder een project?Ondanks het feit dat de term ‘project’ veelvuldig wordt gebruikt is er in de wetenschappelijke literatuur geen eenduidige definitie gevonden. Hierdoor is er uitgeweken

“Systematische toepassing van informatica-en telecommunicatiehulpmiddelen (hardware en software voor de opslag, verwerking, transport en presentatie van gegevens) en de georganiseerde kennis van het praktische gebruik ervan” (Gielkens, 2012).

7


naar een standaardboek op het gebied van projecten. In dit boek heeft Turner (2008) verschillende definities van meerdere auteurs met elkaar vergeleken en komt tot de volgende definitie voor een project welke toegepast zal worden in dit onderzoek:

Volgens Turner (2008) onderscheidt een project zich van routine door het unieke karakter. Verder kunnen een aantal kenmerken worden genoemd die een project nader specificeren:

“Het toekennen van een projectstatus Het verloop van een project gaat van grof naar fijn De eindige bestaansduur van een project Het opdelen van een project in fasen.” (Walters, van Griensven, & van Rosmalen,

1999).

Wat wordt verstaan onder ICT-projecten?Er is in de wetenschappelijke literatuur geen eenduidige definitie van ICT-projecten gevonden. Een veel geciteerde definitie van ICT-projecten komt van de Algemene rekenkamer (2007) en deze zal in dit rapport worden toegepast: “Een ICT-project is een project dat tot doel heeft een ICT-systeem te ontwikkelen en/of in te voeren. Onder ontwikkelen verstaan we de specificatie, de aanschaf en de (zelf)bouw of verbouw van het systeem. Bij invoeren gaat het om de technische en organisatorische Implementatie”(Algemene rekenkamer, 2007).

In vergelijking met andere typen projecten laten ICT-projecten zich karakteriseren door een aantal opvallende kenmerken. Zonder uitputtend te willen zijn, kunnen de volgende karakteristieken worden benoemd:

Hoge mate van Onzekerheid “high and constantly updated technology”(Liu & Wang, 2014; Wallace, Keil, & Rai, 2004)

Onduidelijk en vaak nog bewegend doel” The ambiguous target and frequently shifting scope and requirements of users make the control of IT projects difficult and complex” (Liu & Wang, 2014; Tiwana, 2010)

Hoge mate van internationalisering “ICT-projects face certain challenges: geographic distances, different time zones, specific regulations or laws, and intercultural teams” (Chroust, 2015)

Intensieve en veelal lastige communicatie “In general, ICT-projects are characterized by intensive and difficult communication. There are many communication channels that are necessary to maintain in order to keep a project under way. Difficulties then stem from the unfamiliarity among the parties involved, from the differences in their objectives (often in conflict), and from cultural differences”(Leipold, 1999)

Het unieke karakter “This is because ICT-projects are characterized by emergency, short term and uncertainty” (Asabere & Mends-Brew, 2003)

Er is zowel technische als business-kennis nodig (Liu, Zhang, Keil, & Chen, 2010)

“An endeavour in which human, material and financial recourses are organized in a novel way, to undertake a unique scope of work, of given specification, within constraints of cost time, so as to achieve beneficial change defined by quantitative and qualitative objectives”

8


Omgaan met continue veranderingen “ICTs are constantly implemented, upgraded, modified or replaced to obtain and sustain a competitive advantage”(Marnewick, 2012)

Noodzaak om probleemoplossend denken “To implement an ICT-project successfully, problems in the particular ICT-project must be found, analysed and solved”(Asabere & Mends-Brew, 2003)

Voorbeelden van dergelijke ICT-projecten zijn “implementeren van een standaard software systeem2, CRM3, HRM 4, Infrastructuur, Telecom, Web oplossingen, randapparatuur, consultancy, storage, ICT (interim) management, ICT opleiding/training en Cloud computing” (Ernst & Young, 2008).

Ondanks dat ICT in veel gevallen nieuwe kansen en mogelijkheden biedt, beïnvloedt ICT de organisatie ook op een minder positieve wijze. Uit het onderzoek van Ernst & Young (2008) blijkt namelijk dat bijna de helft (46%) van deze ICT-projecten mislukken en uit andere onderzoeken blijkt, dat 2 op de 3 ICT-projecten mislukken (Algemene rekenkamer, 2007; Standish Group, 2009). Het starten van een ICT-project is gelijk als het spelen van een potje Russische roulette (Budzier & Flyvbjerg, 2012).

Conclusie deelvraag 1:Onder een ICT-project mag worden verstaan een (tijdelijke) organisatievorm met een toegekende projectstatus met als doel één of meer ICT-systemen voor de business op te leveren. Hierbij verloopt de implementatie (ontwerpen, bouwen en implementeren) van grof naar fijn en met verschillende statussen, waarbij het opleiden, communiceren, documenteren en het beheer belangrijke onderdelen zijn van het ICT-project.

2.2 Wat wordt verstaan onder bias en welke typen biases kunnen worden onderscheiden?In 1939 was de interesse in biases binnen de menselijke cognitie al gewekt. Vaughan (1939) schreef in zijn boek een hoofdstuk met de titel “The Importance of Bias”(Vaughan, 1939), waarin biases werden beschreven als een vooringenomenheid in het dagelijks leven. Vooringenomenheid werd hier gezien als een standpunt wat een bepaalde manier van handelen, denken of oordelen teweegbrengt. Vaughan (1939) beschrijft verder dat biases zich kunnen manifesteren in openlijk gedrag, gedachten of gevoelens over gedrag zonder, dat de individu zich bewust is van deze vooringenomenheid in denken of acties. Verschillende psychologen beschrijven samenvattend, dat biases rationale vooroordelen of systematische vertekende beslissingen zijn (Bara, Bucciarelli, & Lombardo, 2001; Evans, 2010b).

In dit onderzoek zal de definitie uit het alom geaccepteerde heuristics & biases programma van Kahneman en Tversky (1974) worden gehanteerd, niet in de eerste plaats, omdat het

2 Zoals een ERP-systeem (Enterprise Resource Planning), overgenomen uit Ernst & Young (2008)3 CRM= Customer relation management, overgenomen uit Ernst & Young (2008)4 HRM= Human Resource Management, overgenomen uit Ernst & Young (2008)

9


veel geciteerd wordt, maar ook, omdat het gezien wordt als klassieker op het kennisgebied van heuristics & biases:

Het begrip bias of cognitieve bias kreeg in de jaren 60/70 grote bekendheid, doordat Amos Tversky en Daniel Kahneman een serie van wetenschappelijke artikelen over menselijke beslissingen publiceerden (Griffin, Kahneman, & Gilovich, 2002). Deze psychologen maakten duidelijk dat elk mens bij het nemen van complexe besluitvormingssituaties lijdt onder de zogeheten ‘heuristieken’ en ‘biases’, doordat de cognitieve verwerkingscapaciteit van de hersenen te kort schiet (Tversky & Kahneman, 1974).

Bij het denken, maken wij mensen gebruik van heuristieken5, dit zijn een soort zoekregels die ons in staat stellen snelle oplossingen voor problemen te geven (Evans, 2010b). Indien zich nieuwe en abstracte problemen voordoen, dan worden beslissingen vaak op basis van snelle intuïtie genomen, dit kan bewust of onbewust zijn. Het onbewust gebruik van heuristieken wordt door Mousavi & Gigerenzer (2014) intuïtie genoemd, dit wil zeggen, wanneer men voelt wat te doen zonder te verklaren waarom. Door deze snelle oplossing slagen we er niet altijd in de beste optie te kiezen (Kahneman, 2003a; Kahneman, Lovallo, & Sibony, 2011a; Roeser, 2010).

Deze heuristieken kunnen ons aanzetten tot stelselmatige fouten bij het nemen van beslissingen (Evans, 2010b; Tversky & Kahneman, 1974). Het systematisch afwijken van een rationele redenering, door deze stelselmatige fouten, wordt biases genoemd (Evans, 2010b; Roeser, 2010; Tversky & Kahneman, 1974). Het zijn irrationele, foutieve gedachten die een vertekend zelfbeeld in stand houden of versterken (Griffin et al., 2002; Tversky & Kahneman, 1974).

Het onderzoeksprogramma van Kahneman en Tversky, dat door deze heuristieken en biases werd gestart, werd omgedoopt tot het ‘heuristics & biases-programma’ en heeft inmiddels allerlei inzichten opgeleverd hoe mensen beslissingen nemen in onzekerheid (Griffin et al., 2002; Kahneman, 2003b; Tversky & Kahneman, 1974). De grote aandacht voor deze heuristieken en biases heeft geleid tot een nog steeds voortdurend evoluerende lijst6 van cognitieve biases.

Deze biases kunnen op verschillende manieren worden onderscheiden, bijvoorbeeld door deze op een groep of individu te onderscheiden. Een vaste typologie is echter in de onderzochte wetenschappelijke literatuur niet gevonden. Professor Dan Lovallo en Olivier Sibony onderzochten in opdracht van adviseursbureau McKinsey, hoe biases in de boardroom te voorkomen zijn. Dit bekende artikel “The Case for Behavioral Strategy” (Lovallo & Sibony, 2010), deelt deze gevonden biases in vijf verschillende typologieën Bijlage 4 Veel voorkomende biases in vijf typologieën ingedeeld:5 Heuristieken worden ook wel vuistregels genoemd (Tversky & Kahneman, 1974)6 Zie link http://www.dia.fi.upm.es/~jafernan/teaching/sistemasayudadecision/heuristics-biases.pdf

“Een fout of cognitieve illusie wordt beschreven als een systematische discrepantie tussen het oordeel van een persoon en de norm” (Tversky & Kahneman, 1974)

http://www.dia.fi.upm.es/~jafernan/teaching/sistemasayudadecision/heuristics-biases.pdf


10


1. Actiegerichte bias: Waardoor we te snel actie ondernemen zonder eerst grondig na te denken.

2. Aandachts-bias: Waardoor we geneigd zijn een voorkeur te hebben voor eigen interesses.

3. Herkennings-bias: Waarbij we veelal denken zaken of procedures te herkennen, zelfs als er geen gelijkenis is.

4. Stabiliteits-bias: Waarbij we eerder stil blijven staan en niet handelen als er onzekerheid is.

5. Sociale bias: Waardoor we eerder geneigd zijn in harmonie te leven en dus conflicten te vermijden. Hierdoor ontstaat ook het groepsdenken effect (Lovallo & Sibony, 2010).

Naast het feit, dat deze indeling in de projectmanagement literatuur veel wordt geciteerd, geven Lovallo en Sibony in hun artikel ook handige tips om deze typen biases te voorkomen, die wellicht bruikbaar kunnen zijn in dit onderzoek en daarom is besloten deze typologie in dit onderzoek te hanteren.

Conclusie deelvraag 2:De mens wordt beïnvloed door wat er om ons heen gebeurt. Het kan zijn door de manier waarop bepaalde zaken aan ons worden gepresenteerd, maar ook door eigen bepaalde onbewuste vooroordelen. Er wordt in de cognitiewetenschap, de sociale psychologie en door gedragseconomen onderzoek gedaan naar menselijke oordelen in de besluitvormingstheorie. Ze laten ons zien, dat we denken rationeel te zijn, maar bij het nemen van besluiten toch systematisch afwijken en dus biased blijken te zijn.

De tendens om systematisch af te wijken van rationele redeneringen wordt in dit onderzoek een cognitieve bias genoemd. De lijst van biases en heuristieken blijft evolueren, dit kan dan ook de reden zijn waarom een vaste typologie van biases niet terug te vinden is in de wetenschappelijke literatuur. Na het bestuderen van de literatuur is besloten voor dit onderzoek de typologie van het bekende artikel “The Case for Behavioral Strategy” (Lovallo & Sibony, 2010) te gebruiken.

2.3 Welke typen biases hebben zich voorgedaan tijdens het verloop van ICT-projecten?Ondanks het feit dat wetenschappelijke studies gerelateerd aan biases in projecten in de wetenschappelijke literatuur schaars zijn (Cunha, Viglioni, Thomaz, & Moura, 2014), zijn er toch enkele artikelen met betrekking op ICT-projecten gevonden. Het gaat hier dus om projecten met (tijdelijke) organisatievorm en een toegekende projectstatus met als doel één of meer ICT-systemen op te leveren. De hieronder gevonden biases zijn tevens ingedeeld volgens de typologie van Lovallo & Sibony (2010) Bijlage 5 Verantwoording indeling biases in typologieën.

Flyvbjerg (2006) doet internationaal onderzoek naar kostenoverschrijdingen bij megaprojecten. Hij waarschuwt dat onnauwkeurige prognoses in projectmanagement een groot risico kunnen vormen op de projectkosten. In het onderzoek van Flyberg (2006) worden de onderzoeksresultaten van MacDonald (2002) overgenomen, dit toont aan dat bij

11


de ICT-projecten de overschrijding van de doorlooptijd en de bestede uren tussen de 10-200% liggen. Als reden voor deze systematische kostenoverschrijdingen geeft hij aan, dat optimism bias en strategic misrepresentation een grote rol spelen. Bij optimism bias zijn mensen geneigd vooral de positieve kant van de toekomst te zien, dit is veelal onbewust en komt vaak aan het begin van het planproces voor. Optimism kan worden ingedeeld als een type actiegerichte bias. Strategic misrepresentation is het bewust anders voorstellen van de werkelijkheid (Flyvbjerg, 2006). Een voorbeeld is het met lagere kosten en hogere baten presenteren van uitkomsten, dit kan als een aandachts-bias worden getypologeerd.

Een vergelijkbaar resultaat is te vinden in het onderzoek van Purvis et al. (2004) hier stellen de auteurs, dat door het gebruik van heuristieken tijdens het proces van projectmanagement biases kunnen ontstaan. In dit onderzoek werden 51 vragen afgenomen bij 118 projectmanagers en teamleden die direct betrokken waren bij ICT-projecten. Ook hier komt het type actiegerichte bias optimism voor. Auteurs stellen, dat wanneer project managers erg bekend zijn met een projectplan ze er steeds meer in vertrouwen, dat het ook gaat lukken. De overige bevindingen zijn heuristieken, waarvan niet duidelijk kan worden vastgesteld door welke biases deze heuristieken zijn veroorzaakt.

Eveleens en Verhoef (2009) stellen, dat de (systematische) bias van schatters een grote invloed hebben op het wel of niet succesvol kunnen inschatten van een IT-project. In dit onderzoek werden 4 grote organisaties naar de kwaliteit van de IT forecast onderzocht. In totaal ging het hier om 1824 projecten en 12.287 IT-forecasts. Uit dit onderzoek blijkt dat een type aandachts-bias, namelijk de politieke bias ervoor kan zorgen, dat belanghebbenden kunnen besluiten om uitkomsten positiever in te schatten of om de negatieve kant te verzwijgen.

Een van de bekendste artikelen in de wetenschappelijke literatuur van onderzoek naar biases in projecten, is het onderzoek van Shore (2008). Nadat de onderzoeker de literatuur over biases bij besluitvormingsprocessen had bestudeerd, werden available data, conservatisme, escalation of commitment, groupthink, illusion of control, overconfidence, recency, selective perception and sunk cost als relevante biases gezien met betrekking tot het besluitvormingsproces in projecten. Voor gedetailleerde gegevens is Bijlage 6 Shore`s systematic biases founded in the decision literature beschikbaar. Shore (2008) onderzocht 8 mislukte projecten, waarvan één ICT-project, namelijk Microsoft Xbox 360-project en hier werden de systematische biases conservatism (type stabiliteits-bias), sunk cost (type Stabiliteits-bias-bias) en Groupthink (type sociale bias) geïdentificeerd.

Het meest recente gevonden artikel m.b.t deze deelvraag is dat van Cunha et al, 2014. Volgens dit onderzoek kunnen biases ontstaan door het gebruik van heuristieken. Op basis van de eigenschappen van 3 verschillende heuristieken hebben de auteurs geprobeerd 10 mogelijk passende biases te selecteren uit het boek Project decisions7 van Virine & Trumper (2007). “Anchoring, exposure effect, pseudocertainty effect, certainty effect, hindsight bias, halo effect, planning fallacy, sunk cost, fallacy, availability related bias, and Parkinson´s law effect” (Cunha et al., 2014). Zie Bijlage 7 Cognitieve biases selected to be evaluated voor meer info over deze biases. Verder werden er met 7 projectmanagers (uit grote Braziliaanse 7 Zie link http://www.dia.fi.upm.es/~jafernan/teaching/sistemasayudadecision/heuristics-biases.pdf



12


publieke IT sector) semigestructureerde interviews afgenomen, met als doel er achter zien te komen welke van deze 10 geselecteerde biases zich in de praktijk hebben voorgedaan. Op pseudocertainty effect en certainty effect na werden verder alle biases door de projectmanagers herkend (Cunha et al., 2014).

Bij de manier van selecteren van deze biases moet een kritische noot geplaatst worden. Door in onderzoeken actief te gaan zoeken naar van te voren bepaalde biases kunnen de biases targets worden, waardoor het geen goede meting meer is. Dit wordt ook wel Goodharts law-principe genoemd (Power, 2004). Daarnaast hebben de auteurs maar een deel van de biases uit het boek Project decisions geselecteerd. Er wordt in het artikel niet nader onderbouwd waarom men niet alle biases heeft geselecteerd en op basis van welke criteria deze 10 zijn uitgekozen. Dit artikel zal dan ook niet meegenomen worden in het verdere onderzoek, maar kan wel dienen als een opmaat voor uitgebreid vervolgonderzoek voor onderzoekers.

Conclusie deelvraag 3:In tegenstelling tot de grote hoeveelheid onderzoeken in oordeelsvorming en besluitvorming, waarbij biases een rol kunnen spelen, is er betrekkelijk weinig onderzoek gedaan naar biases die zich kunnen voordoen tijdens het verloop van een ICT-project. Toch is er een aantal artikelen gevonden welke betrekking hebben op biases tijdens het verloop ven een project.

De biases benoemd in paragraaf 2.3 zijn samengevat in figuur 3 en ingedeeld volgens de vijf typologieën van Lovallo & Sibony (2010) zie verantwoording Bijlage 6 Verantwoording indeling biases in typologieën. Wat opvalt, is dat de biases van het type Aandachts-bias door meerdere bronnen herkend worden.

Actiegerichte bias Auteur

Opimism (Flyvbjerg, 2006; Shore, 2008; Purvis et al (2004) )

Aandachts-bias Auteur

Strategic misrepresentation (Flyvbjerg, 2006)

Political bias (Eveleens & Verhoef, 2009)

Herkennings-bias Auteur

Niets gevonden

Stabiliteits-bias Auteur

Conservatism (Shore, 2008)

13


Sunk cost (Shore )

Sociale bias Auteur

Groupthink (Shore, 2008)

Tabel 1 Resultaten biases tijdens het verloop van ICT-projecten

2.4 Waar in de projectcyclus worden typen biases in wetenschappelijke casestudies ontdekt?Allereerst zal een definitie van een projectcyclus worden gegeven en vervolgens zal worden afgebakend wat wordt verstaan onder een projectcyclus. Daarna volgt de beantwoording van de deelvraag.

Wat wordt verstaan onder een projectcyclus?In de wetenschappelijke literatuur worden verschillende project-cycli definities beschreven (Bonnal, Gourc, & Lacoste, 2002; Labuschagne & Brent, 2005). Wel zijn er overeenkomsten te herkennen namelijk, dat het een proces is dat van het begin tot aan het einde doorloopt en waarin meerdere stadia of fasen te herkennen zijn (Labuschagne & Brent, 2005; Prabhakar & Guru Prakash, 2009; Somers & Nelson, 2004). Een uitgebreidere versie is beschreven in het artikel van Labuschagne en Brent (2005, hier wordt Buttrick`s versie overgenomen: Idea generation, Pre-feasibility, Feasibility, Development and execution, Commissioning, Launch, Post Implementation Review (PIR). Maylor et al. (2006) neemt in zijn definitie de 4 stadiums van Archibald over namelijk: concept, definitie, uitvoering en afsluiting.

Een vergelijkbare eenvoudige variant wordt beschreven door Capaldo & Rippa (2009), hier kent een ERP- levenscyclus slechts drie fasen: Pre-implementation, implementation en post-implementation. Omdat een ERP-implementatie een ICT-project is, zal de indeling van Capaldo & Rippa (2009) in dit onderzoek verder toegepast worden.

Alle andere life-cycle beschrijvingen vallen buiten de scope van dit onderzoek. Uit de gevonden literatuur wordt niet duidelijk of enkele fases meerdere keren wordt doorlopen, daarom wordt in dit onderzoek aangenomen dat gevonden biases uit de wetenschappelijke casestudies elke fase maar eenmalig hebben doorlopen.

Waar in de projectcyclus worden typen biases in wetenschappelijke casestudies ontdekt?Dat de artikelen gerelateerd aan biases in projecten schaars zijn, is bekend (Cunha, Viglioni, Thomaz, & Moura, 2014), dit maakt het aanbod wetenschappelijke artikelen op het gebied van biases in ICT-projecten nog kleiner. Toch zijn er wetenschappelijke studies gevonden welke betrekking hebben op biases in ICT-projecten. Indien het niet een casestudie betreft, is het een algemeen artikel, dat veelal een verwijzing maakt naar een wetenschappelijke casestudie of middels enquêtes en interviews inzichten verschaft. Bij het beantwoorden

14


worden de biases volgens de Projectcylus van Capaldo & Rippa (2009) ingedeeld: Pre-implementation, implementation en post-implementation

In het algemene artikel van McCray et al. (2002) wordt gesteld, dat biases zich over de verschillende fases van projecten kunnen ontvouwen. Daarnaast geeft men aan dat het gebruik van heuristieken en biases heel duidelijk naar voren komt in de pre-implementatie van een project, desondanks geven de auteurs aan dat de invloed van heuristieken en biases tijdens de implementatie en post-implementatie niet mag worden verwaarloosd.

Een groot risico in ICT-projecten is het maken van verkeerde (optimistische) inschattingen van de doorlooptijd, kosten en opbrengsten en daarom zijn diverse onderzoekers geïnteresseerd in de pre-implementatie fase van een project (Eveleens & Verhoef, 2009; Flyvbjerg, 2006). In het onderzoek van Flyvbjerg (2006) wordt het onderzoeksresultaat van de casestudie van MacDonald (2002) overgenomen, wat aantoont, dat bij de ICT-projecten de overschrijding van de doorlooptijd en de bestede uren tussen de 10-200% liggen. Flyvbjerg (2006) waarschuwt dat onnauwkeurige prognoses een groot risico kunnen vormen op de projectkosten. Flyvberg (Flyvbjerg, 2006) toont aan dat het type actiegerichte bias optimism en het type aandachts-bias strategic misrepresentation voorkomen aan het begin van een planproces (Pre-Implementation) en daardoor het gehele project beïnvloeden.

In het onderzoek van Eveleens en Verhoef (2009) werden 4 grote cases (organisaties) onderzocht naar de kwaliteit van de IT forecast onderzocht. Auteurs stellen dat de (systematische) bias van schatters, in dit geval het type aandachts-bias (namelijk een politieke bias) een grote invloed hebben op het wel of niet succesvol kunnen inschatten (forecast) van een ICT-project. Dit kan geplaatst worden in de pre-implementation-fase van een project.

Purvis et al (2004) geeft aan dat optimism zich tijdens de gehele projectcyclus voordoet. In dit algemene artikel wordt verwezen naar een survey van 51 vragen met 118 projectmanagers en teamleden, welke direct betrokken waren bij ICT-projecten. Deze uitkomst wordt in andere algemene projectliteratuur bevestigd (Flyvbjerg & Budzier, 2011; Morgenshtern, Raz, & Dvir, 2007; Tversky & Kahneman, 1974).

Shore (2008) beschrijft 3 biases die zich tijdens de casestudie naar het Xbox project hebben voorgedaan. Conservatism bias deed zich voor tijdens de implementation-fase. De auteur stelt, dat tijdens de implementatie-fase problemen werden gesignaleerd, maar dit onvoldoende aandacht van de projectleden kreeg en men geneigd was om alles bij het oude te laten door deze problemen niet te erkennen.Verder deed zich ook Sunk cost voor in de implementation-fase. Shore (2008) geeft aan, dat er aanzienlijke investeringen waren gedaan die terugverdiend moesten worden en de neiging was om dus veel te verkopen i.p.v. deze defecte eenheden te vervangen en/of te verbeteren. Men bleef onredelijk lang vasthouden aan het doorgaan met verkopen ondanks dat men wist dat er problemen met het product waren. Als laatste geeft Shore (2008) aan, dat er sprake was van groupthink tijdens de implementation-fase “...suggested by the group that this could be interpreted as protecting the company to prevent exposing its failures.”(Shore, 2008).

15


Conclusie deelvraag 4:De biases benoemd in paragraaf 2.4 zijn in figuur 4 samengevat en volgens de Projectcylus van Capaldo & Rippa (2009) ingedeeld. Wat opvalt, is dat de biases optimism, Strategic mispresentation ontstaan bij de start van een project en gedurende de gehele projectcyclus aanwezig blijven. Het is niet vreemd, dat naast optimism ook de planning fallacy voorkomt. Volgens Flyvbjerg (2006) vertonen optimistische mensen vaak de systematische planning fallacy. Type Bias Pre-implementation Implementation Post-implementation

Actiegerichte biasOptimism (Flyvbjerg, 2006; Purvis et al., 2004)

Optimism (Flyvbjerg, 2006; Purvis et al., 2004)


Aandachts-biasStrategic mispresentation (Flyvbjerg, 2006)

Strategic mispresentation (Flyvbjerg, 2006)


Political Bias (Eveleens en Verhoef, 2009)

Herkennings-bias

Stabiliteits-bias Conservatism (Shore, 2008)

Sunk cost (Shore, 2008)

Sociale bias Groupthink (Shore, 2008) Tabel 2 Resultaat gevonden biases in de projectcyclus

Bij sommige onderzoeken naar biases werden de biases van te voren door de onderzoeker geselecteerd. De onderzoekers onderzochten verschillende cases en op basis daarvan werd bepaald of de biases zich hadden voorgedaan. Aan deze manier van werken kleven nadelen. Cognitieve-denkfouten worden in classes ingedeeld en krijgen een label opgeplakt. Power (2004) stelt dat het gebruik van classificatie niet zelden leidt tot het reductionisme en een vereenvoudiging van de werkelijkheid waar vervolgens op zal worden gestuurd. Bij de manier van selecteren van deze biases moet een kritische noot geplaatst worden. Door in onderzoeken actief te gaan zoeken naar van te voren bepaalde biases, kunnen de biases targets worden, waardoor het geen goede meting meer kan zijn (Power, 2004).

16


2.5 Welke effecten hebben de verschillende typen biases gehad op het verloop van deze ICT-projecten?Zoals Rutten et al. (2014) in hun artikel aangeven is er in de wetenschappelijke literatuur nog maar weinig bekend over de feitelijke effecten van biases in project management, laat staan wat deze effecten zijn geweest op het verloop van ICT-projecten.

Dit zal ook lastig blijven, doordat er met verschillende perspectieven tegen deze biases aan wordt gekeken. Vanuit een meer humanistische benadering stelt Roeser (2010), dat een puur rationele aanpak niet gewenst is, omdat bepaalde ethische kwesties een beroep doen op de intuïtie van de mens. Roeser (2010) stelt, dat ieder mens een eigen unieke intuïtie heeft en dat bij morele en ethische dilemma`s verschillende beslissingen genomen kunnen worden, die niet per definitie verkeerd hoeven te zijn. Wanneer er situaties zijn, waarbij schuldgevoelens of minachting voor mensen zich voordoen, dan zijn de acties die daaruit voortkomen geen denkfouten, maar bewuste acties op rationele gronden (Roeser, 2010). Koppelen we dit aan de karakteristieken van ICT-projecten (tijdsdruk, stress en onzekerheid), dan zijn dat de situaties waar Roeser (2010) voor waarschuwt en waarbij dit soort acties kunnen voorkomen. Deze afwijkende acties en oordelen zijn geen irrationele onderbuikgevoelens, maar morele intuities en emoties die bronnen van morele wijsheid zijn en die serieus moet worden genomen (Roeser, 2010). Auteurs Cunha et al. (2014) stellen daar tegenover, dat er door projectmanagers veel intuïtieve beslissingen worden genomen, welke eigenlijk zo veel mogelijk moeten worden vermeden. Hier lijkt in de wetenschap geen consensus over te zijn.

Van de biases, die besproken zijn in paragraaf 2.3 en 2.4, is nauwelijks bekend wat de daadwerkelijke effecten zijn geweest. Wel blijkt, dat onnauwkeurige prognoses een groot risico kunnen vormen op de projectkosten, doorlooptijd en scope van een project en als mogelijke oorzaak de biases optimism en strategic misrepresentation worden genoemd (Flyvbjerg, 2006; Flyvbjerg, 2013). Onderzoekers zoals Samset & Williams (2010) durven zelfs te stellen, dat het starten van een project de belangrijkste fase van een project is, want hier blijken structureel bepaalde terugkerende patronen voor te komen welke de inschatting van de kosten en baten van een project beïnvloeden. Als reden wordt hier de cognitieve biases genoemd. Wat precies de effecten zijn, is niet duidelijk, maar dat deze biases onderschatting van kosten en baten bij het begin van een project veroorzaken, kan worden vermeld (Eveleens & Verhoef, 2009; Flyvbjerg, 2006).

Andere auteurs zijn minder overtuigd van de focus op alleen de beginfase van een project (Keil, Depledge, & Rai, 2007). Keil et al. (2007) onderzoeken wat de significante relatie is tussen probleemherkenning en escalatie van een project. Besluitvormers blijven doorgaan op een eerder ingeslagen weg, zelfs wanneer ze met mislukkingen of andere tegenvallers worden geconfronteerd. In dit literatuuronderzoek zijn er voor 3 biases de mogelijke effecten op het verloop van een ICT-project beschreven (zie figuur 5).

17


Type Bias Bias Effecten

Actiegerichte bias


Door biases kunnen onnauwkeurige prognoses ontstaan welke een groot risico op de projectkosten, doorlooptijd en scope van een project kunnen vormen.

Aandachts-bias


Door biases kunnen onnauwkeurige prognoses ontstaan welke een groot risico op de projectkosten, doorlooptijd en scope van een project kunnen vormen.

Political Bias (Eveleens en Verhoef, 2009)

Biases kunnen onderschatting van kosten en baten bij het begin van een project verzoorzaken

Herkennings-bias

Stabiliteits-biasConservatism (Shore, 2008) Niets gevonden

Sunk cost (Shore, 2008) Niets gevonden

Sociale biasGroupthink (Shore, 2008) Niets gevonden

Tabel 3 Effecten welke biases hebben op ICT projecten.

Conclusie deelvraag 5:Er zijn verschillende studies in de wetenschappelijke literatuur te vinden, die de effecten van biases beschrijven in algemene probleem-oplossende context. Er is echter nauwelijks onderzoek gedaan naar de effecten van biases tijdens software ontwikkeling en/of ICT-projecten (Parsons & Saunders, 2004). Projecten ontvouwen zich niet in een lineaire beweging, maar middels een groeiproces, dat beïnvloed wordt door zijn complexe turbulente omgeving (Samset & Williams, 2010). Desondanks zijn er enkele studies gevonden die proberen de effecten van deze biases te beschrijven.

Flyvbjerg (2006) doet internationaal onderzoek naar kostenoverschrijdingen bij megaprojecten. Hij waarschuwt dat onnauwkeurige prognoses in projectmanagement een groot risico kunnen vormen voor de projectkosten. Met behulp van de onderzoeksresultaten van MacDonald (2002) wordt duidelijk dat bij ICT-projecten de overschrijding van de doorlooptijd en de bestede uren tussen de 10-200% liggen. De onderzoeken van Flyvbjerg (2006, 2013) lijken het meest concreet in de mogelijke effecten van biases op een project, omdat hij op andere terreinen zoals infrastructurele projecten dergelijke uitkomsten beschrijft. Eveleens en Verhoef (2009) geven aan dat beleidmakers uitspraken moeten doen over de toekomst. Bij het inschatten en de berekening van kosten en baten wordt de schatting beïnvloed door de volgende terugkerende biases (Eveleens & Verhoef, 2009; Flyvbjerg, 2006; Purvis et al., 2004):

Type actiegerichte bias-> Optimism Type aandachts-bias-> Strategic misrepresentation Type aandachts-bias-> Political

Hier moet tijdens de besluitvorming rekening mee worden gehouden.

18


2.6 Beantwoording theoretische centrale vraag Met de beantwoording van de deelvragen zal een antwoord op de centrale vraag worden geformuleerd.

Hiermee is tevens aan de doelstelling van deze literatuurstudie voldaan. Het literatuuronderzoek heeft geleid tot een basisinzicht op het gebied van biases en voor een beperkt aantal typen biases de effecten daarvan op het verloop van een ICT-project.

In de wetenschappelijke literatuur zijn er tijdens het verloop van verschillende ICT-projecten 6 verschillende biases aangetroffen. De gevonden biases zijn ingedeeld volgens de typologie van Lovallo & Sibony (2010). Uit de gepresenteerde lijst valt voor 3 biases geen direct causaal verband op te maken. Dit heeft te maken met het feit, dat er door verschillende auteurs aan wordt gegeven dat er nog maar betrekkelijk weinig onderzoek is gedaan naar biases en laat staan naar de effecten van deze biases op het verloop van projecten.

Verschillende auteurs onderstrepen dat beleidmakers uitspraken doen over de toekomst en dat bij het inschatten en de berekening van kosten en baten de schatting wordt beïnvloed door terugkerende biases. Uit het literatuuronderzoek blijkt, dat een drietal biases effecten uitoefent op een forecast/planning en deze het verloop van een ICT-project nadelig beïnvloedt:

Optimism (Actiegerichte bias) Strategic misrepresentation (Aandachts-bias) Political bias (Aandachts-bias)

Daarnaast blijken optimism en strategic misrepresentation te ontstaan bij de Pre-implementatie van een project en deze blijven gedurende de gehele projectcyclus aanwezig. Verder wijst onderzoek uit, dat optimistische mensen vaak lijden aan de systematische planning fallacy, wat kan wijzen op een mogelijk vierde bias, welke zich zou kunnen voordoen tijdens de forecast/planning van een project. Dit basisinzicht wordt als kader gebruikt voor het empirisch onderzoek.

“In hoeverre is er in één of meerdere ICT-projecten sprake geweest van één of meer verschillende typen biases en welke effecten hebben deze gehad op het verloop van het ICT-project en waaruit bestonden die biases dan?”

19


Hoofdstuk 3 Methode van onderzoekHet literatuuronderzoek is gestart met een verkenning van bestaande theorieën en inzichten over de begrippen systematische biases en ICT-projecten. Uit het literatuuronderzoek blijkt dat een drietal biases effecten uitoefenen op een forecast/planning en deze het verloop van ICT-projecten nadelig beïnvloeden:• Optimism (Actiegerichte bias)• Strategic misrepresentation (Aandachts-bias)• Political bias (Aandachts-bias)

Het empirisch onderzoeken van deze drie gevonden biases is te omvangrijk voor een afstudeerscriptie. Verder bleek na het besturen van de literatuur, dat er een standaard interviewen/of vragenlijsten is m.b.t. het meten van Optimism beschikbaar is en daarom is er de keuze gemaakt om in het empirisch onderzoek alleen de biases Optimism verder te gaan onderzoeken.

Het onderzoek zal gericht zijn om te bepalen of schatters van reeds geïmplementeerde ICT-projecten last hadden van optimism en wat de effecten daarvan zijn geweest op het verloop van deze ICT-projecten. Omdat de onderzoeker bekend is met ERP-implementaties (een specifiek type ICT-project) en binnen dit domein (ERP-systemen) de mogelijkheden heeft om onderzoek te doen, zal dit empirisch onderzoek gericht zijn op ICT-projecten van het type ERP. Dit rapport zal in detail beschrijven op welke wijze dit empirisch onderzoek is vormgegeven met de daarbij horende verantwoording voor de gemaakte keuzes.

Het conceptueel onderzoeksontwerp zal beschrijven wat onderzocht zal worden en vervolgens zal het technisch onderzoeksontwerp antwoord geven op de vragen waar, hoe en waarom.

3.1 OnderzoeksvragenHoofdvraag:“In welke mate is er bij de schatters van ERP-projecten sprake geweest van optimism en wat was het effect van deze bias op de schatting inzake criteria kosten, tijd en functionaliteit”

Deelvragen voor het onderzoek welke bestaat uit twee delen:Deel 1 (bij CASE A & B) : B Uit de bestudeerde literatuur zijn sterke aanwijzingen dat optimism de forecast van een ICT-traject beïnvloedt. Dit onderzoek zal met behulp van de vragenlijst van Shefrin (2007) bepalen of de schatters van reeds geïmplementeerde ERP-projecten (een type ICT-trject) last hadden van optimism.

1. Wie waren de schatters van de ERP-projecten?2. In welke mate was er sprake van optimism bij de respondenten?

Deel 2 (bij CASE A & B): Op zoek naar de effecten van optimism (bij de schatters van de forecast) op het verloop van reeds geïmplementeerde ERP-projecten.



20


5. Indien er optimism bij de schatters kan worden aangetoond, wat was het effect van deze bias op het verloop van de ERP-projecten inzake criteria kosten, tijd en functionaliteit?

3.2 Technisch onderzoeksontwerp3.2.1 Gebruikte onderzoeksstrategieBij het maken van een ontwerp voor het uitvoeren van wetenschappelijk onderzoek dient er een beslissing te worden genomen over de te gebruiken onderzoekstrategie. De keuze is afhankelijk van een aantal kernbeslissingen te weten (Verschuren & Doorewaard, 2002):

breedte versus diepgang kwalitatief versus kwantitatief onderzoek empirisch versus bureau onderzoek.

Omdat we in dit onderzoek voornamelijk geïnteresseerd zijn in de effecten van optimism en deze bias probeer te begrijpen en te beschrijven, kan dit onderzoek derhalve het best als verklarend onderzoek worden gekenmerkt (Saunders, Lewis, & Thornhill, 2012). Hier ligt de nadruk op het bestuderen van een situatie of probleem om verbanden tussen variabelen te verklaren (Saunders et al., 2012; Yin, 1994).

Er zijn volgens Verschuren & Doorewaard (2000) vijf verschillende manieren om dit te onderzoeken:

1. Survey 2. Experiment3. Casestudie4. Gefundeerde theoriebenadering5. Bureauonderzoek.

Omdat er is gekozen voor een empirisch onderzoek valt gefundeerde theoriebenadering buiten beschouwing. Ook bureauonderzoek is niet-empirisch (Verschuren en Doorewaard, 2000). Ook ontbreekt het aan tijd om op twee momenten in de tijd een experiment uit te voeren waardoor deze afvalt. De casestudie is heel geschikt voor het geven van antwoorden op de vraag waarom en ook op de vragen wat en hoe (Saunders et al., 2012) met daarbij de mogelijkheid om door te vragen. Bij een survey gaat het vaak over beschrijvingen van bestaande opvattingen, gedragingen van personen en groepen waarbij een grote onderzoekseenheid wordt onderzocht. Het doorvragen is bij een survey niet mogelijk en Yin (1994) adviseert daarom dat casestudies de voorkeur genieten, wanneer de vragen in de diepte gaan. Ook vanwege de haalbaarheid van dit onderzoek (qua tijd en kosten) gaan we niet op zoek naar een uitgebreid (kwantitatief) breedte onderzoek wat generaliseerbare informatie en kennis zou kunnen opleveren, maar zullen we in dit onderzoek middels een casestudy een kwalitatief diepte onderzoek uitvoeren wat diepgang, detaillering en onderbouwing oplevert. Een casestudy is een methode, die gebruik maakt van een empirisch onderzoek van een bepaald hedendaags verschijnsel binnen de actuele context, waarbij van verschillende soorten bewijsmateriaal gebruik wordt gemaakt (Saunders et al., 2012; Verschuren & Doorewaard, 2002). Het gaat hier meer om de interesse in de variabelen, dan de data met het resultaat dat vertrouwt op meerdere bewijsbronnen (triangulatie).

21


3.2.2 Selectie van casusDe vraag die zich hierbij opdringt, is die naar het aantal te kiezen cases. Het voordeel van het uitvoeren van een multiple (twee) casestudy is dat de externe validiteit en de generaliseerbaarheid wordt verbeterd ten opzichte van één enkele case (en bevindingen kunnen dan met elkaar worden vergeleken), daarnaast wordt een multiple case als meer compleet beschouwd dan een single case (Yin, 1994). Vanwege de combinatie haalbaarheid en beschikbare tijd voor dit empirisch onderzoek wordt gekozen voor een multiple (twee) casestudy.

Daar de populatie de entiteiten definieert waarvan de research sample wordt genomen, is het goed selecteren van de casussen van groot belang. Omdat de casussen door de onderzoeker zijn geselecteerd mogen we spreken van een niet-stochastische, doelgerichte en heterogene steekproef (Saunders et al., 2012; Verschuren & Doorewaard, 2002):

Doelgericht, omdat de cases door de onderzoeker zijn geselecteerd. Heterogeen, omdat er over twee cases gegevens verzameld worden.

Bij dit type kwalitatief empirisch onderzoek wordt een random selectie van de casussen niet aangeraden(Eisenhardt, 1989).

Zoals blijkt uit het literatuuronderzoek is er nog relatief weinig wetenschappelijk onderzoek gedaan naar de effecten van biases in projectmanagement laat staan in ERP-projecten. Swanborn (1996) adviseert daarom de variantie tussen de casussen te minimaliseren en dus casussen te selecteren die op elkaar lijken. Het onderzoek van één case zal worden gerepliceerd bij de andere case, dit wordt ook wel literal replication (Yin, 1994) genoemd. Om een antwoord te kunnen geven op de hoofdvraag moet een case voldoen aan een aantal voorwaarden, deze worden in bijlage 8 benoemd. Beide geselecteerde casussen zijn ICT-trajecten van het type ERP-implementaties en mogen beiden vanuit deze optiek als ICT-trajecten worden geanalyseerd.

De gekozen casesOp 01-juli-2015 zijn er in overleg met de onderzoeker en met de operationeel manager van de implementatiepartner, twee cases geselecteerd die aan de case voorwaarden voldoen. Zie algemene beschrijving van de beide cases in Bijlage 9: De gekozen cases

3.2.3 Gegevens bronnen Dit onderzoek bestaat uit twee delen, namelijk het theoretisch deel, gevolgd door een empirisch onderzoek. Tijdens het theoretisch (literatuur) onderzoek is gebruik gemaakt van literatuur en werd als strategie een bureauonderzoek (literatuurstudie) gebruikt. Door het toepassen van verschillende literatuurbronnen zoals de primaire, secundaire en tertiaire kan relatief snel en op een objectieve manier een betrouwbaar en volledig overzicht verkregen worden van de literatuur die over een bepaald onderwerp is gepubliceerd (Saunders et al., 2012). Het literatuuronderzoek heeft geleid tot basisinzichten op het gebied van biases en voor een beperkt aantal typen biases de effecten daarvan op het verloop van een ICT-project. De resultaten hiervan vormen de basis voor het opstellen van het tweede deel van dit onderzoek namelijk het empirisch (praktisch) onderzoek.

Volgens Verschuren & Doorewaard (2002) kunnen de bronnen van informatie voor dit empirisch onderzoek gehaald worden uit:

22


1. Personen 2. Documenten3. Media4. Observeren van de werkelijkheid5. Literatuur

Yin (2003) beschrijft dat personen (interviews) beschouwd mogen worden als een geschikte gegevensbron voor casestudies. Het voordeel van het bevragen van personen is dat ze als leveranciers van kennis kunnen optreden, wat nodig is om de onderzoeksvragen te kunnen beantwoorden, daar er in de literatuur niets gevonden is. Omdat er onderzoek gedaan wordt naar reeds geïmplementeerde ERP-trajecten kan de informatie snel onttrokken worden. De bevraging zal op locatie worden afgenomen en er zullen op locatie gegevens worden ingezameld. Op basis van de analyse van deze gegevens kan tot een uitspraak worden gekomen. In dit onderzoek zal getracht worden om de effecten van optimism bij de schatters van ERP forecasts te achterhalen. Onder een schatter wordt in dit onderzoek verstaan iemand die betrokken is met het nakijken, opstellen en bespreken van de forecast (kosten, doorlooptijd en scope). Voor de eisen die aan de schatters zijn gesteld wordt verwezen naar bijlage 8.

De keuze voor een casestudy maakt het ook mogelijk om documentatie van de case te kunnen gebruiken (Saunders et al., 2012). Deze secundaire gegevens zijn veelal eerder voor een ander doel verzameld en dus gemakkelijk beschikbaar en vrijwel meteen te bestuderen (snelheid van informatieontsluiting). Tevens kunnen deze secundaire gegevens eenvoudig herhaaldelijk worden benaderd. Het gaat hier om de afgegeven forecast, projectplan, gerealiseerde budget sheet, de gap-fit lijst en het (eventueel) juridisch contract. Het projectplan en de gap-fit lijst zullen worden bestudeerd met als doel te onderzoeken of er een 1 op 1 aansluiting is te vinden op de afgegeven forecast. Indien aanwezig zal hierbij ook het juridisch contract worden meegenomen. Tevens zal de gerealiseerde budget-sheet worden bestudeerd met als doel proberen te achterhalen wat de verschillen zijn geweest tussen de afgegeven forecast en de uiteindelijk gerealiseerde forecast (op het gebied van scope, doorlooptijd en kosten). De onderzoeker is projectleider, waardoor bestuderen en interpreteren van deze informatie (qua vaardigheden) geen problemen zou moeten opleveren. Daar er in dit onderzoek twee recente casussen worden onderzocht, draagt dit bij aan de actualiteit van de informatie.

De informatiebron media is gericht op informatieoverdracht aan een groot publiek wat met betrekking tot de twee gekozen cases niet bruikbaar is. Het oberserven van de werkelijkheid is bij dit onderzoek niet bruikbaar, want er wordt onderzoek gedaan naar de effecten van optimism bij de schatters op het verloop van reeds geïmplementeerde ERP implementaties, dit betekent dat de werkelijkheid al heeft plaatsgevonden en niet meer te observeren is. Zoals eerder vastgesteld is er in de literatuur niets gevonden wat betreft de effecten van optimism bias op het verloop van ERP-trajecten en valt daarom af als bruikbare informatiebron voor dit empirisch onderzoek.

3.2.4 Methoden van dataverzamelingVerder zijn er verschillende methoden beschikbaar om de benodigde data te kunnen verzamelen uit de bovenstaande informatie bronnen (Saunders et al., 2012):

23


Steekproef Vragenlijsten Interviews Waarnemingen Documentaire secundaire gegevens.

In paragraaf 3.2.1 is een casestudy als onderzoeksstrategie voor dit onderzoek gekozen. De methodes die het beste passen binnen deze studie zijn:

Vragenlijst met beoordeling: Gaat uit van een vragenlijst met vooraf vastgelegde identieke vragen die door de interviewer zal worden ingevuld. Door schaal-of beoordelingsvragen kan eenduidigheid in de antwoorden worden verkregen.

Documentaire secundaire gegevens: Hiermee kan inzicht worden verkregen over het verloop van het ERP project en de daarbij opgetreden problemen.

Semigestructureerde Interviews: Dit is geschikt voor dit type verklarend onderzoek. De nadruk ligt hier op het bestuderen van een situatie of probleem en om de verbanden tussen de variabelen te verklaren. Semigestructureerd houdt in dat de inhoud van de vragen vastligt, maar dat er vrijheid is in de manier van vragenstellen en in welke volgorde de vragen gesteld gaan worden, hierdoor kunnen de antwoorden per interview verschillen.

De methodes van dataverzameling die niet in aanmerking komen voor deze casestudie zijn: Steekproef: omdat er twee verschillende cases zijn geselecteerd zal er geen gebruik

worden gemaakt van een steekproef waarmee een deelpopulatie uit een populatie wordt onderzocht.

Waarnemingen: Er kan geen gebruik worden gemaakt van de methode waarnemingen, want deze richt zich op het gedrag van mensen. Dit onderzoek richt zich op afgeronde ERP-trajecten en daarom is waarneming niet mogelijk.

Gestandaardiseerde vragenlijsten m.b.t. bias en forecast: In de literatuur is gezocht naar standaard interviews en/of vragenlijsten m.b.t. bias en forecast maar er is geen enkele bruikbare gevonden. Daarom kan deze informatiebron niet worden toegepast in dit onderzoek.

In de hierna volgende paragraaf zal per deelvraag worden toegelicht, welke van de hierboven geselecteerde informatiebronnen zal worden toegepast.

Gekozen methodes per deelvraagEerste deel van het onderzoek (Deel 1) zal starten met het beantwoorden van de vraag “Wie waren de schatters van de ICT-projecten?”. Bij de beantwoording van vraag 2 “In welke mate was er sprake van optimism bij deze schatters?” wordt er gekeken naar de meest geschikte toepasbare bronnen. Uit de literatuur is gebleken, dat er diverse standaard vragenlijsten zijn, waarmee algemeen optimism bij respondenten te meten is (Scheier & Carver, 1985; Scheier, Carver, & Bridges, 1994; Weinstein, 1980). Het valt hierbij op, dat de variabele algemeen optimism hier niet aan een specifiek domein gebonden is en deze via gevalideerde schalen gemeten kan worden. Deze vragenlijsten zijn generiek opgesteld en kunnen ingezet worden als een generiek meetinstrument voor een onderzoek in een specifiek domein zoals in het onderzoek van Puri and Robinson (2006). Het onderzoek van Weinstein (1980) staat bekend als een klassiek meetinstrument en wordt veel geciteerd in andere onderzoeken. Shefrin

24


(2007) beschrijft in de appendix van zijn boek een aangepaste variant, op vragenlijst van Weinstein (1980), waarmee hij wil onderzoeken welk psychologisch fenomeen de besluitvaardigheid kan beïnvloeden. Deze vragenlijst bestaat uit 18 mogelijke gebeurtenissen die ook in de vragenlijst (42 gebeurtenissen) van Weinstein (1980) stonden vermeld. Enkele vragen van Weinstein (1980) waren niet meer up-to-date en heeft Shefrin (2007) aangepast aan deze tijd. Daar we in dit onderzoek op zoek gaan naar het psychologisch fenomeen bias en tevens de effecten daarvan willen onderzoeken lijkt de vragenlijst van Shefrin (2007) de beste keuze. Mede doordat het in deze context veel in andere onderzoeken geciteerd is en dit een recente vragenlijst betreft (niet gedateerd). Uiteindelijk probeert de onderzoeker hiermee aan te tonen of de conclusie vanuit het literatuuronderzoek onderstreept kan worden. Om de betrouwbaarheid en validiteit van dit onderzoek te vergroten, is er tevens direct contact gezocht met Shefrin, waarin hij in een mail onderstreept, dat deze vragenlijst een generieke tool is voor het meten van optimism (zie bijlage 1 0 ) en gebruikt mag worden voor het beantwoorden van de onderzoeksvraag.

Deel 2 onderzoek zal starten met het analyseren van de projectdocumentatie. Door het bestuderen van de documenten, zoals het projectplan, roadmap, gapfit-lijst en (eventueel) juridisch contract zal een antwoord geformuleerd kunnen worden op de volgende vragen:

3. Wat waren de schattingen van de ICT-projecten inzake criteria kosten, tijd en functionaliteit?

4. Wat was de uiteindelijke realisatie van de ICT-projecten inzake criteria kosten, tijd en functionaliteit?

Zie voor uitwerking: Bijlage 11 Uitwerking analyse secundaire bronnen.

De laatste vraag van dit onderzoek ”Indien er optimism bij de schatters kan worden aangetoond, wat was het effect van deze bias op de schatting inzake criteria kosten, tijd en functionaliteit?” zal door middel van de methode interviews mogelijk beantwoord worden. Saunders et al. (2011) categoriseren de methodes van interviews als volgt:

Gestructureerde interviews: gaan uit van een vragenlijst met vooraf vastgelegde identieke vragen.

Semigestructureerde interviews: gaan uit van een themalijst en vragen die in een gesprek/interview ter sprake komen. De volgorde van de thema’s of vragen kan variëren afhankelijk van het gespreksverloop en de context.

Ongestructureerde interviews: gaan uit van een themalijst en vragen die in een gesprek/interview ter sprake komen. De volgorde van de thema’s of vragen kan variëren afhankelijk van het gespreksverloop en de context.

Respondentinterview: ook diepte-interviews of niet-gerichte interviews of informantinterviews genoemd. De diepte-interviews worden afgenomen als de onderzoeker op bepaalde aspecten wil doorvragen

In de literatuur is gezocht naar standaard interviewen/of vragenlijsten m.b.t. bias en forecast maar er is geen enkele bruikbare gevonden, waarmee de effecten van een mogelijke optimism-bias bij het opstellen van een forecast zou kunnen worden achterhaald. Ook heeft de onderzoeker contact proberen te zoeken met Bent Flyvbjerg (expert in forecast van megaprojecten) maar na verschillende pogingen per mail (zie bijlage 12) en in het kader van het tijdsbestek van dit onderzoek is besloten de zoektocht naar een standaard interviewen/of vragenlijsten m.b.t. bias en forecast te stoppen. Indien er geen standaard in de

25


literatuur voorhanden is, dan is volgens Saunders et al. (2012) het beste alternatief om zelf de onderzoeksvragen op te stellen.

Het doel en de vragen van het onderzoek bepalen vervolgens het gebruik van een bepaald soort methode van interview. Zo zijn gestructureerde interviews geschikt voor beschrijvend onderzoek, diepte-interviews voor verkennend onderzoek, en semigestructureerde interviews voor verklarend onderzoek (Saunders et al., 2012). Daar het hier gaat om een verklarend onderzoek zal ook hier de semigestructureerde interview methode met themalijst worden toegepast, daarnaast is de keuze gebaseerd op de volgende redenen:

Informatie kan hiermee snel worden verkregen. Structuur om ervoor te zorgen dat de gespreksonderwerpen aan bod komen. Doordat het een relatief nieuw onderwerp betreft en hierover in de literatuur niets

gevonden is, biedt deze vorm de mogelijkheid tot een goede controle en zo mogelijk een volledige beantwoording van de vragen.

Geen standaard in de literatuur gevonden.

Een groot voordeel van deze semigestructureerde vragen is, dat de onderzoeker de vragen kan afstemmen op de respondenten, daar deze personen face to face zullen worden geïnterviewd. Dit zal ook nodig zijn, omdat de benodigde informatie diepliggende gevoelige materie betreft. Dit is te bereiken door tijdens het gesprek steeds meer ingespeeld te raken op de respondent en zo te proberen een vertrouwensrelatie te creëren (Saunders et al., 2012). Het nadeel van semigestructureerde vragen kan de zogenaamde interviewervariatie zijn. Dit kan toegeschreven worden aan verschillen tussen interviewers. Dit nadeel is gedurende dit onderzoek niet van toepassing, aangezien de interviews afgenomen worden door één interviewer. Deze checklijst/themalijst wordt in paragraaf Verantwoording opstellen interview vragen verder toegelicht.

Deze interviews zullen worden afgenomen met de schatters van de reeds geïmplementeerde ERP -implementaties alsmede bij de projectleiders bij wie het ERP-project is geïmplementeerd. Het interview zal met toestemming van de respondent worden opgenomen om de gegevens vervolgens beter te kunnen analyseren. Zoals eerder vermeld is door het geringe aantal schatters (3 stuks) besloten ze allemaal mee te nemen in dit onderzoek. De directeur van de implementatie-partner heeft tijdens het kennismakingsgesprek toestemming gegeven en aangegeven dit te willen faciliteren. Deze schatters worden gezien als specialisten in hun vakgebied en zijn alle 3 langer dan 10 jaar in dienst bij de implementatiepartner.

Verantwoording opstellen interview vragenIn het onderzoek van Flyvbjerg (2009) beschrijft hij, dat forecast errors bij complexe projecten kunnen worden veroorzaakt door eerlijke fouten, manipulatie of gewoon pech. In dit onderzoek zijn we vooral geïnteresseerd in de eerlijke fouten/vertekeningen (bias), maar zullen tijdens het interviewen de andere mogelijkheden ook worden besproken en zijn dus opgenomen in de zelfbedachte semigestructureerde onderzoeksvragen met themalijsten. Deze zelfbedachte onderzoeksvragen zijn semigestructureerd, omdat er zo weinig mogelijk sturing op de antwoordkeuze is aangebracht, dit betekent concreet, dat de richting is bepaald maar de antwoordkeuze blijft open. Het toepassen van een semigestructureerd interview met themalijst betekent, dat de onderzoeksvragen vooraf gestructureerd zijn. Hoe

26


meer structurering op de onderzoeksvragen is aangebracht des te meer sturing er is op het antwoord.

Het doel van dit interview is om de conclusie van de literatuurstudie te onderzoeken. De themalijsten zijn geselecteerd uit de gevonden literatuur en per thema zijn vragen opgesteld. In bijlage 13 en 14 wordt per thema beschreven wat het doel van deze vragen is.

Themalijst schatters: (zie bijlage 14)1. Algemene vragen2. Detailvragen over het opstellen van de forecast (m.b.t. de scope)3. Detailvragen over het opstellen van de forecast (m.b.t. de tijd)4. Detailvragen over het opstellen van de forecast (m.b.t. de kosten)5. Detailvragen opstellen forecast c.q. afgeven van de forecast

Themalijst projectleiders (zie bijlage 13 ):1. Algemene vragen2. Ontvangen definitieve forecast3. Detailvragen forecast versus uiteindelijke realisatie

Door gebruik te maken van semigestructureerde interviews worden op een consistente wijze de interviews afgenomen. De vragen zijn per thema zo opgesteld, dat in het begin van het interview de makkelijke vragen worden gesteld en de complexe en meningsvragen elkaar opvolgen, dit om het interview afwisselend te houden. De themalijst zal meer gebruikt worden als een checklijst om ervoor te zorgen dat alle gespreksonderwerpen aan bod zijn gekomen. Zoals beschreven, geeft het sturing, maar laat het genoeg persoonlijke ruimte voor de beleving van de respondent. Tijdens het interview kan vastgesteld worden of de volgorde van de thema`s moeten veranderen en/of de vragen moeten worden aangescherpt. Ook zal dan moeten blijken of het interview voldoende inzicht geeft om de onderzoeksvragen te kunnen beantwoorden.

3.3 Conceptueel onderzoeksontwerp Het conceptueel onderzoeksontwerp beschrijft wat er onderzocht zal worden en bestaat uit de probleemstelling met de daarbij behorende afbakening van dit onderzoek.

3.2.1 ProbleemstellingDe probleemstelling bestaat uit de doelstelling van dit onderzoek, het daarbij horende onderzoeksmodel en de daaruit afgeleide hoofdvraag en deelvragen voor dit empirische onderzoek.

DoelstellingUit de bestudeerde literatuur zijn sterke aanwijzingen, dat de bias Optimism (Type actiegerichte bias) de forecast van een ICT-traject beïnvloedt. Met de beantwoording van de hoofdvraag zal geprobeerd worden een bijdrage te leveren aan het vormen van inzicht in de effecten van Optimism (Type actiegerichte bias) bij de schatters van ERP-projecten (type ICT-traject). Het kunnen begrijpen en uiteindelijk beheersen van deze systematische bias kan een belangrijke sleutel zijn voor het behalen van een succesvol project.

27


Het conceptueel onderzoekmodelOm de in de vorige paragraaf beschreven doelstelling te verwezenlijken, is het noodzakelijk om de vraagstelling van het empirisch onderzoek te formuleren. Een onderzoeksmodel beschrijft globaal de structuur van het onderzoek en helpt de vraagstelling aan te laten sluiten aan de doelstelling van dit onderzoek (Verschuren & Doorewaard, 2000). Hieronder een schematische weergave van het doel en de globale stappen die gezet moeten worden om dit doel te bereiken.

Figuur 2 Concept onderzoeksmodel (volgens opzet Verschuren et al. (2000))

Het onderzoek welke bestaat uit twee delen:Deel 1 (bij Cases A & B): Uit de bestudeerde literatuur zijn sterke aanwijzingen dat optimism de forecast van een ICT-traject beïnvloedt. Dit onderzoek zal met behulp van de vragenlijst van Shefrin (2007) bepalen of de schatters van reeds geïmplementeerde ERP-projecten (een type ICT-trject) last hadden van optimism.

Deel 2 (bij Cases A & B):Op zoek naar de effecten van optimism (bij de schatters van de forecast) op het verloop van reeds geïmplementeerde ERP-projecten.

Het uiteindelijke resultaat van dit onderzoek zal een theoretisch en empirisch gevormde conclusie zijn, waarin antwoord zal worden gegeven op de hoofdvraag van dit onderzoek en aanbevelingen voor vervolgonderzoek.

3.4 Aard van het onderzoekDit onderzoek is zoals eerder beschreven kwalitatief van aard, wat kan worden omschreven als gedeeltelijk systematisch en daardoor ook controleerbaar uitgevoerd, dit verhoogt de reproduceerbaarheid van dit onderzoek. Doordat het deels gestructureerd is, kan worden afgeweken van de oorspronkelijke vraagstelling om zo terreinen te kunnen onderzoeken, die niet eerder zijn onderzocht. Dit maakt, dat de interviews niet exact door andere onderzoekers kunnen worden overgedaan. Wel kunnen de resultaten opnieuw worden

28


geanalyseerd en worden vastgesteld of tot dezelfde conclusies kan worden gekomen. Verder wordt er in dit onderzoek gewerkt met de bron personen welke minder geschikt is als de informatie gevoelig ligt. Hier moet dus een voorbehoud worden gemaakt ten aanzien van de uitkomsten. Om de drempel tot het beantwoorden zo laag mogelijk te doen zijn kan door anonieme verwerking de response worden gemaximaliseerd en de betrouwbaarheid worden vergroot.

3.5 OnderzoeksethiekEen onderzoek dient moreel verantwoord te zijn en ook als zodanig verdedigd kunnen worden (Saunders et al., 2012). Binnen dit onderzoek zijn daarom de volgende maatregelen genomen:

Deelname aan dit onderzoek is vrijwillig en de respondenten kunnen op elk moment stoppen.

Namen van de respondenten worden niet vermeld, hierdoor is anonimiteit gewaarborgd.

Het interview zal met toestemming van de respondent worden opgenomen. Projectdocumentatie zal via een VPN verbinding beschikbaar worden gesteld.

Onderzoeker zal hiervan niets kopiëren. Die VPN verbinding zal op elk moment door de implementatiepartner kunnen worden beëindigd.

De gegevens worden door de onderzoeker op een objectieve wijze geanalyseerd en gerapporteerd. De gegevens zullen vertrouwelijk verwerkt worden en dus in die context niet schadelijk kunnen zijn voor de respondenten. Dit is belangrijk wanneer de resultaten door andere gebruikt gaan worden.

3.6 Kwaliteitsaspecten van dit empirisch onderzoekIn de afgelopen paragrafen werd beschreven aan welke eisen goed wetenschappelijk onderzoek moet voldoen en waarom en hoe er in dit onderzoek aan deze eisen werd voldaan. In deze paragraaf zal specifieker worden ingegaan op de kwaliteit van het empirisch onderzoek. Yin (2009) stelt dat de kwaliteit van empirisch onderzoek vastgesteld kan worden door vier elementen: construct validiteit, interne validiteit, externe validiteit en betrouwbaarheid.

Construct validiteit (valide onderzoeksmethode)Om te komen tot een valide onderzoeksmethode is het belangrijk erachter te komen of datgene wordt gemeten wat er moet worden gemeten en dat deze informatie objectief kan worden verzameld en worden beoordeeld.

Zoals beschreven in paragraaf 4.3 zal uit de bronnen personen en documenten informatie worden gehaald:

Personen: Vragenlijst van Shefrin (2007) om de mate van algemeen optimism bij de respondenten vast te stellen.

Personen: Semigestructureerd interview om inzicht over de effecten van optimism bij het opstellen van een ERP-forecast te achterhalen.

Documenten: Bestuderen van de secundaire gegevens (forecast, projectplan, gerealiseerde budget sheet, de gap-fit lijst en het (eventueel) juridisch contract).

29


Door in deel 2 van het onderzoek met verschillende bronnen (bronnentriangulatie) aan te tonen, dat uitspraken uit verschillende bronnen elkaar ondersteunen, kan een ketting van bewijsvoering worden geleverd. Tevens is er direct contact gezocht met Shefrin, waarin hij in een mail onderstreept, dat deze vragenlijst een generieke tool is voor het meten van optimism (zie bijlage 1). Deze acties dragen bij aan de betrouwbaarheid en de validiteit van dit onderzoek (Saunders et al., 2012). Er is in dit onderzoek niet alleen gebruik gemaakt van meerdere bronnen, maar ook verschillende methoden (zie paragraaf 3.4). Deze methodische triangulatie zorgt ervoor dat dit onderzoek voldoende breedte en diepgang krijgt.

Interne validiteitDe interne validiteit gaat over de mate, waarin resultaten van dit empirisch onderzoek toegeschreven kunnen worden aan fouten in het onderzoeksontwerp. Zoals eerder vermeld, is door het geringe aantal schatters (3 stuks) besloten ze alle drie mee te nemen in dit onderzoek: door hier geen keuze in te maken kunnen bepaalde motieven ook geen rol spelen. Verder heeft de onderzoeker gevraagd te mogen kiezen uit een aantal cases, hierdoor heeft de onderzoeker indirect toch invloed gehad op de keuze van de projectleiders en kunnen bepaalde motieven van de implementatiepartner worden weggenomen wat de interne validiteit van dit onderzoek verhoogt.

Ook kan de betrouwbaarheid en validiteit van dit onderzoek worden verhoogd door een expert de analyse en de daaruit voortvloeiende conclusies ter review en beoordeling voor te leggen. De referent zal moeten voldoen aan de volgende voorwaarden:

Expert en ervaring op het gebied van ERP-pakketten Ervaring op het gebied van projectleiding Ervaring met het maken van analyses en het beoordelen daarvan. Bereid om mee te werken aan dit onderzoek.

Voor dit onderzoek is een financieel controller uitgekozen. Hij is sinds 2010 werkzaam als collega projectleider van de onderzoeker. Hij wordt gezien als kundig en analytisch en heeft ervaring met projecten.

Verder hebben de volgende maatregelen de interne validiteit weten te verhogen: Het uitvoeren van een casestudie bij meerdere organisaties, hierdoor kan een

verkeerde interpretatie van de informatie worden verminderd. In het onderzoeksontwerp zijn zorgvuldig en nauwkeurig vastgestelde procedures

opgenomen, hiermee moet het voor de lezer duidelijk worden om de causale verbanden te interpreteren. Dit verhoogt ook de betrouwbaarheid van het onderzoek.

Voorafgaande aan onderzoek Deel 1 en Deel 2 zullen eerst zorgvuldig het doel en de definitie van het onderzoek met de respondenten worden doorgenomen.

Het is de bedoeling, dat een expert een bijdrage gaat leveren om te controleren of de interview vragen zo zijn opgesteld, dat de respondent de vraag precies zo begrijpt, zoals de onderzoeker de vraag heeft bedoeld (dit draagt bij aan de validiteit van dit onderzoek).

Door sturing aan het interview aan te brengen, is getracht de verbanden en de richting te waarborgen. Hiermee kan voorkomen worden, dat de onderzoeker naar de mond wordt gepraat of dat er iets essentieels wordt vergeten (wat bijdraagt aan de validiteit van dit onderzoek).

30


Een expert gaat kijken of de onderzoeker terecht bepaalde conclusies heeft getrokken uit de verkregen informatie van de analyse, zodat de betrouwbaarheid en validiteit van dit onderzoek worden verhoogd.

Externe validiteit (generaliseerbaarheid)Onder generaliseerbaarheid (externe validiteit) wordt de mate verstaan, waarin de onderzoeksresultaten betrekking hebben/overdraagbaar zijn op/naar andere onderzoekssituaties (Saunders et al., 2012). Kwalitatieve onderzoeksgegevens hebben als nadeel, dat ze doorgaans niet gegeneraliseerd kunnen worden naar de gehele populatie, omdat er veelal gewerkt wordt met een klein aantal cases (Saunders et al., 2012).

In dit onderzoek wordt het kwalitatieve onderzoek gehouden bij twee verschillende organisaties, welke betrokken zijn geweest bij een ERP-implementatie traject. Het voordeel van het uitvoeren van een multiple casestudie is dat de externe validiteit wordt verbeterd ten opzichte van één enkele case. De resultaten van dit onderzoek zullen dan ook beperkt generaliseerbaar zijn binnen het domein Afgeronde ERP-implementaties in Nederland. Het doel van dit onderzoek is dan ook niet de conclusie te generaliseren naar andere situaties, maar inzicht te krijgen in de effecten van optimism op de forecast van een ERP implementatie, gezien vanuit de theorie en de praktijk.

BetrouwbaarheidDe betrouwbaarheid van het onderzoek heeft betrekking op de vraag of dit kwalitatief onderzoek iedere keer hetzelfde resultaat zal gaan opleveren. Een aantal aspecten dragen bij aan het verhogen van de betrouwbaarheid.

Door in deel 2 van het onderzoek gebruik te maken van verschillende bronnen (personen en documenten) is datatriangulatie van toepassing wat gepaard gaat met methodetriangulatie, waarmee de betrouwbaarheid van dit onderzoek verhoogd wordt (Saunders et al., 2012).

Door het onderzoeksontwerp gedetailleerd, precies en overzichtelijk te beschrijven, is getracht de betrouwbaarheid van dit onderzoek te borgen. Dit document kan namelijk als leidraad voor andere onderzoekers gaan dienen.

Alle schatters worden bij dit onderzoek betrokken waardoor de betrouwbaarheid toeneemt.

Alle respondenten zijn beschikbaar en hebben voldoende kennis8 om betrouwbare resultaten te kunnen opleveren.

Door in dit onderzoek de vragenlijst van Shefrin (2007) en de vragen voor de semigestructureerde interviews goed en helder te beschrijven neemt de betrouwbaarheid van dit onderzoek toe. Het interview zal ook met toestemming van de respondent worden opgenomen en volledig worden uitgetypt om beter te kunnen analyseren. Dit alles draagt bij om een goede replicatie van dit onderzoek mogelijk te maken.

Door de interviews op te nemen en de resultaten op een toegankelijke en transparante wijze vast te leggen waarmee de respondenten de vastgelegde gegevens kunnen valideren, zal de betrouwbaarheid van dit onderzoek worden verhoogd.

8 Tijdens een meeting aangegeven door de directeur van de implementatiepartner.

31


De zelfbedachte interviewvragen hebben invloed op de respons en betrouwbaarheid van het onderzoek (Saunders et al., 2012). Door rekening te houden met de volgende aspecten tracht de onderzoeker deze problemen te minimaliseren:

Betrouwbaarheidsproblemen: o Research bias: Doordat verschillende respondenten zullen worden

geïnterviewd en de analyse van alle data ingaat op alle verkregen data, zal research bias zo veel mogelijk worden verminderd.

o Responsbias: De gegevens van dit onderzoek zullen binnen 1 maand op de locatie van de respondenten worden verzameld. De respondenten zijn door de implementatiepartner reeds geïnformeerd en de aanleiding van dit onderzoek is hiermee duidelijk overgebracht. Implementatiepartner geeft aan dat alle respondenten zullen meewerken. Op deze manier is geprobeerd de onderlinge betrouwbaarheid van de resultaten van de interviews zo groot mogelijk te maken.

Verder draagt een duidelijke omschrijving van het doel van de vragenlijst, zorgvuldig opgestelde vragen, duidelijke lay-out van het vragenformulier, het uitvoeren van een test, een goed geplande administratie en uitvoering bij aan de validiteit, de betrouwbaarheid en de respons van het onderzoek (Saunders et al., 2012).

3.7 Interpretatie en analyse van de dataVoor het verzamelen van de data heeft de onderzoeker voor onderzoek deel 1 gebruik gemaakt van de vragenlijst van Shefrin (2007) en voor tweede deel van het onderzoek gebruik gemaakt van semigestructureerde interviews, en documentanalyse (projectplan, gapfit-lijst, forecast). Deze gegevens zullen gecategoriseerd en nader geanalyseerd moeten worden. De data verkregen uit dit kwalitatieve onderzoek moeten antwoord geven op de deelvragen.

UitvoeringHet analyseren van de data wordt uitgevoerd door de onderzoeker. Voor het verkrijgen van antwoorden op de eerste 2 deelvragen zal gebruik worden gemaakt van de input van de operations manager (wie zijn de schatters) en de vragenlijst van Shefrin (2007):

1. Wie waren de schatters van de ERP-projecten?2. In welke mate is sprake van optimism bij de schatters van deze ERP-projecten?

Eerste deel van het onderzoek is in de volgende stappen uitgevoerd: Operations manager van de implementatiepartner heeft tijdens een meeting met de

onderzoeker 3 schatters aangeduid. De vragenlijst is door onderzoeker face to face afgenomen en vervolgens door

interviewer ingevuld. Na ontvangen van de ingevulde vragenlijst per schatter (3 stuks) zijn de scores per

schatter in Excel samengevoegd in een matrix zie Bijlage 16 Shefrin vragenlijst matrix (uitwerking)

Hiermee is een antwoord geformuleerd op deelvraag 1, daar dit op het invulblad staat.

Vervolgens zijn er conclusies getrokken aan de hand van de scores.

32


o Allereerst is de score per respondent vermeld om aan te kunnen geven in hoeverre en in welke mate er sprake was van optimism bij de schatters van de ERP-implementaties.

Voor de uitwerking zie bijlage 16 uitwerking Shefrin vragenlijst.

Voor het verkrijgen van antwoorden op de volgende 3 deelvragen is gebruikt gemaakt van semigestructureerde interviews en documentanalyse (projectplan, gapfit-lijst, forecast):



5. Indien er optimism bij de schatters kan worden aangetoond, wat was het effect van deze bias op de schatting inzake criteria kosten, tijd en functionaliteit?

Tweede deel van het onderzoek is in de volgende stappen uitgevoerd (antwoord deelvraag 3 & 4):

Implementatiepartner heeft de secundaire bronnen beschikbaar gesteld via een VPN verbinding.

Door het bestuderen en analyseren van het projectplan, forecast, roadmap, gapfit-lijst en eventueel het juridisch contract is er een antwoord geformuleerd op de deelvragen 3 en 4. Zie uitwerking hiervan in bijlage 11 Uitwerking analyse secundaire bronnen .

Het verwerken van de semi-gestructureerde interviews is op basis van indikking uitgevoerd. Dit betekent dat de opgenomen interviews zijn bestudeerd en gecomprimeerd tot een overzichtelijk geheel zie bijlage 17 gecomprimeerde antwoorden verkregen uit interviews.

Met behulp van triangulatie (de documentanalyse en de analyse van de interviews) is uiteindelijk een antwoord op deelvraag 5 gegenereerd:

Komen de ervaren problemen uit de semigestructureerde interviews overeen met de benoemde problemen uit de documentanalyse? Hiermee zal inzichtelijk worden gemaakt wat men uiteindelijk heeft ervaren en wat er is afgegeven en gedocumenteerd. Waarmee duidelijk zou moeten worden wat de impact van deze bias is geweest op de schatting. De scores uit de vragenlijsten dragen niet bij aan triangulatie (er zijn namelijk niet meerdere vragenlijsten gebruikt) maar zijn wel meegenomen bij de totale uitwerking. Voor de totale uitwerking Zie bijlage 18 Totale uitwerking (synthese).

33


Hoofdstuk 4 OnderzoeksresultatenDe onderzoeksgegevens zijn geanalyseerd. Op basis van de probleemstelling en bijhorende deelvragen worden de resultaten in de volgende paragraaf per onderzoeksvraag weergegeven.

4.1 Beantwoording onderzoeksvragen4.1.1 Wie waren de schatters van de ERP-projecten?In totaal zijn er 3 schatters gevonden. Ze voldoen alle drie aan de gestelde eisen die staan vermeld in bijlage 8 voorwaarden schatters, hier wordt verder ook nog gedetailleerde informatie van de respondenten beschreven. In de tabel hieronder een overzicht van alle respondenten.

Schatters Projectleiders

Kolom1 Respondent 1 Respondent 2 Respondent 3 Respondent 4 Respondent 5

Case A: X X x

Case B: X X X Tabel 4 Overzicht respondenten

4.1.2 In welke mate was er sprake van optimism bij de respondenten?In paragraaf 3.3.4 is reeds beschreven, dat voor het bepalen van optimism de vragenlijst (inclusief bijhorende methodiek) van Shefrin (2007) zal worden toegepast. Een eventuele toelichting is te vinden in bijlage 15.

Na het invullen van deze vragenlijst kan worden bepaald in hoeverre sprake is van optimism bij de respondenten. De vragen zijn hieronder opgesplitst in favoriete en niet favoriete vragen. Per klasse groep (en respondent) is een rekenkundig gemiddelde bepaald. Zie hiervoor de gedetailleerde tabel in Bijlage 16.

Uit de analyse blijkt, dat respondent 3 last heeft van optimism, daar een gemiddelde favoriete gebeurtenisscore 9,6 wordt gemeten en een niet-favoriete gebeurtenisscore van 5,5 wordt gescoord. Respondent 1 heeft een favoriete gebeurtenisscore van 7,1 en een niet-favoriete gebeurtenisscore van 7,1, dit maakt dat deze respondent geen last heeft van optimism, want dan had de score bij de niet-favoriete gebeurtenisscore lager dan 7 moeten zijn. Bij respondent 2 is de gemiddelde score van de niet-favoriete gebeurtenissen lager dan 7, maar de favoriete gebeurtenissen scoren ook lager dan 7, waardoor ook niet gesproken kan worden van neiging tot optimism.

Samengevat kan worden geconcludeerd, dat alleen respondent 3 last heeft van de bias optimism. Van respondent 1 zou je kunnen zeggen, dat hij een objectieve mening heeft daar hij bij beide groepen gemiddeld een zeven scoort. Respondent 2 zou gekenmerkt kunnen worden als iemand die de neiging heeft pessimistisch te denken (voorzichtig is met schattingen).

34


4.1.3 & 4.1.4 Wat waren de schattingen van de ERP-projecten inzake criteria kosten, tijd en functionaliteit? Wat was de uiteindelijke realisatie van de ERP-projecten inzake criteria kosten, tijd en functionaliteit?Hieronder zal antwoord worden gegeven op de deelvragen 3 & 4 van dit onderzoek.

De secundaire bronnen zijn door implementatiepartner beschikbaar gesteld en geanalyseerd. In bijlage 11 is een eerste aanzet gedaan om deze data uit de secundaire bronnen op een overzichtelijke manier te borgen om zo een antwoord te kunnen formuleren op de vragen 4.1.3 en 4.1.3. Het resultaat hiervan is te vinden in Figuur 12 Forecast versus gerealiseerd in bijlage 11.

Samengevat kan uit de secundaire bronnen worden geconcludeerd, dat voor beide cases kan worden vastgesteld, dat de standaard implementatie (zonder maatwerk) goed is ingeschat en dus nauwelijks afwijking tussen de afgegeven forecast en de gerealiseerde forecast gevonden is. Zie bijlage 11 categorie expertise kolom toegepaste bronnen waar beide projectleiders aangeven, dat het standaard deel van de forecast nauwkeurig werd ingeschat. Het probleem zit hem in het maatwerk (zie Figuur 12 Forecast versus gerealiseerd in bijlage 11). Dit blijkt voor de schatters heel moeilijk in te schatten. In beide cases zie je uitbreiding/extra maatwerk verschijnen.

Verder blijkt uit de analyse, dat bij case 1 het oorspronkelijke maatwerk in dagen tegenviel en daardoor werd de ontwikkeltestfase (zie doorlooptijd) verlengd, waardoor de kosten van dit project hoger zijn uitgevallen zie bijlage 11 Figuur 3 Forecast versus gerealiseerd.

Verder kwamen er stelposten (maatwerk en interfaces) bij en ook de scope (maatwerk werd complexer) werd uitgebreid zie bijlage 11 Figuur 4 Forecast versus gerealiseerd. Veel kosten, doordat mensen van buiten (onder toezicht van de bank) invloed gingen uitoefenen, waardoor het erg financieel gestuurd werd en er minder gekeken werd of deze processen aansloten bij de operatie (bijlage 11 categorie invloeden).

Bij case 2 heeft de implementatie meer geld gekost, omdat de klant afspraken niet na kwam zie hiervoor categorie zorgvuldigheid in bijlage 11 en daardoor later live gegaan is. De schatter respondent 2 en de projectleider van dit project (respondent 4) gaven als verklaring, dat de interfaces werden onderschat (zie bijlage 11). Naderhand ook nog veel extra kosten gehad, doordat deze zaken in eerste instantie niet in de scope werden meegenomen (documenten, etiketten, nazorg en rapportage) zie bijlage 11 Figuur 5 Forecast versus gerealiseerd.

4.1.5 Indien er optimism bij de schatters kan worden aangetoond, wat was het effect van deze bias op het verloop van de ERP-projecten inzake criteria kosten, tijd en functionaliteit?Met behulp van triangulatie (d.m.v. de analyse van de secundaire bronnen en de analyse van de interviews) is een antwoord op deelvraag 5 gegenereerd .

Zoals in deelvraag 4.1.2 beschreven is, kan worden gesteld, dat alleen respondent 3 last heeft van de bias optimism. Van respondent 1 zou je kunnen zeggen, dat hij een objectieve

35


mening heeft daar hij bij beide groepen gemiddeld een zeven scoort. Respondent 2 zou gekenmerkt kunnen worden als iemand die de neiging heeft pessimistisch te denken (voorzichtig is met schattingen). Hierdoor wordt het voor de onderzoeker lastig een generieke uitspraak te doen over het effect van deze bias op het verloop van de ERP-projecten.

Er zijn wel een aantal opvallende zaken te benoemen: De schatters kunnen volgens de projectleiders (en de respondenten zelf ook) vrij nauwkeurig het standaard deel van de implementatie inschatten. Alle schatters gaven hierbij aan, dat dit voor 75% op feiten gebeurde en de rest werd ingeschat op basis van gevoel en intuïtie (zie bijlage 19 conclusie matrix). Voor het inschatten van het standaard deel van de implementatie kon optimism niet worden aangetoond maar de respondenten gaven wel aan (via de interviews), dat er sprake was van optimism bij inschatten van het maatwerk.

Verder blijkt uit het analyseren van de data, dat de implementatiepartner op de hoogte was van het feit, dat de uitloop veelal te wijten was, doordat het maatwerk complexer werd. Ondanks dit gegeven, is het volgens de schatters niet gebruikelijk, dat er in begin van een implementatie al heel gedetailleerd functionele ontwerpen worden beschreven. Er wordt door de schatters een grove inschatting afgegeven (Groot-Middel-Kleine gaps) en dit blijkt vaak op ervaring en gevoel te zijn ingeschat. Pas in de ontwikkel-en testfase worden er uitgebreide functionele ontwerpen (per gap) beschreven en blijkt het ingewikkelder en vaak tegen te vallen. Hierdoor loopt de ontwikkel-en testfase van een project uit (zie bijlage 19 conclusie matrix. Je zou hier kunnen spreken van een heuristiek (valkuil) systeem 1, daar dit een onbewust proces is van gevoel en intuïtie (zie bijlage 18 en bijlage 19). Negatief bekeken zou het zelfs onder de categorie “opzet” geplaatst kunnen worden er van uitgaande, dat een implementatiepartner een urenfabriek is en er dus bij gebaat is extra uren te maken. Hier zijn verder geen aanwijzingen voor gevonden in dit onderzoek. Ook wijst het onderzoek uit, dat de schatters overmoedig worden naarmate ze meer ervaring krijgen, want ze schatten steeds meer in op basis van ervaring en laten dit niet meer controleren (zie bijlage 19 conclusie matrix ). Tevens blijkt, dat bij de Case sprake was van de categorie pech, doordat na het afgeven van de forecast financieel toezicht kwam.

Ook blijkt uit de analyse van de interviews, dat er sprake was van onderschatting en kan zelfs worden aangetoond, dat optimism bij de schatter van case 2 tot problemen heeft geleid tijdens het project. (bijlage 18). Ondanks dat er bij deze schatter (respondent 2) geen optimism kon worden aangetoond met het tool van Shefrin (2007), was het effect van deze overschatting, dat er uitloop is ontstaan bij het project door extra maatwerk. Vergelijkende resultaten zijn te vinden bij case 1 , wederom is hier geen optimism gemeten bij de schatter (respondent 1), maar beide geven aan dat de extra uren zijn te wijten aan het onderschatten van het meest onbekende deel van het project. Zowel in uren, complexiteit, doorlooptijd, gevolgen voor andere project zaken (zie bijlage 19 conclusie matrix).

Samengevat kan worden geconcludeerd, dat er bij beide cases niet kan worden aangetoond, dat de effecten in figuur 9 zijn veroorzaakt, doordat de schatters last hadden van optimism. De respondenten 1 en 2 hadden het meeste werk gedaan en hadden volgens de meting van Shefrin (2007) geen last van de bias optimism. Toch zijn er enkele resultaten gevonden wat erop kan duiden, dat bij beide schatters de biases optimism heeft plaats gevonden. Hiermee

36


kan niet worden aangetoond, dat deze generieke tool van Shefrin (2007) onjuist is, maar er kan wel worden geconstateerd, dat er een verschil is tussen datgene wat er is uitgekomen en wat te verwachten was volgens het tool van Shefrin (2007). Waardoor dit verschil is ontstaan, is verder niet onderzocht en dus niet bekend.

In beide cases werden de effecten van optimism op het verloop van het project omschreven als complexer, meer maatwerk met langere doorlooptijden en hogere kosten.

Uit de analyse (zie bijlage 19) blijkt, dat de gaps bewust niet uitgebreider worden onderzocht en er worden door de schatters inschattingen gemaakt die veelal gebaseerd zijn op eerdere oudere of vergelijkbare projecten. Purvis et al (2004) spreekt hier over de bias strategic misrepresentation. Verder in het onderzoek van Flyvbjerg (2009) beschrijft hij, dat forecast errors bij complexe projecten kunnen worden veroorzaakt door eerlijke fouten, manipulatie of gewoon pech. In dit onderzoek waren wij vooral geïnteresseerd in de eerlijke fouten/vertekeningen (bias), maar hebben in de analyse de andere mogelijkheden ook beschreven en zijn dus opgenomen in figuur 3 hieronder.

Eerlijke fout/ Bias Pech? Opzet? Systeem 1 (Heuristieken)Optimisme: Onderschatten van het maatwerk en daardoor uitloop van de uren, complexiteit en doorlooptijd van beide (in beide cases)

Pech: Na het afgeven van de forecast onder financieel toezicht van de bank daardoor andere bemensing en daardoor uitloop van het project.

Maatwerk wordt bewust niet uitgebreid opgenomen in de begin forecast, daardoor in beide cases meerwerk en uitloop.

Er worden door de schatters inschattingen gemaakt die veelal gebaseerd zijn op eerdere oudere of vergelijkbare projecten. Hier mag gesproken worden over de heuristiek: Verkeerde interpretatie van gegeven (Purvis, McCray, & Roberts, 2004)

Optimisme(zie ook categorie pech): In case 1 werd er vanuit gegaan dat de bemensing gelijk bleef maar dat was niet zo Implementatiepartner heeft deel van deze extra kosten betaald. Daardoor deels schuld bekend

Doordat ze meer ervaring hebben laten ze de forecast minder door collega`s controleren. Je zou hier kunnen spreken over de heuristiek: Overmoed (Purvis et al., 2004)

Strategic misrepresentation:Is het bewust anders voorstellen van de werkelijkheid (Flyvbjerg, 2006). Een voorbeeld is het met lagere kosten en hogere baten presenteren van uitkomsten.

Tabel 5 Totaal overzicht

37


4.1.6 Afwijkingen t.o.v. het onderzoeksplanIn het oorspronkelijke protocol werd uitgegaan, dat alle interviews face tot face zouden worden uitgevoerd. Van de 5 interviews zijn er 4 opgenomen en 3 hebben face to face plaatsgevonden (alleen met de schatters). De 2 projectleiders (respondenten 4 en 5) bleken erg druk en in overleg met de projectleiders en de schatters is besloten om deze interviews (met de projectleiders) per telefoon te gaan afnemen in plaat van face to face. In hoeverre dit van invloed is geweest op het creëren van een vertrouwensrelatie is niet bekend. Hiermee werd afgeweken van het oorspronkelijke plan van aanpak.

Ondanks gedegen voorbereiding en het volgen van een vooraf opgesteld interviewprotocol, bleek al gauw, dat de vragen te veel op elkaar leken, waardoor onderzoeker de aandacht verloor van de respondenten. Onderzoeker is toen gaan afwijken van het protocol en volgorde. Sommige vragen werden hierdoor uitgebreider beantwoord, waardoor ze eigenlijk ook andere vragen al hadden beantwoord. Ook dacht onderzoeker vooraf voldoende ervaring te hebben met het afnemen van interviews maar er had wellicht nog verder doorgevraagd en uitgediept kunnen worden. Tevens de manier, waarop de semigestructureerde vragen gesteld zijn, kan mogelijk de betrouwbaarheid van het onderzoek beïnvloeden.

In het plan van aanpak stond, dat de financieel controller de samenvattingen en conclusies uit hun interviews zou gaan doorlezen, dit had aangaande de juistheid van de samenvattingen (deze feedback meenemen) de validiteit en betrouwbaarheid van dit onderzoek kunnen verhogen (Bryman en Bell, 2011). Helaas is hier in de praktijk niets van gekomen. Na verschillende keren vragen bleek de controller te druk om aan het onderzoek verder mee te werken (Oorzaak implementatie nieuw ERP-systeem).

Het onderzoek was gebaseerd op het afnemen van 5 semigestructureerde interviews. Dit geldt voor de 3 schatters en al deze gesprekken zijn opgenomen. De 2 projectleiders (respondenten 4, 5) bleken echter heel druk en in overleg met de projectleiders en de schatters is besloten om deze interviews per telefoon te doen. Ondanks dat in het protocol beschreven stond om alle gesprekken op te nemen, is onderzoeker vergeten alleen het gesprek van respondent 5 op te nemen. Onderzoeker merkte tijdens het gesprek, dat respondent 4 erg behulpzaam was, maar respondent 5 was kort in zijn antwoorden. Om toch door te kunnen vragen, kon onderzoeker putten uit voorkennis, die hij had opgedaan uit de interviews met de schatters. Hiermee heeft de onderzoeker geprobeerd toch meer informatie naar boven te halen. In hoeverre je hiermee de respondent beïnvloedt en dus het onderzoek, is niet bekend. Vanwege de beperkte tijd en de manier waarop de projectleiders (respondenten 4-5) zijn onderzocht, zijn niet alle projectleiders maximaal ondervraagd, dit gaat ten koste van de validiteit van het onderzoek.

Ondanks deze afwijkingen (t.o.v. het oorspronkelijke onderzoeksplan) is onderzoeker van mening dat de conclusies uit paragraaf 4.2 getrokken mogen worden.

38


4.2 Conclusie onderzoeksresultatenDe hoofdvraag voor dit onderzoek luidt: “In welke mate is er bij de schatters van ERP-projecten sprake geweest van optimism en wat was het effect van deze bias op de schatting inzake criteria kosten, tijd en functionaliteit”

Uit het empirisch onderzoek komen de volgende resultaten naar voren: Uit de semi-gestructureerde interviews blijkt, dat de schatters (respondent 1 en 2 en

3) allemaal senioren zijn in het vak met ruime ervaring in het opstellen van forecasts. Volgens het tool van Shefrin (2007) bleek, dat 2 van de drie schatters geen last

hadden van optimism. De derde schatter (respondent 3) bleek wel last te hebben van optimism. Wat niet aansluit bij het onderzoek van Shefrin (2007) waarin wordt beschreven, dat mensen veelal optimistisch zijn.

De schatters en projectleiders gaven aan, dat het standaard deel van de ERP-implementatie nauwkeurig is ingeschat en hier geen afwijking is ontstaan, dit is geverifieerd d.m.v. de secundaire bronnen en deze uitspraak kan worden onderstreept.

De schatters gaven aan het maatwerk te hebben onderschat en dat ze te optimistisch zijn geweest, ondanks dat optimism bij hen niet werd gemeten middels het tool generiek van Shefrin (2007). Hiermee kan niet worden aangetoond, dat deze generieke tool onjuist is, maar deze tool heeft in dit onderzoek niet datgene gemeten wat er in de praktijk aanwezig bleek te zijn en dus gefaald.

Ondanks dat er met het tool van Shefrin (2007) geen optimism kon worden aangetoond, bleek uit de interviews, dat de effecten van optimism op het verloop van het project werden omschreven als complexer en meer maatwerk, waardoor langere doorlooptijd en hogere kosten.

Ondanks dat wij vooral geïnteresseerd waren in de eerlijke fouten/vertekeningen (bias) hebben pech, opzet en heuristieken ook effecten gehad op de ERP-implementatie (zie figuur 9). Deze resultaten zijn overeenkomstig met het onderzoek van Flyvbjerg (2009).

Alle effecten, die zijn ontdekt (complexer, meer maatwerk, langere doorlooptijd en hogere kosten) hebben alleen betrekking op de inschatting van het maatwerk en niet op het standaard deel van een ERP-pakket.

Er worden door de schatters inschattingen gemaakt die veelal gebaseerd zijn op eerdere oudere of vergelijkbare projecten. Hier mag gesproken worden over de heuristiek. Purvis et al (2004) bestempelt deze bias als strategic misrespresentation

39


Hoofdstuk 5 Conclusie en aanbevelingenDit hoofdstuk heeft als doel de resultaten van de vorige hoofdstukken te verbinden en daar een eindconclusie uit af te leiden. Voor de volledigheid worden de hoofdvragen van het literatuuronderzoek en het empirisch onderzoek beschreven, alvorens er in paragraaf 5.1 een eindconclusie zal worden geformuleerd.

De hoofdvraag voor de literatuurstudie luidde:”In hoeverre is er in één of meerdere ICT-projecten sprake geweest van één of meer verschillende typen biases en welke effecten hebben deze gehad op het verloop van het ICT-project en waaruit bestonden die biases dan?”

De hoofdvraag voor het empirisch onderzoek luidde:“In welke mate is er bij de schatters van ERP-projecten sprake geweest van optimism en wat was het effect van deze bias op de schatting inzake criteria kosten, tijd en functionaliteit”

5.1 Eindconclusie afstudeerrapportHet literatuuronderzoek heeft geleid tot een basisinzicht op het gebied van biases en voor een beperkt aantal typen biases de effecten daarvan op het verloop van een ICT-project. Voor deze gevonden biases blijkt het lastig causale verbanden te trekken. Dit heeft te maken met het feit, dat er door verschillende auteurs aan wordt gegeven, dat er nog maar betrekkelijk weinig onderzoek is gedaan naar biases en laat staan naar de effecten van deze biases op het verloop van projecten. Toch blijkt uit het literatuuronderzoek, dat een drietal biases effecten uitoefenen op een forecast/planning en deze het verloop van een ICT-project beïnvloeden:• Optimism (Actiegerichte bias)• Strategic misrepresentation (Aandachts-bias)• Political bias (Aandachts-bias)

Het empirisch onderzoeken van deze drie gevonden biases was te omvangrijk voor een afstudeerscriptie. Verder bleek na het besturen van de literatuur, dat er een standaard interviewen/of vragenlijsten is m.b.t. het meten van Optimism beschikbaar is en daarom werd de keuze gemaakt om in het empirisch onderzoek alleen de biases Optimism verder te gaan onderzoeken. Het onderzoek was gericht om te bepalen of schatters van reeds geïmplementeerde ICT-projecten last hadden van optimism en wat de effecten daarvan zijn geweest op het verloop van deze ICT-projecten. Omdat de onderzoeker bekend was met ERP-implementaties (een specifiek type ICT-project) en binnen dit domein (ERP-systemen) de mogelijkheden had onderzoek te doen is dit empirisch onderzoek gericht op ICT-projecten van het type ERP.

Uit de bestudeerde literatuur waren sterke aanwijzingen dat de schatters tijdens een pre-implementatie fase last zouden hebben van optimism gedurende het hele traject (Flyvbjerg, 2006; Purvis et al., 2004). Er is met de generieke tool van Shefrin (2007) getracht optimism te meten. Twee van de drie schatters bleken een objectieve mening te hebben. Volgens het tool van Shefrin (2007) zouden de meeste mensen last hebben van optimism. Uit dit

40


onderzoek is gebleken dat twee schatters blijkbaar uitzonderingen zijn op de regel, daar de meeste mensen wel last van optimism zouden hebben.

Ondanks dat het tool van Shefrin (2007) aangeeft, dat de respondenten 1 en 2 geen last hadden van optimism, blijkt uit de interviews toch dat er sprake was van optimism. De schatters gaven aan, dat ze bij het inschatten van het maatwerk te optimistisch zijn geweest, ondanks dat optimism bij hen niet werd gemeten middels het tool van Shefrin (2007). Hiermee kan niet worden aangetoond, dat deze generieke tool van Shefrin (2007) onjuist is, maar deze tool heeft in dit onderzoek niet datgene gemeten wat er in de praktijk aanwezig bleek te zijn en dus gefaald. In beide cases werden de effecten van optimism op het verloop van het project omschreven als complexer en meer maatwerk met langere doorlooptijden en hogere kosten.

Het empirisch onderzoek heeft aangetoond, dat het inschatten van het standaard deel van ERP-implementatie nauwkeurig is verlopen en dat daar nauwelijks afwijkingen te vinden zijn tussen de originele forecast en de gerealiseerde forecast. Eventueel latent aanwezige heuristieken en biases blijken geen effecten uit te oefenen op het verloop van het standaard deel van een ERP-implementatie (zonder maatwerk).

De resultaten doen ook vermoeden dat er sprake zou kunnen zijn van valkuilen, pech, opzet en heuristieken tijden deze projecten. Tijdens het opstellen van de forecast werd er een grove schatting gemaakt van de gaps (Klein, middel en groot) en later in het traject werden er volledige functionele ontwerpen beschreven. Nadat de functionele ontwerpen bekend waren, bleken de gaps vaak tegen te vallen (complexer) en doordoor liep het maatwerk uit (in doorlooptijd en kosten). Omdat deze aanvliegroute bewust werd gekozen en dus met lagere kosten er hogere baten werden gepresenteerd, kan worden gesproken over de bias strategic misrespresentation (Purvis et al (2004). Ook doen de resultaten vermoeden, dat de schatters de taken sneller gereed schatten, dan in werkelijkheid het geval was. Hiermee zou de conclusie van het literatuuronderzoek kunnen worden onderstreept, hierin werd beschreven, dat optimistische mensen vaak lijden aan de systematische planning fallacy Flyvbjerg (2009). Hier moet eerst grondig onderzoek naar worden gedaan om deze uitspraak wetenschappelijk te kunnen onderbouwen.

Samengevat kunnen wij concluderen dat: Optimism in beide cases is gevonden en het enkel en alleen invloed heeft gehad op

de inschatting van het maatwerk en daardoor op het verloop van het project. Hierdoor kregen deze projecten te maken met de volgende effecten; complexer (meer maatwerk), langere doorlooptijden en hogere kosten.

De generieke tool van Shefrin (2007) heeft niet optimism gemeten bij 2 schatters, terwijl dit wel uit de interviews naar voren is gekomen. Het tool van Shefrin (2007) heeft hier gefaald

Met de beantwoording van de hoofdvraag van dit onderzoek is geprobeerd een bijdrage te leveren aan het vormen van inzicht in de effecten van Optimism bij de schatters van ERP-projecten (type ICT-traject). Het kunnen begrijpen en uiteindelijk beheersen van deze systematische bias kan een belangrijke sleutel zijn voor het behalen van een succesvol project.

41


5.2 AanbevelingenUit het onderzoek is naar voren gekomen, dat het tool van Shefrin (2007) niet Optimism heeft gemeten bij 2 schatters, terwijl dit wel uit de interviews naar voren is gekomen. Hiermee kan niet worden aangetoond, dat deze generieke tool van Shefrin (2007) onjuist is, maar er kan wel worden geconstateerd, dat er een verschil is tussen datgene wat er is uitgekomen en wat te verwachten was volgens het tool van Shefrin (2007). Waardoor dit verschil is ontstaan, is verder niet onderzocht en is dus niet bekend. Er zouden meerdere studies moeten volgen om deze afwijking verder te onderzoeken. Hiermee kan worden bepaald of er überhaupt generieke uitspraken gedaan kunnen worden met het tool van Shefrin (2007) binnen een kwalitatief onderzoek “ In hoeverre is er met het tool van Shefrin (2007) betrouwbaar optimism te meten”

Verder is uit het onderzoek deel 2 naar voren gekomen, dat de effecten van Optimism alleen betrekking hadden op de inschatting van het maatwerk en niet op het standaard deel van een ERP-pakket. Vanwege beperkt aantal cases zouden er meer studies moeten worden uitgevoerd om generaliseerbaarheid te kunnen verhogen en tevens deze uitspraak te valideren. Een keuze van vervolgonderzoek is om deze twee stromen (standaard versus maatwerk) apart te gaan onderzoeken. Dit zou een passende vraag kunnen zijn voor een vervolgonderzoek: ”In hoeverre is er in het standaard of maatwerkdeel van één of meerdere ERP-implementaties sprake geweest van één of meer verschillende typen biases en welke effecten hebben deze gehad op het verloop van het ERP-project?

Hoofdstuk 6 Productiereflectie / kritische reflectieDit verklarend onderzoek beschikt helaas over een aantal tekortkomingen. Daarom wordt in dit hoofdstuk het onderzoek afgerond met een kritische reflectie. Voor de productierefelectie is een “ik-vorm” meer passend.

Een belangrijk punt van dit onderzoek vind ik de semigestructureerde interviews, want hier is het grootste gedeelte van het empirisch onderzoek aan opgehangen. In de literatuur is er gezocht naar standaard interviewen/of vragenlijsten m.b.t. bias en forecast maar er is geen enkele bruikbare gevonden, waarmee de effecten van een mogelijke optimism-bias bij het opstellen van een forecast zou kunnen worden achterhaald, dus heb ik besloten om deze vragen zelf te gaan opstellen. Ik heb de vragen laten nakijken en toetsen door de implementatiepartner en door een financieel controller van het bedrijf waar ik nu werk. Toch was het beter geweest om de vragenlijst van te voren te laten controleren door meerdere mensen. Hiermee had de kwaliteit van de vragenlijst nog beter beoordeeld kunnen worden.

Vooraf had ik niet gedacht, dat in de gestelde vragen een bepaalde maten van belangrijkheid zou kunnen zitten. Achteraf gezien zou het best zinvol geweest kunnen zijn, want hierdoor lijken nu alle vragen even zwaar te tellen.

Een ander belangrijkpunt gaat over researcher bias. Doordat ik projectleider ben van ERP-implementaties en zelf de respondenten heb mogen interviewen heb ik kunnen doorvragen , waardoor ik deze materie snel kon begrijpen. Dit betekent ook, dat ik in sommige gevallen

42


extra vragen heb gesteld naast de vragen van het interview. Researcher bias is hierop van toepassing geweest, tevens ook bij het analyseren van de resultaten. Doordat dit onderzoek alleen door mijzelf is uitgevoerd, kan er een eenzijdige analyse van de theorie en empirisch onderzoeksdata zijn ontstaan. De financieel controller heeft het empirische gedeelte kunnen analyseren, had geen aanvullingen, maar niemand heeft het theoretische deel getoetst. Dit gaat ten koste van de betrouwbaarheid van dit onderzoek.

Hoofdstuk 7 ProcesreflectieDe masteropleiding managementwetenschappen aan de Open Universiteit (OU) wordt afgesloten met het zelfstandig uitvoeren van wetenschappelijk onderzoek, waarover in de vorm van een scriptie wordt gerapporteerd. Ik ben hier in november 2014 behoorlijk enthousiast aan begonnen en na heel wat uurtjes werken, is het in circa 15 maanden afgerond. Een goede balans vinden tussen werk, privé en studie was even zoeken, maar uiteindelijk hebben externe factoren ervoor gezorgd, dat het anders liep dan gepland. Nadat ik een half jaar bezig was met dit onderzoek, hebben mijn vrouw en ik besloten uit elkaar te gaan na een moeilijke relatie van 18 jaar. Iedereen gaat op z`n eigen manier met zulke problemen om en ik kon door dit onderzoek mijn denken tijdelijk op dit onderzoek richten, zodat ik even niet aan andere problemen hoefde te denken. Het afstudeertraject bestond uit een aantal stappen. De eerste stap was het schrijven van een voorstel m.b.t dit onderzoek. De richting kreeg ik van de open universiteit en heb na verkenning van de literatuur een eerste voorstel geschreven. Al snel bleek, dat de vragen te breed, niet eenduidig en niet concreet waren. Bijvoorbeeld: In eerste instantie ben ik op zoek gegaan naar project management, toen naar complexe projecten en uiteindelijk besloten het toch kleiner te houden door gericht te zoeken op ICT-projecten. Deze stap lijkt eenvoudig, maar heeft langer geduurd dan gedacht en is m.i. een hele belangrijke stap, hier wordt een stevige basis mee neergezet. Stap 2 was het schrijven van het literatuuronderzoek, omdat stap 1 nog niet officieel was goedgekeurd en ik al begonnen was met stap 2, heb ik sommige deelvragen weer opnieuw moeten beantwoorden. Het vinden van wetenschappelijke artikelen was lastig, omdat er nog niet veel bekend is over biases in projecten. Uiteindelijk had ik in januari een definitieve versie van stap 1 en toen heb ik vrij snel het literatuuronderzoek af kunnen maken. Stap 3 was het voorstel empirisch onderzoek. Eigenlijk heb ik deze pas definitief kunnen afronden, nadat ik stap 4 (onderzoeksaanpak) heb afgemaakt. Stap 3 zorgt ervoor dat je alvast gaat nadenken over de volgende stappen, maar je overziet nog lang niet welke complexiteit je te wachten staat bij stap 4. Na de eerste ingeleverde versie van stap 4 begreep ik ook beter stap 3 en kon ik toewerken aan de definitieve versie van stap 3 en 4. Ik had het meeste moeite met het opstellen van de semigestructureerde vragen en het schrijven binnen de maximaal gestelde aantal woorden . Ik heb in de zomerperiode wat tijd verloren, maar uiteindelijk mag ik niet klagen. Heel belangrijk is de feedback van mijn afstudeerbegeleider geweest, hierdoor kon ik na elke fase weer vrij snel de boel oppakken en doorgaan. Het met een multidisciplinaire bril naar organisatie- en managementvraagstukken kijken, is een belangrijk leerdoel van deze opleiding managementwetenschappen geweest. De rode draad is de gedachte, dat mensen niet onbeperkt rationeel zijn en dus niet als robots aanstuurbaar zijn, terwijl dit wel van managers verwacht wordt. In mijn werk als

43


projectleider krijg ik te maken met werknemers, die zijn beïnvloed en die ook weer andere werknemers beïnvloeden. Ieder mens heeft z`n eigen agenda en dogma`s en oefent daarmee een bepaalde gekleurde invloed uit op de organisatie. Als onderzoeker heb ik geleerd, dat ondanks complexiteit van organisaties en hun omgeving, je toch met duidelijke onderzoeksvragen kan proberen om processen verantwoord en objectief te doorlopen. Los van elke sociale invloed ( in een soort van maatschappelijk isolement) kunnen aansturen met absolute controle is m.i. een mission impossible.

Hoofdstuk 8 ReferentiesAlgemene rekenkamer. (2007). Lessen uit ICT-projecten bij de overheid A. Tweede Kamer,

Den Haag Sdu. Andersen, E. S. (2010). Are we getting any better?: comparing project management in the

years 2000 and 2008. Project Management Journal, 41(4), 4-16. Apulu, I., Latham, A., & Moreton, R. (2011). Factors affecting the effective utilisation and

adoption of sophisticated ICT solutions: Case studies of SMEs in Lagos, Nigeria. Journal of Systems and Information Technology, 13(2), 125-143.

Asabere, N. Y., & Mends-Brew, E. (2003). Encouraging Pilot Projects before Large Scale Deployment of ICTs in Ghanaian Polytechnics.

Bara, B. G., Bucciarelli, M., & Lombardo, V. (2001). Model theory of deduction: a unified computational approach. Cognitive Science, 25(6), 839-901.

Bonnal, P., Gourc, D., & Lacoste, G. (2002). The life cycle of technical projects. Project Management Journal, 33(1), 12.

Boonstra, A. (2005). ICT, mensen en organisaties: een managementbenadering: Pearson Education.

Capaldo, G., & Rippa, P. (2009). A planned-oriented approach for EPR implementation strategy selection. Journal of Enterprise Information Management, 22(6), 642-659.

Chroust, G. (2015). Systemic Flexibility and Business Agility: Springer India.Cunha, J. A., Viglioni, T., Thomaz, J., & Moura, H. (2014). Project Management in Light of

Cognitive Biases: A Public Sector IT Organization Case. Proceedings of the European Conference on Management, Leadership & Governance, 50-58.

Eisenhardt, K. M. (1989). Agency theory: An assessment and review. Academy of management review, 14(1), 57-74.

Ernst & Young. (2008). Resultaten ICT Barometer over ICT-projecten, Ernst & Young, Jaargang 8, Amsterdam

Evans, J. (2010a). Intuition and Reasoning: A Dual-Process Perspective. PSYCHOLOGICAL INQUIRY, 21(4), 313-326.

Evans, J. (2010b). Intuition and Reasoning: A Dual-Process Perspective. PSYCHOLOGICAL INQUIRY, 21(4), 313-326.

Eveleens, J. L., & Verhoef, C. (2009). Quantifying IT forecast quality. Science of computer programming, 74(11), 934-988.

Flyvbjerg, B. (2006). From nobel prize to project management: Getting risks right. Project Management Journal, 37(3), 5.

Flyvbjerg, B. (2013). Quality control and due diligence in project management: getting decisions right by taking the outside view. International Journal of Project Management, 31(5), 760-774.

44


Flyvbjerg, B., & Budzier, A. (2011). Why Your IT Project May Be Riskier Than You Think (Vol. 89, pp. 23-25). WATERTOWN: HARVARD BUSINESS SCHOOL PUBLISHING CORPORATION.

Flyvbjerg, B., Garbuio, M., & Lovallo, D. (2009). Delusion and Deception in Large Infrastructure Projects: Two models for explaining and preventing executive disater. California Management Review, 51(2), 170-193.

Gielkens, J. (2012). IT en management: IT and Management Foundation: Haren Publishing, Van.

Griffin, D., Kahneman, D., & Gilovich, T. (2002). Heuristics and Biases: The Psychology of Intuitive Judgment: Cambridge University Press.

Gyaase, P. O., Anokye-Sarfo, A., & Bediako, Y. (2013). The Adoption Of Information And Communication Technology In The Public Sector; A Study Of The Financial Management In The Ghana Education Service (GES). vol, 2, 327-335.

Kahneman, D. (2003a). Maps of bounded rationality: psychology for behavioral economics. The American Economic Review, 93(5), 1449-1475.

Kahneman, D. (2003b). A Perspective on Judgment and Choice: Mapping Bounded Rationality. American Psychologist, 58(9), 697-720.

Kahneman, D., Lovallo, D., & Sibony, O. (2011a). Before you make that big decision (Vol. 89, pp. 50-50). United States: HARVARD BUSINESS SCHOOL PUBLISHING CORPORATION.

Kahneman, D., Lovallo, D., & Sibony, O. (2011b). Before you make that big decision. Harvard Business Review, 89(6), 50-60.

Kahneman, D., & Tversky, A. (1972). Subjective probability: A judgment of representativeness. Cognitive psychology, 3(3), 430-454.

Keil, M., Depledge, G., & Rai, A. (2007). Escalation: The role of problem recognition and cognitive bias. DECISION SCIENCES, 38(3), 391-421.

Labuschagne, C., & Brent, A. C. (2005). Sustainable Project Life Cycle Management: the need to integrate life cycles in the manufacturing sector. International Journal of Project Management, 23(2), 159-168.

Leipold, K. (1999). Investigation of the Design and Implementation of Information and Communication Technology in the Social Security Area. Social Protection Unit, Human Development Network, The World Bank.

Liu, S., & Wang, L. (2014). User liaisons’ perspective on behavior and outcome control in IT projects. Management Decision, 52(6), 1148-1173.

Liu, S., Zhang, J., Keil, M., & Chen, T. (2010). Comparing senior executive and project manager perceptions of IT project risk: a Chinese Delphi study. Information Systems Journal, 20(4), 319-355.

Lovallo, D., & Sibony, O. (2010). The case for behavioral strategy. McKinsey Quarterly, 2, 30-43.

MacDonald, M. (2002). Review of large public procurement in the UK. Studie im Auftrag der HM Treasury, abgerufen im Internet am, 9, 2008.

Marnewick, C. (2012). A longitudinal analysis of ICT project success. Paper presented at the Proceedings of the South African Institute for Computer Scientists and Information Technologists Conference.

Maylor, H., Brady, T., Cooke-Davies, T., & Hodgson, D. (2006). From projectification to programmification. International Journal of Project Management, 24(8), 663-674.

McCray, G. E., Purvis, R. L., & McCray, C. G. (2002). Project Management Under Uncertainty: The Impact of Heuristics and Biases. Project Management Journal, 33(1), 49.

45


Morgenshtern, O., Raz, T., & Dvir, D. (2007). Factors affecting duration and effort estimation errors in software development projects. Information and Software Technology, 49(8), 827-837.

Osterwalder, Z. (2003). What do Professional Persons Think about Computers. Behaviour and Information Technology, 1(1), 55-68.

Parsons, J., & Saunders, C. (2004). Cognitive heuristics in software engineering applying and extending anchoring and adjustment to artifact reuse. Software Engineering, IEEE Transactions on, 30(12), 873-888.

Powell, T. C., Lovallo, D., & Fox, C. R. (2011). Behavioral strategy. Strategic Management Journal, 32(13), 1369-1386.

Prabhakar, & Guru Prakash. (2009). Projects and their management: A literature review. International Journal of Business and Management, 3(8), p3.

Puri, M., & Robinson, D. T. (2006). Who are entrepreneurs and why do they behave that way? Paper presented at the Manuscript submitted for publication. Retrieved from http://www. lse. ac. uk/fmg/documents/events/conferences/2006/comparativeAdvantage/751_Puri_Manju. pdf.

Purvis, R. L., McCray, G. E., & Roberts, T. L. (2004). Heuristics and Biases in Information Systems Project Management. Engineering Management Journal, 16(2), 19.

Ritchie, B., & Brindley, C. (2005). ICT adoption by SMEs: implications for relationships and management. New Technology, Work and Employment, 20(3), 205-217.

Roeser, S. (2010). Intuitions, emotions and gut reactions in decisions about risks: towards a different interpretation of 'neuroethics'. Journal of Risk Research, 13(2), 175-190.

Royer, I. (2003). Why bad projects are so hard to kill. Harvard Business Review, 81, 48-48. Rutten, W., Martin, H., & Janssens, G. (2014). Responding to human biases in project control. Samset, K., & Williams, T. (2010). Issues in front-end decision making on projects. Project

Management Journal, 41(2), 38-49. Saunders, M., Lewis, P., & Thornhill, A. (2012). Research methods for business students.

Harlow, England; New York: Pearson.Scheier, M. F., & Carver, C. S. (1985). Optimism, coping, and health: assessment and

implications of generalized outcome expectancies. Health psychology, 4(3), 219. Scheier, M. F., Carver, C. S., & Bridges, M. W. (1994). Distinguishing optimism from

neuroticism (and trait anxiety, self-mastery, and self-esteem): a reevaluation of the Life Orientation Test. J Pers Soc Psychol, 67(6), 1063.

Shore, B. (2008). Systematic biases and culture in project failures. Project Management Journal, 39(4), 5-16.

Somers, T. M., & Nelson, K. G. (2004). A taxonomy of players and activities across the ERP project life cycle. Information & Management, 41(3), 257-278.

Standish Group, T. (2009). Extreme Chaos. tech. report. Standish Group International. Stanovich, K. E., & West, R. F. (1999). Discrepancies Between Normative and Descriptive

Models of Decision Making and the Understanding/Acceptance Principle. Cognitive psychology, 38(3), 349-385.

Staw, B. M. (1987). Knowing when to pull the plug. Harvard Business Review, 65, 68. Swanborn, P. (1996). A common base for quality control criteria in quantitative and

qualitative research. Quality and Quantity, 30(1), 19-35. doi: 10.1007/BF00139833

http://www/

46


Tiwana, A. (2010). Systems development ambidexterity: Explaining the complementary and substitutive roles of formal and informal controls. Journal of Management Information Systems, 27(2), 87-126.

Turner, J. R. (2008). The Handbook of Project-based Management: Leading Strategic Change in Organizations: McGraw-Hill Education.

Tversky, A., & Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124-1131.

Van Aken, T. G. C. (1996). De weg naar projectsucces : eerder via werkstijl dan via instrumenten. Utrecht: Lemma.

Vaughan, W. F. (1939). General Psychology: Odyssey Press.Verschuren, P., & Doorewaard, H. (2000). Het ontwerpen van een onderzoek: Boom

Uitgevers Amsterdam.Verschuren, P., & Doorewaard, H. (2002). Het ontwerpen van een onderzoek: Lemma.Virine, L., & Trumper, M. (2007). Project Decisions: The Art and Science: Management

Concepts.Wallace, L., Keil, M., & Rai, A. (2004). Understanding software project risk: a cluster analysis.

Information & Management, 42(1), 115-125. Walters, B. G., van Griensven, L. J. A. M., & van Rosmalen, G. (1999). Management van

projectmanagement: het managen van multiprojecten en programma's: Elsevier.Weinstein, N. D. (1980). Unrealistic optimism about future life events. J Pers Soc Psychol,

39(5), 806. Yin, R. K. (1994). Case Study Research: Design and Methods: SAGE Publications.

47


Bijlage 1Verantwoording zoekstrategieEr zijn in de wetenschappelijke literatuur honderden zoniet duizenden boeken, artikelen, studies over de begrippen projecten en projectmanagement te vinden. Het is wenselijk om de meeste recente literatuur te bestuderen, in plaatst van het terugvallen op klassieke stukken en daarom is in eerste instantie gezocht naar wetenschappelijke literatuur van na 2010. Er is hierbij gezocht naar Engelse en Nederlandse wetenschappelijke publicaties. Door publicaties waar andere onderzoekers naar verwezen te gebruiken voor dit onderzoek is het tijdsinterval ruimer geworden. Gezien het complexe karakter van projectmanagement is binnen de wettenschappelijke literatuur gezocht naar diverse disciplines zoals Management, Business, Human resource, Computer sciences, Information management, Risk management en Psychological. Zie figuur 1 alle gevonden bronnen en tevens de daadwerkelijk gebruikte bronnen inclusief tijdsinterval.

Tijdsinterval BookJournal Article Thesis Rijlabels Book

Journal Article Thesis

1900-1950 1 1900-1950 11970-1980 2 1970-1980 11990-2000 4 4 1 1990-2000 4 2 12000-2010 5 32 2000-2010 5 242010-heden 3 21 2 2010-heden 3 19 1Eindtotaal 13 59 3 Eindtotaal 13 46 2

Figuur 10a: Alle gevonden bronnen Figuur 10b: Daadwerkelijk gebruikte bronnen

In dit onderzoek is gestart met het zoeken in de tertiaire bronnen (databronnen). Via de digitale bibliotheek van de Open universiteit zijn er diverse tertiaire databronnen beschikbaar. De voor dit onderzoek gebruikte databronnen staan in figuur 2 vermeld, ook hier weer een verschil in alle geraadpleegde databronnen en de voor deze literatuurstudie gebruikte databronnen.

Database Aantal Database AantalBusiness Source Premier (through Ebsco Host) 19

Business Source Premier (through Ebsco Host) 14

DOAJ (open access) 3 DOAJ (open access) 3Emerald insight 3 Emerald insight 2IEEE Computer Society 1 IEEE Computer Society 1IJCST 2 IJCST 1

JSTOR Business Collection 2 JSTOR Business Collection 2PsycARTICLES 2 PsycARTICLES 1Science direct (Elsevier) 18 Science direct (Elsevier) 13Taylor & Francis online 3 Taylor & Francis online 3Via OU 1 Via OU 1Wiley Online Library 2014 4 Wiley Online Library 2014 4ACM Digital library 1 ACM Digital library 1Eindtotaal 59 Eindtotaal 46

Figuur 6a Geraadpleegde databronnen Figuur 2b: Daadwerkelijke gebruikte databronnenTijdens het bestuderen van de wetenschappelijke literatuur werd naar bepaalde boeken verwezen. Deze secundaire bronnen (wetenschappelijke tijdschriften en boeken) zijn online

48


bestudeerd via google books9. Wanneer google books geen resultaat opgaf, is er via een zoekopdracht op het net gezocht. Zie Bijlage 2 Verantwoording Literatuuronderzoek (figuur 6) de boeken die zijn geraadpleegd voor deze literatuurstudie.

Met de in Bijlage 2 Verantwoording Literatuuronderzoek (figuur 7) gebruikte zoektermen zijn uiteindelijk de eerste 20 artikelen geselecteerd en samengevat in een Word-file. Deze samenvatting bestond uit de beantwoording van de volgende vragen: Waarom lees ik dit artikel? Wat probeert de auteur te zeggen? Wat zegt de auteur dat relevant is voor wat ik wil uitzoeken? Hoe overtuigend is het betoog? Kan ik met deze tekst een deelvraag beantwoorden?

Na bestudering en samenvatting van deze 20 artikelen is een poging gedaan om de opgestelde deelvragen te beantwoorden. De deelvragen konden hiermee nog niet voldoende worden beantwoord, waardoor er verder gezocht moest worden naar relevante wetenschappelijke literatuur. Van de 20 artikelen zijn er 13 gebruikt in deze literatuurstudie. De artikelen van Flyvbjerg (2006) en van Cunha et al. (2014) bleken waardevolle verwijzingen te bevatten, waarmee de sneeuwbalmethode dan ook werd gestart. Uiteindelijk zijn er nog eens 33 nieuwe artikelen geselecteerd. Met een totaal van 45 artikelen konden alle deelvragen worden beantwoord. Bijlage 3 Verantwoording bron per deelvraag staan de gebruikte bronnen per deelvraag genoteerd.

In het programma Endnote zijn de gegevens van de gevonden publicaties vastgelegd. Dit programma is aangeschaft via de OU en zorgt ervoor dat via de juiste APA-richtlijnen deze referenties in het onderzoeksverslag komen.

9 https://books.google.nl/

https://books.google.nl/

49


Bijlage 2Verantwoording Literatuuronderzoek

Figuur 6 Geraadpleegde boeken

Zoektermen Gevonden artikelen((biases AND Heuristics)) AND project 3((cognitive biases)) AND project management 1(complex project) AND (biases) AND (project management) 1(Decision making) AND (Bias) AND (Business failures) 1(Decision making) AND (Bias) AND (Strategic planning) 1(Delusion and deception) AND (Project management) AND (Large projects) 2(dual-process theory) AND (biases) AND (system 1) 1(project control) AND (biases) 2(project control) AND (biases) AND (project management) 1(project control) AND (DECISION making) AND (CRITICAL thinking) AND (BOUNDED rationality) 1(Project management) AND (Bias) AND (Failures) 1(project management) AND (DECISION making) AND (CRITICAL thinking) AND (BOUNDED rationality) AND (biases) 1(project management) AND (failure) AND (escalation traps) 1(systematic biases) AND (project failures) AND (project management) AND (complex) 1Author:"Gordon E McCray" 1Author:"Kahneman, Daniel" 1

Totaal 20

Figuur 7 Gebruikte zoektermen literatuuronderzoek

50


Bijlage 3Verantwoording bron per deelvraag

Figuur 8 Verantwoording bron per deelvraag

51


Bijlage 4Veel voorkomende biases in vijf typologieën ingedeeld

Figuur 9 Overgenomen van http://www.mckinsey.com/insights/strategy/the_case_for_behavioral_strategy

http://www.mckinsey.com/insights/strategy/the_case_for_behavioral_strategy

52


Bijlage 5Verantwoording indeling biases in typologieën1. Actiegerichte bias: Waardoor we te snel actie ondernemen zonder eerst grondig na

te denken ( Lovallo & Sibony, 2010 ) . Flyvbjerg (2006) stelt, dat bij een optimism bias mensen geneigd zijn vooral de positieve kant van de toekomst te zien. Dit gaat veelal onbewust/intuïtief en komt vaak aan het begin van het planproces voor. Systeem 1 denken, kenmerkt zich door deze onbewuste, snelle en intuïtieve werking. Door deze snelle oplossing slagen we er niet altijd in de beste optie te kiezen (Kahneman, 2003a; Kahneman et al., 2011; Roeser, 2010). Grondig nadenken is systeem 2 en deze kan de conclusies van systeem 1 betwijfelen, falsificeren en bijsturen maar veelal zijn we niet alert genoeg, omdat de beslissingen vanuit intuïtie als ‘waar’ worden aangevoeld (Evans, 2010a). Hierdoor kan optimism bias onder het type actiegerichte bias geplaatst worden.

2. Aandachts-bias: Waardoor we geneigd zijn een voorkeur te hebben voor eigen interesses ( Lovallo & Sibony, 2010 ) .

Strategic misrepresentation komt volgens Flyvbjerg (2006), doordat de werkelijkheid bewust (eigen voorkeur) anders wordt voorgesteld. Hierdoor wordt strategic misrepresentation onder het type aandachts-bias geplaatst.

Eveleens en Verhoef (2009) stellen, dat schatters bewust besluiten om uitkomsten positiever in te schatten of besluiten de negatieve kant te verzwijgen. Doordat besluiten op basis van eigen voorkeuren worden beïnvloed, valt een political bias onder het type aandachts-bias.

3. Herkennings-bias: Waarbij we veelal denken zaken of procedures te herkennen, zelfs als er geen gelijkenis is ( Lovallo & Sibony, 2010 ) .

Niets gevonden

4. Stabiliteits-bias: Waarbij we eerder stil blijven staan en niet handelen als er onzekerheid is ( Lovallo & Sibony, 2010 ) .

Shore (2008) beschrijft, dat ondanks men wist dat het project niet goed ging, men niet bereid was de strategie te veranderen. Hierdoor kan conservatisme onder het type stabiliteits-bias vallen, want men had de neiging om alles bij het oude te laten en niet door te gaan.

Shore (2008) geeft aan, dat er aanzienlijke investeringen waren gedaan die terugverdiend moesten worden en er de neiging was om veel te verkopen i.p.v. deze defecte eenheden te vervangen en/of te verbeteren. Hier was dus sprake van Sunk-cost (Shore,2008). Men bleef onredelijk lang vasthouden aan het doorgaan met verkopen, ondanks dat men wist dat er problemen met het product waren, waardoor Sunk-cost onder het type stabiliteits-bias valt.

53


5. Sociale bias: Waardoor we eerder geneigd zijn in harmonie te leven en dus conflicten te vermijden. Hierdoor ontstaat ook het groepsdenken effect ( Lovallo & Sibony, 2010 ) .

Shore (2008) gaf aan dat tijdens het project sprake was van groupthink bias. Deze bias valt volgens Lovallo & Sibony (2010) onder het type sociale bias.

54


Bijlage 6Shore`s systematic biases founded in the decision literature.

55


Figuur 10 Overgenomen uit Shore (2008)

Bijlage 7Cognitieve biases selected to be evaluated

56


Figuur 11 Overgenomen uit (Cunha et al., 2014)

57


Bijlage 8Voorwaarden van de case & schattersOm een antwoord te kunnen geven op de hoofdvraag moet een case voldoen aan een aantal voorwaarden:

Het ICT-traject moet in de afgelopen 5 jaar zijn uitgevoerd, dit vanwege het gevaar dat betrokken (projectleiders + schatters) uit dienst zijn of de ervaringen en herinneringen niet meer kunnen terughalen.

Het ICT-Traject moet afgerond zijn, zodat informatie (secondaire gegevens) beschikbaar is en bestudeerd kan worden.

De forecast van het ICT-traject moet aanwezig zijn, zodat informatie hieruit onttrokken kan worden.

Toegang tot projectdocumentatie, dit om analyse van de informatie mogelijk te maken.

De organisatie moet tijd beschikbaar hebben om mee te werken aan dit onderzoek, want zonder medewerking is het praktisch onderzoek niet uitvoerbaar.

Er worden cases geselecteerd die zoveel mogelijk op elkaar lijken qua omvang op het gebied van de scope, doorlooptijd en kosten (m.b.t het ERP-project), dit om variantie tussen de casussen te minimaliseren en de generaliseerbaarheid te verbeteren.

Bij elke case moet 1 projectleider aanwezig zijn, dit om variatie tussen de casussen te minimaliseren en de generaliseerbaarheid te verbeteren.

De cases komen uit dezelfde branche, dit om variatie tussen de casussen te minimaliseren en de generaliseerbaarheid te verbeteren.

Vergelijkbaar qua grootte projectgroep, dit om variatie tussen de casussen te minimaliseren en de generaliseerbaarheid te verbeteren.

Casestudie moet bij meerdere organisaties kunnen worden uitgevoerd, zodat literal replication kan worden toegepast.

Er worden de volgende eisen aan deze schatters gesteld: De schatter moet minimaal 5 jaar ervaring hebben met het inschatten van een ERP-

forecast. Een eventuele onnauwkeurigheid (bij het opstellen van een forecast) door onervarenheid wordt hiermee verkleind.

De schatter moet minimaal 5 jaar in dienst zijn bij de firma. Hierdoor zal de schatter meer kennis hebben over de prestaties van de eigen resources wat een nauwkeurige inschatting mogelijk zou moeten maken.

De schatter moet bij het opstellen van de forecast (van de gekozen cases) betrokken zijn geweest waardoor hij als respondent in het onderzoek kan worden toegepast.

Bij het interviewen van de schatters moet voorzichtigheid worden geboden, want deze informatie kan gevoelig liggen. Hier moet mogelijk een voorbehoud worden gemaakt bij interpretaties van de verkregen resultaten.

58


Extra informatie schatters:De eerste twee respondenten zijn beide operations managers bij de implementatiepartner en verantwoordelijk voor de uitvoering van projecten (Microsoft Dynamics AX ERP-implementaties) binnen de afdeling operations en geven ondersteuning aan sales managers in verkooptrajecten. Vroeg in het commerciële traject haken zij in, om samen met de prospect, de juiste randvoorwaarden voor een succesvol project vorm te geven. Hierbij komen zaken als scope, fasering, planning, projectorganisatie en werkverdeling aan bod. Op basis van het resultaat wordt er een forecast (projectcalculatie) opgesteld. Respondent 1 is 17 jaar werkzaam binnen de ICT branche, waarvan ruim 15 jaar bij de implementatie partner. De laatste 5 jaar heeft hij zich bezig gehouden met het opstellen van ERP forecasts. Respondent 2 is ruim 8 jaar actief in de ICT branche en tevens bij de implementatiepartner in de functie logistiek consultant en projectleider. Hij is doorgegroeid tot operations manager en houdt zich zoals hierboven beschreven de laatste 5 jaar bezig met het opstellen van forecasts.

Respondent 3 is ruim 20 jaar actief in de ICT branche. Hij heeft diverse functies bekleed en is ruim 10 jaar directeur operations en daarmee eindverantwoordelijke. Hij heeft meer dan tien jaar ervaring in het opstellen van projectcalculaties en valideert veelal de forecast van de operations managers. Hieronder in figuur 6 een overzicht van degene, die een rol hebben gespeeld bij het opstellen van forecast.

59


Bijlage 9: De gekozen casesCasus 1:Is een internationale handelsorganisatie die zich toelegt op de levering van buizen, fittingen & flenzen, afsluiters en stafstaal en dit combineert met alle daar aan gelieerde diensten zoals turn-key of projectmanagement en consultancy.

Als gecertificeerd toeleverancier levert dit bedrijf aan de chemische- en petrochemische industrie, offshore industries, power generation, petrochemical, pipeline construction, engineers & contractors, vessel Building en process Control.

Ze biedt services als stock Distribution, pipe processing, machining, testing & certification, engineering, warehousing, materials management en brengt daarmee oplossingen als:

kostenbesparing door reduced downtime, worldwide fulfilment vanuit kennis en flexibiliteit, snelle en betrouwbare leveringen vanuit voorraad.

Met de in-house machinefabriek kan er ingespeeld worden op alle mogelijke tailormade wensen van de klant. Er werken 210 mensen vanuit Nederland, België, Oostenrijk, Frankrijk, Duitsland, Singapore, Spanje en Engeland.

Casus 2:Ze verzorgt sinds 1972 geïntegreerde projecten logistieke diensten voor de internationale scheepsbouw industrie. Met een team van meer dan 150 werknemers werkt dit bedrijf Groningen en Bremen.

Ze produceert bouwpakketten voor scheepsbouw, megajachten, marineschepen, gevelbouw en kunstwerken. Deze bouwpakketten bestaan uit duizenden gesneden, gemarkeerde en eventueel vervormde stukken staal en aluminum plaat en profiel. Scheepswerven, engineers, architecten en kunstenaars van over de hele wereld komen naar dit bedrijf voor het bouwpakket en de project ondersteuning.

De volledige toewijding en een filosofie, waarin de oplossing centraal staat, hebben een belangrijke rol gespeeld in hun succes.

60


Bijlage 10 Betrouwbaarheid en validiteit check vragenlijst ShefrinEmail naar Shefrin:

Antwoord van Shefrin:

61


Controle vraag aan Shefrin en antwoord

62


Bijlage 11 Uitwerking analyse secundaire bronnenAllereerst zal aan de implematiepartner gevraagd worden de toegepaste bronnen beschikbaar te stellen voor de onderzoeker. Via een VPN verbinding zullen de bronnen beschikbaar worden gesteld, zodat de onderzoeker op afstand deze gegevens kan benaderen en bestuderen. Onderzoeker zal vervolgens de hieronder opgestelde matrix gaan invullen.

Waar is naar gezocht? Toegepaste bronnen Groepering Gevonden in Case A (Ja/Nee)

Resultaat case DylanGroup Gevonden in Case B (Ja/Nee)

Resultaat case Centraalstaal

Achterhalen orginele inschatting grootte van de gaps (groot, middel, klein)

Afgegeven forecast A/B vergelijk gevaren driehoek

Ja 54 maatwerkpunten in totaal 3050 uren begroot.K:(tot 5 dagen)=22M:(5-10)=21G:(groter dan 10)=11

JA 20 maatwerkpunten 130 dagen begroot 1040 uren begroot. K:(tot 5 dagen)=13M:(5-10)=4G:(groter dan 10)=3

Achterhalen hoeveelheid uren maatwerk Afgegeven forecast A/B vergelijk gevaren driehoek

Ja 260 dagen maatwerk origineel afgegeven en na 100 dagen analyse werd het al gauw 381 dagen maatwerk.

JA Totaal €130.500 aan maatwerk.

Achterhalen kosten project Afgegeven forecast A/B vergelijk gevaren driehoek

Ja Totaal implementatie 608 dagen maatwerk exclusief 122 dagen aan maatwerk. €701.000,-

Na analysefase (vooronderzoek) totaal implementatie 714 dagen exclusief maatwerk en maatwerk werd op 260 dagen geschat. €940.000,--

JA Totale implementatie 196 dagen exclusief 130,5 dagen aan meerwerk. Maatwerk is pas ingeschat na de analysefase van 55 dagen

Analyse fase €53.900, - vervolg implementatie zonder nazorg €138.180 (totaal €192.080)

Zijn er bepaalde voorbehouden gemaakt (te denken valt aan een juridisch contract?)

Afgegeven forecast Invloeden Nee Nee Nee

Is er een grondige vooranalyse gedaan? Benchmark, analyse etc?

Afgegeven forecast Zorgvuldigheid Ja Vooronderzoek van 50 dagen €48.000,--

Ja Analyse Fase van 55 dagen € 53.900,--

Hadden de forecast opstellers ervaring? Afgegeven forecast Expertise Ja Ja. De eerste forecast is gemaakt door Respondent 3 en daarna is hij afgemaakt door respondent 1.

Ja Respondent 3 heeft de forecast gemaakt en had toen (2009) nog niet zoveel ervaring maar heeft het wel laten controleren door 2 andere bij

63


Implementatiepartner. Achterhalen eventuele mismatchen tussen afgegeven forecast en gap-fit lijst.

Gap-fit lijst Zorgvuldigheid Ja In de orginele forecast komen niet heel duidelijk de gaps naar voren. Dit komt pas duidelijk naar voren in de gerealiseerde budgetsheet

Ja Duidelijk is dat er meer uren zijn besteedt door langere doorlooptijd wegens het door de klant niet gereed krijgen van zijn deel van de interface met BRAVO (zie rode getallen)

Achterhalen orginele inschatting grootte van de gaps (groot, middel, klein)

Gerealiseerde budget sheet

A/B vergelijk gevaren driehoek

Ja Budget 10 grote gapsgerealiseerd 17 gaps groot. Budget 16 kleinegerealiseerd 16 gaps klein. Budget 12 middels gapsgerealiseerd 5 gaps middel.

Ja Budget:K:(tot 5 dagen)=13M:(5-10)=4G:(groter dan 10)=3

Gerealiseerd:K:(tot 5 dagen)=11M:(5-10)=5G:(groter dan 10)=3

Achterhalen hoeveelheid uren maatwerk Gerealiseerde budget sheet


Ja Totaal 3050 uren budget gaps gerealiseerd 3643. Dat zijn 638 uren meer.

Ja Orgineel 1044 uur meerwerk begroot en is uiteindelijk 1455 uur geworden. Dat is 411,5 uren meer 51,5 dagen uitloop

Achterhalen kosten project Gerealiseerde budget sheet


Ja Door meer maatwerk en dat de ontwikkelfase is verlengt is de forecast een paar x aangepast.

Orspronkelijk budget 260 dagen geschat. €940.000,-- Dit is aangepast naar €1.256.880,-- door meer maatwerk en verlenging ontwikkelfase. Uiteindelijk is daarvan €1.328.190,-- gerealiseerd.

Ja Vooraf €227.360 standaard AX implementatie en uiteindelijk gerealiseerd €295.655; Maatwerk vooraf €151.380.-- uiteindelijk gerealiseerd €210.975--

Zijn er bepaalde voorbehouden gemaakt (te denken valt aan een juridisch contract?)


Invloeden Nee Nee Nee

Andere opvallende zaken? Nog extra maatwerk?


Invloeden Ja Andere bemensing en meer overleg met externe hebben er voor gezorgd dat de forecast een paar x is aangepast. De uitloop is allemaal voornamelijk te wijten aan het feit dat AX Dynamics niet aansloot op de businessprocess zoals ze vooraf hadden gedacht. Hierdoor hebben veel meer maatwerk (moeten) laten bouwen.

Ja -zijn per januari 2010 live gegaan, oorspronkelijk dacht ik begin oktober/begin november 2009. - Nazorg was niet meegenomen in het contract- Meerwerk was niet meegenomen in het contract (wel stelpost benoemt voor interface 10 – 15 dagen)-meer uren zijn besteedt door langere doorlooptijd wegens het door de klant

64


niet gereed krijgen van zijn deel van de interface met BRAVO (zie rode getallen)

Achterhalen of de scope, kosten of doorlooptijd zijn gelimiteerd.

Jurdisch contract Invloeden Nee Nee

Zijn er bepaalde voorbehouden gemaakt die invloed hebben gehad op de afgegeven forecast?

Jurdisch contract Invloeden Nee Nee

Wie heeft het jurdisch contract opgesteld? Jurdisch contract Expertise Nee Nee

Worden in het projectplan andere projectleden en/of consultants genoemd, dan daarwerklijk toegepast?

Projectplan Invloeden JA Nee

Zijn er bepaalde wijzigingen in het RACI- overzicht die uitloop (gevaren driehoek) hebben kunnen veroorzaakt?

Projectplan Invloeden JA Nee

Na achterhalen van de gegevens kan een eerste groepering worden toegepast: A/B vergelijk gevaren driehoek (scope, tijd en kosten)= Is het resultaat tussen de afgegeven forecast en het uiteindelijke gerealiseerde. Expertise: De mate waarin een schatter of projectleider als deskundig persoon kan worden aangeduid. Zorgvuldigheid: Hoe is omgegaan met de informatie. Te denken valt aan netheid, controle, inschatten risico`s en de focus. Invloeden: Bepaalde factoren, die invloed kunnen hebben gehad op de forecast.

65


Forecast (Budget) Gerealiseerd Forecast (Budget) Gerealiseerd

38 maatwerkpunten: 38 maatwerkpunten: 20 maatwerkpunten: 19 maatwerkpunten:

K:(tot 5 dagen)= 16 K:(tot 5 dagen)= 16 K:(tot 5 dagen)=13 K:(tot 5 dagen)= 11

M:(5-10)=12 M:(5-10)=5 M:(5-10)=4 M:(5-10)= 5

G:(groter dan 10)=10 G:(groter dan 10)=17 G:(groter dan 10)=3 G:(groter dan 10)= 3

Totaal implementatie incl maatwerk €1.466.360,--

Totaal implementatie incl maatwerk €1.549.555,--

Totaal implementatie incl maatwerk €347.460,--

Totaal implementatie incl maatwerk €506.630,--

Kosten maatwerk: €427,000,--

Kosten maatwerk: €510.000,--



Resultaat case CentraalstaalResultaat case DylanGroup

1383 dagen incl maatwerk.

1309 dagen incl maatwerk. Eerste afgifte forecast 974 dagen incl maatwerk

GAPS: (groot, middel, klein)

Doorlooptijd 326 dagen incl . maatwerk.

Kosten project

437 dagen incl . maatwerk.

Figuur 7 Forecast versus gerealiseerd

66


Bijlage 12 Question about the effect of optimism bias (Flyvbjerg)Dear Professor Flyvbjerg I am a student (Msc) of the Open University (the netherlands) and I want to ask you a question for my research.

Summary:Anderson (2010) shows that there is much research about failing projects. Despite this increasing amount of knowledge it is not getting any better (Flyvbjerg, Garbuio, & Lovallo, 2009). Many of the theories about projectmanagement have confidence in the instrumental rationality. In reality, however, people seem not so rational and consistent in making decisions and rules. Forecasts of cost, demand, and other impacts of planned projects have remained constantly and remarkably inaccurate for decades. No improvement in forecasting accuracy seems to have taken place, despite all claims of improved forecasting models, better data, etc. (Flyvbjerg, Bruzelius, and Rothengatter 2003; Flyvbjerg, Holm, and Buhl 2002, 2005).

My literature review shows that three biases can effect an ICT forecast negatively:• Optimism • Strategic misrepresentation • Political bias

My empirical research will aim to determine whether the estimators (of these ERP forecasts) had optimism and what has been the effect on ERP projects (effect oncost, time and scope). This empirically study consists of two parts. I want to ask you about the second part of my research, but to be complete herewith the first part: Goal (Part one): Measuring optimism bias at the estimators of the ERP projects (regarding the forecast). My Research questions:

1. Who were the estimators of the ERP projects?2. To what extent was there Optimism by these estimators?

To answer the second question I`m using the questionnaire Shefrin (2007). I wrote to Shefrin and he said “It is a valid instrument to measure optimism bias in general”. This contributes the validity and reliability of my research. I suspect that the estimators will suffer from optimism and then if so, I will try to find answers to the following questions (part two).

Goal (Part two): Understand the effects of optimism (in the estimation of the forecast) in the course of already implemented IT projects. Being able to understand and ultimately control this systematic bias may be an important key to achieving a successful project.My Research questions:

3. What were the estimates of ERP projects on criteria of cost, time and functionality.

67


4. What was the ultimate realization of ERP projects on criteria of cost, time and functionality?

5. If there is Optimism (Bias) in people drafting ERP forecasts , what was the effect of this bias on the progress of ERP projects (regarding cost, time and scope)

For answering questions 3 and 4 …I will study the original project plans and the forecasts, then I have to question the customer (projectleaders) and examine what actually has been achieved (using budgetsheet and projectroadmap).

To answer Question 5, I will interview (semi-structured) the estimators (of the forecast) and the project managers (where to project has been implemented).

You are a specialist in Forecast so I hope you can give me a direction and maybe help me: Are there questionnaires or reported interviews that I can use as a starting point for

my own interviews (to discover what the effects have been on time, costs and scope)?

What do you think the best approach would be? Normal or semi-structured interview?

With kind regards,

Jos van Capelleveen

68


Bijlage 13 Interview projectleiders verwerkingslijstDatum:Plaats:Respondent: Case:

6 Algemene vragen Doel: Met deze vragen probeert de onderzoeker inzicht te krijgen in de ervaring van de respondent.

6.1Wat is uw leeftijd? Hoeveel jaar werkervaring heeft u? wat is uw normale functie? Wat is uw rol in het project?

6.2 Hoelang bent u werkzaam bij uw werkgever en heeft u ervaring met projectleiding?

7 Ontvangen definitieve forecastDoel: Met deze vragen probeert de onderzoeker inzicht te krijgen hoe de forecast bij de projectleiding werd ontvangen en/of daar op voorhand op- of aanmerkingen op waren.

7.1In hoeverre vond u de afgegeven forecast goed ingeschat? Graag toelichten

7.2Is er door de leverancier een vooronderzoek gedaan ? Zo ja, Graag toelichten hoe dit proces is verlopen

7.3Welke factoren kunnen volgens u van invloed zijn geweest op de uiteindelijke forecast.

69


Graag toelichten hoe dit proces is verlopen.

(Zie geheugensteun hieronder..eventueel respondent meehelpen) Het juridisch contract De commerciële onderhandelingen Gebrek aan kennis/vaardigheden? Gebrek aan kennis van de activiteiten van het bedrijf? Onzorgvuldigheid? Externe invloeden?

8 Detailvragen forecast versus uiteindelijke realisatie Doel: Met deze vragen probeert de onderzoeker inzicht te krijgen in het proces van afgeven forecast versus uiteindelijke realisatie.

8.1Geef een inschatting over afwijking van de afgegeven forecast t.o.v. de realisatie?

Onnauwkeurig Meer dan 50% afwijking t.o.v. de realisatie! Graag toelichten Nauwkeurig Tussen de 20-50% afwijking t.o.v. de realisatie! Graag toelichten Precies? Minder dan 20% afwijking t.o.v. de realisatie! Graag toelichten

8.2Als de realisatie is afgeweken van de forecast, waar schrijft U de afwijkingen dan aan toe? Graag toelichten.

8.3Hoe waren de projectrisico’s door de leverancier gekwantificeerd?

Slecht……………….graag toelichten. Matig ……………….graag toelichten. Gemiddeld………. graag toelichten. Goed ………………. graag toelichten.

8.4Hoe beoordeelt u de kwaliteit van het vooronderzoek door de leverancier? En waarom?

Slecht……………….graag toelichten. Matig ……………….graag toelichten.

70


Gemiddeld……… graag toelichten. Goed ………………. graag toelichten.

71


Bijlage 14 Interview schatters verwerkingslijstDatum:Plaats:Respondent: Casus:

1 Algemene vragen Doel: Met deze vragen probeert de onderzoeker inzicht te krijgen in de ervaring van de respondent.

1.1Hoelang bent u werkzaam in deze ICT branche?

1.2 Hoelang bent u werkzaam bij dit bedrijf en hoe lang in deze functie?

1.3 Voor welk ERP-pakket is de forecast opgesteld?

Betreft dit standaard software of een branche pakket? Maakt dit pakket gebruik van toevoegingen (zogeheten Axtension?)

1.4In hoeverre bent u bekend met dit pakket?

Junior…………….........graag toelichten Advanced………………graag toelichten Senior……………………graag toelichten

1.5Hoeveel ervaring heeft u op het gebied van opstellen van forecast t.b.v. ERP-implementaties?

Minder dan 1 jaar ..graag toelichten 1-5 jaar ..graag toelichten 5-10 jaar ..graag toelichten

72


Langer dan 10 jaar ..graag toelichtenMogelijk vragen naar de track record van voorgaande projecten? In hoeverre waren de forecasts daar achteraf betrouwbaar?

2 Detailvragen over het opstellen van de forecast (mbt de scope)Doel: Met deze vragen probeert de onderzoeker inzicht te krijgen in het proces bij het opstellen van de forecast gericht op de scope.

2.1

Welke stappen werden er genomen alvorens er aan het proces van scopebepaling kon worden genomen? Graag toelichten

2.2Hoe verliep het proces van de scopebepaling? Doorvragen:

Hoe is dat proces verlopen (Wordt hier op basis van ervaring een inschatting gemaakt?)

Is deze scope gecontroleerd? Nee? Ga verder met volgende vraag.*Door Wie?*Hoeveel jaar ervaring?*In hoeverre heeft een onafhankelijke partij ernaar gekeken?

Is er een vergelijking gemaakt met eerder geïmplementeerde projecten?

2.3Als u het proces van scope bepalen zou moeten inschatten, hoeveel procent van de scope is puur op feiten gebaseerd (impliciet kan worden aangenomen dat de rest op basis van gevoel/ervaring heeft plaatsgevonden):• 0-25% procent op de feiten…. graag toelichten• 25-50% procent op de feiten… graag toelichten• 50%-75% procent op de feiten..graag toelichten• 75-100% procent op de feiten….graag toelichten• Anders…..graag toelichten

2.4

73


In hoeverre was er al sprake van een juridisch contract? Heeft dit invloed gehad op de scope? Zo ja graag toelichten hoe dit proces heeft verlopen

3 Detailvragen over het opstellen van de forecast (mbt de tijd)Doel: Met deze vragen probeert de onderzoeker inzicht te krijgen in het proces bij het opstellen van de forecast gericht op de tijd/planning

3.1Hoe verliep het proces van opstellen planning (inschatting tijden)? Doorvragen:


Is deze inschatting qua tijd gecontroleerd? Nee? Ga verder met volgende vraag.*Door Wie?*Hoeveel jaar ervaring?*In hoeverre heeft een onafhankelijke partij ernaar gekeken?


3.2Als u het proces van inschatten van de tijden zou moeten beschrijven, hoeveel procent van hiervan is puur op feiten gebaseerd (impliciet kan worden aangenomen dat de rest op basis van gevoel/ervaring heeft plaatsgevonden):• 0-25% procent op de feiten…. graag toelichten• 25-50% procent op de feiten… graag toelichten• 50%-75% procent op de feiten..graag toelichten• 75-100% procent op de feiten….graag toelichten• Anders…..graag toelichten

3.3In hoeverre heeft een juridisch contract invloed gehad op de bepaling en vaststelling van de planning (inschatting tijden)?• Zo ja graag toelichten hoe dit proces heeft verlopen

74


4 Detailvragen over het opstellen van de forecast (mbt de kosten)Doel: Met deze vragen probeert de onderzoeker inzicht te krijgen in het proces bij het opstellen van de forecast gericht op de kosten.

4.1Hoe verliep het proces van inschatting kosten? Doorvragen:


Is het nog een keer gecontroleerd door iemand anders? Nee? Ga verder met volgende vraag.*Door Wie?*Hoeveel jaar ervaring?*In hoeverre heeft een onafhankelijke partij ernaar gekeken?


4.2Als u het proces van inschatten van de kosten zou moeten beschrijven, hoeveel procent van hiervan is puur op feiten gebaseerd (impliciet kan worden aangenomen dat de rest op basis van gevoel/ervaring heeft plaatsgevonden):• 0-25% procent op de feiten…. graag toelichten• 25-50% procent op de feiten… graag toelichten• 50%-75% procent op de feiten..graag toelichten• 75-100% procent op de feiten….graag toelichten• Anders…..graag toelichten

4.3In hoeverre heeft een juridisch contract invloed gehad op de bepaling van de kosten?• Wat waren de reden hiervoor? Graag toelichten

5 Detailvragen opstellen forecast c.q. afgeven van de forecastDoel: Met deze vragen probeert de onderzoeker inzicht te krijgen hoe het proces tussen het opstellen van de forecast en het definitief vaststellen van de forecast heeft verlopen.

5.1In hoeverre vond u de afgegeven forecast goed ingeschat? Graag toelichten.(geheugensteuntjes..waren er onduidelijkheden, twijfels)

75


5.2Hoeveel keer is de forecast herzien (na eerste afgifte aan de klant) en wat waren de reden hiervoor? Graag toelichten.

5.3In hoeverre hebben commerciële onderhandelingen invloed uitgeoefend op de forecast?

Wat waren de reden hiervoor? Graag toelichten

5.4 (indien vraag 4.3 er sprake was van een juridisch contract dan deze vraag stellen)In hoeverre heeft het juridische contract invloed gehad bij het opstellen van de forecast en/of bij het wijzigen/aanpassen van de forecast? Graag toelichten?

5.5Hoe beoordeelt u de kwaliteit van de definitieve forecast? En waarom?

Matig……………….graag toelichten. Redelijk …………..graag toelichten. Gemiddeld……… graag toelichten. Goed ………………. graag toelichten.

76


Bijlage 15 Uitleg Shefrin Questionnaire De vragenlijst van Shefrin is een generieke tool voor het meten van optimism bij mensen. Hieronder in de gebruiksaanwijzing.

Er wordt een lijst weergegeven met 18 mogelijke gebeurtenissen die in het leven kunnen voorkomen:

1 U wordt ontslagen op uw werk2 Uw werk wordt gewaardeerd en beloond 3 U zit veel en krijgt last van trombose4 U wordt ouder dan 805 U krijgt een hartaanval6 U rent om een afspraak te halen, u valt en breekt een been.7 U wordt vermoord door iemand8 U komt gedurende 5 jaar geen enkele nacht in het ziekenhuis.9 U wordt slachtoffer van een vals contract

10 U verliest uw tanden door verval11 Uw succes wordt krantennieuws12 U heeft een constant gewicht gedurende 10 jaar13 Uw auto wordt gestolen14 U raakt gewond bij een auto ongeval15 Binnen 1 jaar verdient u meer dan 1 miljoen16 U krijgt kanker17 U wordt niet ziek gedurende de hele winter18 U concludeert dat u een verkeerde carrière heeft gekozen

Figuur 8 Overgenomen en vertaald uit Shefrin (2007)

Bij elke gebeurtenis gaat het om de vraag “Hoe schat u de kans in, dat elke van deze gebeurtenis u kan overkomen in vergelijking met andere mensen (uit dezelfde leeftijd, geslacht, beroep etc)”.

Er kan gekozen worden uit de volgende antwoorden:1 100% minder dan gemiddeld (geen kans) 8 10% meer dan gemiddeld2 80% minder dan gemiddeld 9 20% meer dan gemiddeld3 60% minder dan gemiddeld 10 40% meer dan gemiddeld4 40% minder dan gemiddeld 11 60% meer dan gemiddeld5 20% minder dan gemiddeld 12 80% meer dan gemiddeld6 10% minder dan gemiddeld 13 100% meer dan gemiddeld7 Gemiddeld 14 3x het gemiddelde

15 5x het gemiddeldeFiguur 9 Overgenomen en vertaald uit Shefrin (2007)

Het werkt alsvolgt: Gebeurtenis 1: Als de kans net zo groot is dat U ontslagen wordt als bij iemand anders uit de categorie dan geeft u dat aan met een 7.

77


Bijlage 16 Shefrin vragenlijst matrix (uitwerking)Nadat bij alle respondenten de vragen zijn afgenomen, zal de onderzoeker de hieronder zelf ontworpen matrix gaan invullen. De vragen zijn face tot face afgenomen en opgenomen. Deze onderzoeksgegevens (audio) zijn opvraagbaar voor collega onderzoekers.

De vragen zijn hierin opgesplitst in favoriete en niet favoriete vragen.

Resp 1 Resp 2 Resp 31 U wordt ontslagen op uw werk 5 1 13 U zit veel en krijgt last van trombose 7 7 75 U krijgt een hartaanval 10 7 76 U rent om een afspraak te halen, u valt en breekt een been. 4 5 47 U wordt vermoord door iemand 7 7 19 U wordt slachtoffer van een vals contract 10 4 3

10 U verliest uw tanden door verval 7 3 913 Uw auto wordt gestolen 5 7 1014 U raakt gewond bij een auto ongeval 9 10 916 U krijgt kanker 7 7 718 U concludeert dat u een verkeerde carrière heeft gekozen 7 4 2

7,1 5,6 5,5Resp 1 Resp 2 Resp 3

2 Uw werk wordt gewaardeerd en beloond 7 9 134 U wordt ouder dan 80 6 6 108 U komt gedurende 5 jaar geen enkele nacht in het ziekenhuis. 5 7 7

11 Uw succes wordt krantennieuws 7 7 312 U heeft een constant gewicht gedurende 10 jaar 11 6 1015 Binnen 1 jaar verdient u meer dan 1 miljoen 7 7 1417 U wordt niet ziek gedurende de hele winter 7 5 10

7,1 6,7 9,6Optimisme Nee Nee Ja

Niet

favo

riete

geb

eurt

eniss

enFa

vorie

te

gebe

urte

niss

en

Schatters

Per klasse groep kan nu een rekenkundig gemiddelde worden bepaald. Bij elke gebeurtenis ging het om de vraag “Hoe schat u de kans in, dat elke van deze gebeurtenis u kan overkomen in vergelijking met andere mensen (uit dezelfde leeftijd, geslacht, beroep etc)”.

Er kan gekozen worden uit de volgende antwoorden:1 100% minder dan gemiddeld (geen kans) 8 10% meer dan gemiddeld2 80% minder dan gemiddeld 9 20% meer dan gemiddeld3 60% minder dan gemiddeld 10 40% meer dan gemiddeld4 40% minder dan gemiddeld 11 60% meer dan gemiddeld5 20% minder dan gemiddeld 12 80% meer dan gemiddeld6 10% minder dan gemiddeld 13 100% meer dan gemiddeld7 Gemiddeld 14 3x het gemiddelde

15 5x het gemiddeldeFiguur 10 Overgenomen en vertaald uit Shefrin (2007)

Als de kans net zo groot is dat U ontslagen wordt als bij iemand anders uit de categorie dan dat werd dat aangegeven met een 7. Shefrin (2007) stelt, dat er bij een objectieve mening het gemiddelde (per groep) een zeven zou moeten zijn.

78


Uit zijn onderzoek blijkt echter, dat het gemiddelde van de niet favoriete gebeurtenissen vaker lager zijn dan zeven en dat de favoriete gebeurtenissen meer dan 7 zijn. Shefrin (2007) geeft hiermee een algemene conclusie, dat mensen neigen naar overoptimism.

79


Bijlage 17 Gecomprimeerde antwoorden verkregen uit interviewGecomprimeerde antwoorden zullen per respondent in de onderstaande matrix worden verwerkt. De bovenstaande vragen zijn door de onderzoeker gecategoriseerd:

Expertise: De mate waarin een schatter of projectleider als deskundig persoon kan worden aangeduid. Zorgvuldigheid: Hoe is omgegaan met de informatie. Te denken valt aan netheid, controle, inschatten risico`s, focus. Beleving: Wat was de beleving van de respondent (tevreden, ontevreden, positief, negatief) Invloeden: Bepaalde factoren die invloed kunnen hebben gehad op de forecast.

Case Vragen Resp 1 Resp 2 Resp 3 Categorie

Algemeen 1.1 Vanaf zijn studie. 17 jaar Vanaf 1994 ongeveer 20 jaar Sinds 2007 circa 8 jaar Expertise

Algemeen 1.2 Vorige werkgever software engineer 3,5 jaar (ook systeem beheer). Daarna bij Implementatiepartner eerst dezelfde rol en daarna doorgegroeid naar Projectleider (7 jaar) en nu operations manager (4 jaar).

2004 directeur operations 2007 logistiek consultant bij Implementatiepartner, toen projectleiding erbij gedaan en daarna doorgegroeid in de rol van operations manager

Expertise

Algemeen 1.3 Microsoft dynamics AX (met een aantal Axtensions). Geen andere partneroplossingen en maatwerk!

2 jaar geleden afgelopen… : Microsoft Dynamics AX (AX2009) + axtension : in 2010 live gegaan.

Expertise

Algemeen 1.4 Senior Senior Senior Expertise

80


Algemeen 1.5 De laatste 4 jaar. 10 forecasts per jaar en dat wordt wel minder nu 5 per jaar en meestal worden die 5 ook order. En als dat niet gebeurt dan gaat het project veelal niet door. Van die 5 vindt hij dat ze goed zijn ingeschat. Hij zegt.. project wordt soms wel duurder maar dat ligt niet aan hem. Te wijten aan allemaal randzaken (zoals uitbreiding scope waar hij geen invloed op had).

Nieuwe business een stukje functionele bewijslast wordt gegenereerd. Dat is al heel concreet en daar gaat hij mee werken. Aan het voortraject wordt veel tijd besteed. Is ook zijn anker punt.

Forecast ICT langer dan 10 jaar. Vroeger 10 per jaar nu 5 per jaar. Respondent 1 zijn calculaties zijn dichter bij de klant. Die van Respondent 3 15-20. Respondent 3 zei dat zijn calculaties vrijwel altijd goed zijn.

Heeft in zijn vorige functie al veel forecast gemaakt (was niet ERP gerelateerd). ERP forecast afgeven 5 jaar. Hij maakt er 15 per jaar 60% wordt order. Contractueel keurig binnen budget maar de klant beleving is niet hetzelfde.

Bemensing vindt hij moeilijk. Als je de key-users (projectleden) helemaal vrij zou maken dan is het al moeilijk. Houden mensen zich aan de gemaakte afspraken nee? Ook daadkrachtige leiders maakt het makkelijker. In het begin is het altijd we houden het bij de standaard maar al heel snel wordt het aangepast.

En als het echt wezenlijk is dan verdient het zich wel terug in een ROI.

Expertise

Case A 2.1 A Voortraject is eerst door andere respondent gedaan. Het voortraject was ook heel summier / grove scope. Surestep methodiek…en deze grof doornemen en op basis daarvan forecast afgeven.

Net voor de start was het idee dat de bemensing vanuit de IT zou worden ingevuld. Bij de uitvoering is het meer vanuit de business gevoerd. Door die wisseling andere inzichten. Oorspronkelijk zijn wijzigingen geweest.

We doen van alles. Gesprek met directie…ze werken toe naar iets van een presentatie.Die stappen—oplossing, aanpak, operatie. Voor dat ze gaan calculeren gaan ze nog een keer terug om de scope wat scherper te krijgen. De zorgen uiten. De calculatie wordt open neergelegd.

Daarna.. analyse, POC fase. Meestal als er adviseurs komen kijken.. dan komen die er in, want hun tijd wordt dan verlengd.

nvt Zorgvuldigheid

81


Case B 2.1 B nvt nvt Diagnose fase met een salesteam (presales) dan wordt er een concept uitgewerkt. Dat was heel belangrijk. Een diffunderende stroom. Hij moet kijken of er een oplossing is voor een succesvol project (dat wordt de Ja of nee). En hij krijgt van de consultant en de lead-consultants. De preconsultant bekijkt wat hij nodig heeft (welke modules). Er is dan nog geen gedetailleerde activiteitenlijst.

Zorgvuldigheid

Case A 2.2 A De eerste scope was door respondent 3 opgesteld en deze wordt gecontroleerd. Alle scope documenten (laten op alle assen zien wat de scope is) + calculatie document worden door alle 3 de respondenten gevalideerd (een paar jaar geleden). Nu door tijd en haast is dat minder geworden. Meer ervaring opgebouwd en door tijdsgebrek

Consultant doet de inventarisatie dan de lead consultant dan de MC`er. Soms nog wel een paar extra stappen.

nvt Zorgvuldigheid

Case B 2.2 B nvt nvt Zijn collega`s hebben een validerende rol (mede operations managers). Hij gaat ook op calculatiegesprek bij een klant. Ook diverse toetsingsvraag stelt hij en dan worden er afspraken gemaakt (wie doet er wat) en dan de eind calculatie.

Zorgvuldigheid

Case A 2.3 A Eerste stuk 50-75% en daarna (wat respondent 3heeft gedaan) 75-100%

50-75% nvt Zorgvuldigheid

82


Case B 2.3 B nvt nvt De processen zijn hard dat (afspraken/inzet en bemensing) en gevoelsmatig gaat hij dan inschatting gezien dit proces met deze complexiteit heb ik deze tijd nodig. Gevoelsmatig gaat dit werken ja of nee? Dan schat hij de klant in. Waar komen ze vanaf?

Hard: 50-75%

Heeft voor de klant meer geld gekost omdat de klant afspraken niet na kwam. Ze zijn later live gegaan omdat ze nog niet klaar waren aan de klant kant. Interfaces hebben ze onderschat.

Projectleiders hadden het onderschat zei Respondent 3.

Zorgvuldigheid

Case A 2.4 A nee Geen Mitopics contract nvt Invloeden

Case B 2.4 B nvt nvt nee Invloeden

83


Case A 3.1 A Als je kijkt naar het totale project (analyse is gestuurd vanuit de deliverables). En wordt dan ook gecalculeerd vanuit de deliverables.

Standaard project:Verder in het project (ontwikkel en test) is het meer timeboxing (functionele inhoud), dan kijk je vanuit de ervaring, dit zijn de functionele klussen (worden ingedeeld per werkgroepen en daar worden consultants aangekoppeld) en dan intensiteit inschatten (2 dagen per consultant per week). En daarbij horen nog een aantal losse deliverables zoals simulatie.

Gaps:Grove inschatten scope, risico en tijd (klein 0-5 dagen/ middel 5-10 dagen/ groot 10-50 dagen). Eerst wordt dan functioneel ontwerp beschreven en daarna detail calculatie gemaakt.

Twee stromen: 1. Project calculeer je op basis van deliverables en scope. Hoeveel mensen , intensiteit etc. 2. De lossen zaken zoals SIM, conversieplan, activiteitenlijst etc losse budgetten.

Die tijden worden in basis gecontroleerd maar is de laatste jaren wel minder. Hij geeft aan dat op basis van ervaring niet meer andere hoeft te controleren en of zelf niet hoeft te controleren

nvt Zorgvuldigheid

Case B 3.1 B nvt nvt Basis calculatie is zonder maatwerk. Hier worden de uren aan gekoppeld. Welke fit heb je standaard met ax is dan de vraag. Het maatwerk is bij calculatie in detail NIET bekend. Onzekere factor zit hier aan vast. Je weet niet hoever het bedrijf hierin gaat.

Naderhand worden de FO`s uitgeschreven. En je helpt de stuurgroep met het besluitvormingstraject. Samenafstemmen.

Voor was het wel een tegenvaller (hoeveelheid maatwerk).

Zorgvuldigheid

84


Case A 3.2 A Eerste stuk is 50%-75% procent na de FO`s 75-100% procent op de feiten

Eerste project inschatting 25-50%; wanneer de gaps inbeeld zijn dan (door analysefase etc):50-75%

nvt Zorgvuldigheid

Case B 3.2 B nvt nvt Eerste forecast afgegeven (per case wel verschillend): Maatwerk wordt van te voren niet gecalculeerd. 80% voor de tijden.

Zorgvuldigheid

Case A 3.3 A nee Nee nvt Zorgvuldigheid

Case B 3.3 B nvt nvt nee Zorgvuldigheid

Case A 4.1 A Commerciële man onderhandeld een uurtarief. Daarna wordt daar gewoon meegerekend. Dus flatrate…geen junior tarieven.

In sommige gevallen zitten er staffelkortingen in. En als er echt nieuwe mensen zijn gaan we op korting zitten.

Commerciële man maakt een uurtarief af. Flatrate uurtarief.

nvt Zorgvuldigheid

Case B 4.1 B nvt nvt Scope en inschatting gehad en de kosten eraan koppelen. In het commerciële traject wordt het uurtarief afgesproken. Als de uren bekend zijn dan worden daar die prijzen aangekoppeld

Zorgvuldigheid

Case A 4.2 A 75-10% procent op de feiten….graag toelichten 50%-75% procent op de feiten..graag toelichten nvt Zorgvuldigheid

Case B 4.2 B nvt nvt 75%-100% Zorgvuldigheid

Case A 4.3 A nee nee nvt Invloeden

Case B 4.3 B nvt nvt nee Invloeden

85


Case A 5.1 A Mooi voorbeeld waar je redelijk op budget bent live gegaan maar waarbij het project wel veel en veel duurder is geworden. Meer techniek op het project kwam erbij. Een aantal stelposten (maatwerk en interfasen kwamen erbij) en ook scope werd uitgebreid.

Veel kosten doordat mensen van buiten heel vele invloed gingen uitoefen (en die waren erg financieel gericht). Inzicht in de Finance heel veel energie ingegaan. De proceseigenaren zijn een beetje ondergeschoven geweest. Een de invoering kwamen er problemen. Zoals het corrigeren van buislengtes. Het niveau van de mensen was niet voldoende qua AX.

De mensen konden wel abstract denken maar er was niet iemand met overzicht. Dus de processen waren wel geborgd (maar kregen niet alles de deur uit).

Na het eerste project kwam er ook nog een tweede project bij waarbij Implementatiepartner een deel van de kosten op zich heeft genomen.

twijfels: wat je in het commerciële traject mee maakt, dat is een spiegel van het project (of althans wat er staat te gebeuren). Er kwamen daar ook ineens andere bemensing en ook ging het ineens slecht. Erg financieel gestuurd. Chaotisch. Onder toezicht van de bank

nvt Beleving

Case B 5.1 B nvt nvt Basiscalculatie tevreden met het maatwerk niet. Zachte kant (resources) : key-users+ projectleider was goed in geschat.

Inschatting interfaces was niet goed gegaan (was niet voor Implementatiepartner).

Beleving

86


Case A 5.2 A Eigenlijk maar 2x! Regelmatig.. en Respondent 3 zei eigenlijk maar twee keer. Veel externe partijen, moeilijk geworden. Johan Vogel zat op dat project.

Dylanstaal afgegeven daarna is het weinig aangepast. Respondent 1 gaf aan dat de scope veranderd was en dat na de implementatie zaken aangepast waren en externe maken het heel moeilijk. En die externe wilde best praktisch implementeren. Ze hebben geen change management gedaan. Niet verdiept in de mens.. maar gewoon vanuit ivoren toren bedankt maar de mensen op de vloer konden er niet mee werken.Omdat hij erbij heeft gezeten is hij toch mede verantwoordelijk geweest.

nvt Zorgvuldigheid

Case B 5.2 B nvt nvt Niet herzien de forecast Zorgvuldigheid

Case A 5.3 A Nee àsales manager is bezig met tarief en operations manager is bezig met de dagen.

nee nvt Invloeden

Case B 5.3 B nvt nvt Er wordt nooit gestreept in calculaties. Wel onderhandelen in prijs maar niet in uren.

Invloeden

Case A 5.4 A nee nee nvt Invloeden

Case B 5.4 B nvt nvt Nvt Invloeden

Case A 5.5 A 8% overschrijding. Tussen gemiddeld/Goed. Het is ook vaak hoe dat wordt beleefd bij de klant kant.

Die extra zaken zitten niet in die 8% …dus eerste project. Is dus wel een grijs vlak.

Forecast was wel goed.. door de hele constellatie. Toch behoorlijk afgeweken.

nvt Beleving

Case B 5.5 B nvt nvt Goed… basiscalculatie was goed! Beleving

87


Case Vragen Resp 4 Resp 5 Categorie

Algemeen 6.1 Jildert hij werkt bijna 10 jaar voor dit bedrijf (33 jaar) Bedrijfskunde gestudeerd. Eerste baan. Hij is in Groningen gaan werken. Hij is binnen gekomen om een ERP in te voeren. Een 2007 heeft hij een onderzoek gedaan hoe ze willen werken. Selectie gestart Implementatiepartner op de shortlist (IPL heeft die shortlist gedaan). Hij koos voor het partij i.p.v. het systeem. 2009 de implementatie gedaan. 2008 heeft hij 50% van de scope uit het project gestreept. De keuzes die je wilde hebben waren bekend. Meteen als projectleider bezig geweest.

Respondent is een 50+ er en heeft een ruime werkervaring. Diverse functies zoals supervisor, operations, en manager. Hij was de projectleider van het AX project

Expertise

Algemeen 6.2 Vanaf 2007 projectleider en 2011 stapte zijn toenmalige chef op (en toen is hij IT manager) geworden. Hij is verantwoordelijke voor de gehele IT (8 Man op de IT afdeling). Bij dit bedrijf werken 300 man

Hij werkt sinds 2008 bij dit bedrijf. Eerst was hij manager order management. Toen werd hij gevraagd als project manager (AX-project) en nu is hij Manager Compliance and Business Control.

Expertise

Case A 7.1 A Eerst werd er een grove scope afgegeven. Kan er weinig overzeggen want het werd netjes doorgenomen.

Al snel bleek na 50 dagen vooronderzoek dat er meer maatwerk nodig was. En dat de scope aangepast moest worden, wat ook is gebeurd. Het zag er wel zorgvuldig uit.

Beleving

Case B 7.1 B Nog nooit geïmplementeerd. Hij moet uitgaan wat de partij zegt. Heeft vertrouwen gehad aan Implementatiepartner. Implementatiepartner heeft het wel heel duidelijk doorgenomen.

Beleving

Case A 7.2 A Ja, na vooronderzoek bleek dat er meer maatwerk nodig was. En dat de scope aangepast moest worden, wat ook is gebeurd. Het zag er wel zorgvuldig uit.

Zorgvuldigheid

Case B 7.2 B Eerst en analysefase gehad en toen kwamen er een aantal gaps uit. Project was €500.000,-- er kwam voor 80.000 euro aan gaps uit. Er stonden grote posten op die heel moeilijk uit te voeren waren (zogenaamd FASEII).

Een aantal punten na de vooronderzoek kwamen ze met punten die de leverancier niet kon weten en een aantal punten hadden ze het wel kunnen weten.

Zorgvuldigheid

Case A 7.3 A Geen juridische contracten of commerciële zaken wat invloed heeft gehad. Wat wel invloed. Er is ook wisseling van de bemensing geweest met als gevolg andere inzichten. Door extra maatwerk, ondersteuning, opleiding etc werd het project veel

Invloeden

88


duurder. Implementatiepartner heeft wel een deel van deze kosten op zich genomen want het is en blijf een grijs vlak. (deels schuld)

Case B 7.3 B Onderschat/ veel te optimistisch geweest. Interface aan de kant van Implementatiepartner en aan de kant van onderschat. Menselijke interactie was ook lastig!

Invloeden

Case A 8.1 A Nauwkeurig. Er is wel meerwerk ontstaan maar dat wat uiteindelijk werd afgegeven zonder meerwerk (of extra uitbreidingen van de scope) is nauwkeurig afgegeven. Je ziet wel, dat de O&T fase twee keer is verlengt doordat er veel maatwerk nodig was. Nazorg is pas einde project begroot.

Zorgvuldigheid

Case B 8.1 B €70.000 euro over budget t.o.v. €500.000,-- (219-418 uren geworden interface). 14% over budget. Precies. Rapporten bouwen heeft hij er uitgegooid.

Zorgvuldigheid

Case A 8.2 A O&T fase twee keer is verlengt doordat er veel maatwerk nodig.

Beleving

Case B 8.2 B Interface! Duidelijk geval van onderschat (optimism werd er genoemd)

Beleving

Case A 8.3 A Goed d.m.v. vooronderzoek. Ze hadden wel zaken onderschat. Het was soms toch complexer. De uitloop is volgens respondent ontstaan door eerlijke uitloop.Is allemaal voornamelijk te wijten aan het feit dat AX Dynamics niet aansloot op ons businessprocess zoals wij vooraf hadden gedacht. Hierdoor hebben wij veel meer maatwerk (moeten) laten bouwen.

Beleving

Case B 8.3 B Op de interface na… Eigenlijk Goed…heel tevreden Beleving

Case A 8.4 A Gemiddeld/Goed. Zoals hierboven beschreven: Een deel lag toch bij de implementatiepartner en daardoor hebben ze de extra kosten (die in het maatwerk zat) toch voor hun eigen rekening genomen.

Beleving

Case B 8.4 B Goed….hij kijk er met veel plezier naar toe. Was heel fijn! Beleving

89


Bijlage 18 Totale uitwerking (synthese) In de matrix hieronder zal de samenvatting van de interviews met de respondenten per categorie worden uitgeschreven. In de laatste kolom zullen de resultaten uit de toegepaste bronnen (projectplan, gap-fit, forecast, juridisch contract) per categorie worden genoteerd. Overige relevante opmerkingen die middels doorvragen zijn verkregen zullen in het tekstvak hieronder worden uitgeschreven. Ook zal het resultaat van de vragenlijst van Shefrin (2007) hierin worden beschreven, dit alles met als doel een zo overzichtelijk mogelijk overzicht zien te verkrijgen.

Vragen Case Categorie Samenvatting interviews met de respondenten

Resultaat toegepaste bronnen

2.1 A Case A Zorgvuldigheid

Heel summier een grove scope gemaakt door respondent 3 daarna heeft respondent 1 deze aangepast. Met de klant is de surestep methode doorgenomen en daarna ook stap voor stap de calculatie. Er is een vooronderzoek gedaan.

In beide cases was er spraken van een vooronderzoek van circa 50.000 euro. Het valt op dat in beide forecast niet echt duidelijk de inschatting van de gap’s naar voren komen. Pas na het vooronderzoek en het schrijven van FO komen de gap gedetailleerd in beeld. Dit geldt voor beide cases.

========================================================Case 1:Budget 10 grote gapsgerealiseerd 17 gaps groot. Budget 16 kleinegerealiseerd 16 gaps klein. Budget 12 middels gapsgerealiseerd 5 gaps middel.

Totaal 3050 uren budget gaps gerealiseerd 3643. Dat zijn 638 uren meer.

Door meer maatwerk en dat de ontwikkelfase is verlengt is de forecast een paar x aangepast. Oorspronkelijk budget 260 dagen geschat. €940.000,-- Dit is aangepast naar €1.256.880,-- door meer maatwerk en verlenging ontwikkelfase. Uiteindelijk is daarvan €1.328.190,-- gerealiseerd.

Case 2 Budget:K:(tot 5 dagen)=13M:(5-10)=4G:(groter dan 10)=3

2.1 B Case B Zorgvuldigheid

Zorgvuldig een diagnose op gestart, dan wordt er een concept uitgewerkt. Er is een gedetailleerde activiteitenlijst opgesteld en deze is vervolgens met de klant gedeeld.


De scope is door alle 3 de respondenten gecontroleerd. Nu door tijd en haast is dat minder geworden. Meer ervaring opgebouwd en door tijdsgebrek


De overige respondenten hadden een validerende rol. Ook diverse toetsingsvraag stelt hij en dan worden er afspraken gemaakt (wie doet er wat) en dan de eind calculatie.


Respondent3: Eerste stuk 50-75% en daarna (wat respondent 1 heeft gedaan) 75-100%Respondent 1: 50-75%

2.3 B Case B Zorgvuldigheid De processen zijn hard dat (afspraken/inzet en bemensing) en gevoelsmatig gaat hij dan inschatting gezien dit proces met deze complexiteit heb ik deze tijd nodig. Gevoelsmatig gaat dit werken ja of nee? Dan schat hij de klant in. Waar komen ze vanaf?

Inschatting: Hard: 50-75%

Heeft voor de klant meer geld gekost omdat de klant afspraken niet na kwam. Ze zijn later live gegaan omdat ze nog niet klaar waren aan de klant kant. Interfaces hebben ze onderschat. Projectleiders hadden het onderschat zei Respondent 3.

90


Gerealiseerd:K:(tot 5 dagen)=11M:(5-10)=5G:(groter dan 10)=3Iom is de interface complexer geworden met meer doorlooptijd. En tevens zijn er meer wensen uitgevoerd.

Origineel 1044 uur meerwerk begroot en is uiteindelijk 1455 uur geworden. Dat is 411,5 uren meer 51,5 dagen uitloop.

Vooraf €227.360 standaard AX implementatie en uiteindelijk gerealiseerd €295.655; Maatwerk vooraf €151.380.-- uiteindelijk gerealiseerd €210.975--


Beide respondenten geven aan dat er twee stromen zijn:Twee stromen: 1. Project calculeer je op basis van deliverables en scope. Hoeveel mensen , intensiteit etc. 2. De lossen zaken zoals SIM, conversieplan, activiteitenlijst etc losse budgetten.

Die tijden worden in basis gecontroleerd maar is de laatste jaren wel minder. Hij geeft aan dat op basis van ervaring niet meer andere hoeft te controleren en of zelf niet hoeft te controleren

Gaps:Grove inschatten scope, risico en tijd (klein 0-5 dagen/ middel 5-10 dagen/ groot 10-50 dagen). Eerst wordt dan functioneel ontwerp beschreven en daarna detail calculatie gemaakt.


Basis calculatie is zonder maatwerk. Hier worden de uren aan gekoppeld. Welke fit heb je standaard met Ax is dan de vraag. Het maatwerk is bij calculatie in detail NIET bekend. Onzekere factor zit hier aan vast. Je weet niet hoever het bedrijf hierin gaat.

Naderhand worden de FO`s uitgeschreven. En je helpt de stuurgroep met het besluitvormingstraject. Samen afstemmen.


Respondent 1: Eerste stuk is 50%-75% procent na de FO`s 75-100% procent op de feitenRespondent 3: Eerste project inschatting 25-50%; wanneer de gaps inbeeld zijn dan (door analysefase etc):50-75%


Eerste forecast afgegeven (per case wel verschillend): Maatwerk wordt van te voren niet gecalculeerd. 80% voor de tijden.

3.3 A Case A Zorgvuldigheid Nvt

3.3 B Case B Zorgvuldigheid Nvt


Scope en inschatting gehad en de kosten eraan koppelen. In het commerciële traject wordt het uurtarief afgesproken. Als de uren bekend zijn dan worden daar die prijzen aangekoppeld


Scope en inschatting gehad en de kosten eraan koppelen. In het commerciële traject wordt het uurtarief afgesproken. Als de uren bekend zijn dan worden daar die prijzen aangekoppeld. Dus flatrate…geen junior tarieven.

4.2 A Case A Zorgvuldigheid Respondent 1 50%-75% procent

91


Respondent 3 50%-75% procent op de feiten

4.2 B Case B Zorgvuldigheid 75%-100%


Respondent 1: hij is meerder keren herzien. Na de afgegeven calculatie van respondent 3 nog een keer. Respondent 3Regelmatig.. en Respondent1 zei eigenlijk maar twee keer. Veel externe partijen, moeilijk geworden. (Johan vogel zat op het project. Slecht project management). Respondent gaf aan dat de scope veranderd was en dat na de implementatie zaken aangepast waren en externe maken het heel moeilijk. En die externe wilde best praktisch implementeren. Ze hebben geen change management gedaan. Niet verdiept in de mens.. maar gewoon vanuit ivoren toren bedacht maar de mensen op de vloer konden er niet mee werken.Omdat hij erbij heeft gezeten is hij toch mede verantwoordelijk geweest.

5.2 B Case B Zorgvuldigheid Respondent zegt niet herzien!!


Ja, na vooronderzoek bleek dat er meer maatwerk nodig was. En dat de scope aangepast moest worden, wat ook is gebeurd. Het zag er wel zorgvuldig uit.


Eerst en analysefase gehad en toen kwamen er een aantal gaps uit. Project was €500.000,-- er kwam voor 80.000 euro aan gaps uit. Er stonden grote posten op die heel moeilijk uit te voeren waren (zogenaamd FASEII).

Een aantal punten na de vooronderzoek kwamen ze met punten die de leverancier niet kon weten en een aantal punten hadden ze het wel kunnen weten.


Nauwkeurig. Er is wel meerwerk ontstaan maar dat wat uiteindelijk werd afgegeven zonder meerwerk (of extra uitbreidingen van de scope) is nauwkeurig afgegeven. Je ziet wel, dat de O&T fase twee keer is verlengt doordat er veel maatwerk nodig was. Nazorg is pas einde project begroot.


Nauwkeurig: €70.000 euro over budget t.o.v. €500.000,-- (219-418 uren geworden interface). 14% over budget. Precies. Rapporten bouwen heeft hij er uitgegooid.

92




1.1 A Case A Expertise Respondenten 1 en 2 zitten beide ruim 15 jaar in de ICT branche. Beide forecast zien er qua opbouw hetzelfde uit. Het valt op dat de projectleiders aangeven dat de forecast voor het implementeren van het standaard deel heel nauwkeurig was. Het probleem zit hem in het maatwerk. Dat blijkt voor beide respondenten heel moeilijk in te schatten. Dat is ook te zien in de bronnen. Bij beide cases zie je extra maatwerk cq meerwerk potjes verschijnen.

1.1 B Case B Expertise Sinds 2007 circa 8 jaar in de ICT

1.2 A Case A ExpertiseRespondent 1: Operations managerRespondent 3: Directeur operations

1.2 B Case B ExpertiseRespondent 2: Operations manager

1.3 A Case A ExpertiseRespondent 1: Respondent 3: Beide casus

1.3 B Case B Expertise Respondent 2:

1.4 A Case A Expertise Senior

1.4 B Case B Expertise Senior

1.5 A Case A Expertise

Respondent 1: De laatste 4 jaar. 10 forecasts per jaar en dat wordt wel minder nu 5 per jaar en meestal worden die 5 ook order. En als dat niet gebeurt dan gaat het project veelal niet door. Van die 5 vindt hij dat ze goed zijn ingeschat. Hij zegt.. project wordt soms wel duurder maar dat ligt niet aan hem. Te wijten aan allemaal randzaken (zoals uitbreiding scope waar hij geen invloed op had).

Respondent 3: Forecast ICT langer dan 10 jaar. Vroeger 10 per jaar nu 5 per jaar. Respondent 1 zijn calculaties zijn dichter bij de klant. Die van Respondent3 15-20. Respondent3 zei dat zijn calculaties vrijwel altijd goed zijn.

1.5 B Case B Expertise

Heeft in zijn vorige functie al veel forecast gemaakt (was niet ERP gerelateerd). ERP forecast afgeven 5 jaar. Hij maakt er 15 per jaar 60% wordt order. Contractueel keurig binnen budget maar de klant beleving is niet hetzelfde.


Respondent 4: Jildert hij werkt hier bijna 10 jaar (33 jaar) Bedrijfskunde gestudeerd. Eerste baan. Hij is in Groningen gaan werken. Hij is binnen gekomen om een ERP in te voeren. Een 2007 heeft hij een onderzoek gedaan hoe ze willen werken. Selectie gestart Implementatiepartner op de shortlist (IPL heeft die shortlist gedaan). Hij koos voor het partij i.p.v. het systeem. 2009 de implementatie gedaan. 2008 heeft hij 50% van de scope uit het project gestreept. De keuzes die je wilde hebben waren bekend.

93


Meteen als projectleider bezig geweest.


Respondent 5: is een 50+ er en heeft een ruime werkervaring. Diverse functies zoals supervisor, operations, en manager. Hij was de projectleider van het AX project


Respondent4: Vanaf 2007 projectleider en 2011 stapte zijn toenmalige chef op (en toen is hij IT manager) geworden. Hij is verantwoordelijke voor de gehele IT (8 Man op de IT afdeling). Bij dit bedrijf werken 300 man


Respondent 5: Hij werkt sinds 2008 bij . Eerst was hij manager order management. Toen werd hij gevraagd als project manager (AX-project) en nu is hij Manager Compliance and Business Control.



2.4 A Case A Invloeden NVT (nee) Er was geen sprake van een juridisch contract en de uurtarieven zijn door een collega opgesteld. Commercieel ook geen invloed gehad.

Wat wel opvalt dat er bij case A : Andere bemensing en meer overleg met externe hebben er voor gezorgd dat de forecast een paar x is aangepast.

En wat opvalt bij Case B zijn per januari 2010 live gegaan, oorspronkelijk dacht ik begin oktober/begin november 2009.

- Nazorg was niet meegenomen in het contract

- Meerwerk was niet meegenomen in het contract (wel stelpost benoemt voor interface 10 – 15 dagen)-meer uren zijn besteedt door langere doorlooptijd wegens het door de klant niet gereed krijgen van zijn deel van de interface met BRAVO (zie rode getallen) Resultaat toegepaste bronnen

2.4 B Case B Invloeden NVT (nee)

4.3 A Case A Invloeden NVT (nee)


5.3 A Case A InvloedenNee sales manager is bezig met tarief en operations manager is bezig met de dagen.

5.3 B Case B Invloeden Er wordt nooit gestreept in calculaties. Wel onderhandelen in prijs maar niet in uren.

5.4 A Case A Invloeden NVT (nee)


7.3 A Case A Invloeden

Geen juridische contracten of commerciële zaken wat invloed heeft gehad. Wat wel invloed. Er is ook wisseling van de bemensing geweest met als gevolg andere inzichten. Door extra maatwerk, ondersteuning, opleiding etc werd het project veel duurder. Implementatiepartner heeft wel een deel van deze kosten op zich genomen want het is en blijf een grijs vlak. (deels schuld)

Is allemaal voornamelijk te wijten aan het feit dat AX Dynamics niet aansloot op ons businessprocess zoals wij vooraf hadden gedacht. Hierdoor hebben wij veel meer maatwerk (moeten) laten bouwen.

7.3 B Case B InvloedenOnderschat/ veel te optimistisch geweest. Interface aan de kant van Implementatiepartner en aan de kant van onderschat. Menselijke

94


interactie was ook lastig! De uitloop is volgens mij ontstaan door eerlijke uitloop.

Vragen Case Categorie Eind resultaat respondenten


5.1 A Case A Beleving

Respondent 1: Mooi voorbeeld waar je redelijk op budget bent live gegaan maar waarbij het project wel veel en veel duurder is geworden. Meer techniek op het project kwam erbij. Een aantal stelposten (maatwerk en interfasen kwamen erbij) en ook scope werd uitgebreid. Veel kosten doordat mensen van buiten heel vele invloed gingen uitoefen (en die waren erg financieel gericht). Inzicht in de Finance heel veel energie ingegaan. De proceseigenaren zijn een beetje ondergeschoven geweest. Een de invoering kwamen er problemen. Zoals het corrigeren van buislengtes. Het niveau van de mensen was niet voldoende qua AX.De mensen konden wel abstract denken maar er was niet iemand met overzicht. Dus de processen waren wel geborgd (maar kregen niet alles de deur uit). Na het eerste project kwam er ook nog een tweede project bij waarbij Implementatiepartner een deel van de kosten op zich heeft genomen.

Respondent3: twijfels: wat je in het commerciële traject mee maakt, dat is een spiegel van het project (of althans wat er staat te gebeuren). Er kwamen daar ook ineens andere bemensing en ook ging het ineens slecht. Erg financieel gestuurd. Chaotisch. Onder toezicht van de bank

NVT

5.1 B Case B Beleving

Basiscalculatie tevreden met het maatwerk niet. Zachte kant (resources) : key-users+ projectleider was goed in geschat.Inschatting interfaces was niet goed gegaan (was niet voor Implementatiepartner).


Respondent 1:8% overschrijding. Tussen gemiddeld/Goed. Het is ook vaak hoe dat wordt beleefd bij de klant kant. Die extra zaken zitten niet in die 8% …dus eerste project. Is dus wel een grijs vlak.

Respondent 3: Forecast was wel goed.. door de hele constellatie. Toch behoorlijk afgeweken.

5.5 B Case B Beleving Goed… basiscalculatie was goed!

7.1 A Case A Beleving Eerst werd er een grove scope afgegeven. Kan er weinig overzeggen

95


want het werd netjes doorgenomen. Al snel bleek na 50 dagen vooronderzoek dat er meer maatwerk nodig was. En dat de scope aangepast moest worden, wat ook is gebeurd. Het zag er wel zorgvuldig uit.

7.1 B Case B Beleving

Nog nooit geïmplementeerd. Hij moet uitgaan wat de partij zegt. Heeft vertrouwen gehad aan Implementatiepartner. Implementatiepartner heeft het wel heel duidelijk doorgenomen.

8.2 A Case A Beleving O&T fase twee keer is verlengt doordat er veel maatwerk nodig.

8.2 B Case B Beleving Interface! Duidelijk geval van onderschat (optimism werd er genoemd)


Goed d.m.v. vooronderzoek. Ze hadden wel zaken onderschat. Het was soms toch complexer. De uitloop is volgens Tom ontstaan door eerlijke uitloop.Is allemaal voornamelijk te wijten aan het feit dat AX Dynamics niet aansloot op ons businessprocess zoals wij vooraf hadden gedacht. Hierdoor hebben wij veel meer maatwerk (moeten) laten bouwen.

8.3 B Case B Beleving Op de interface na… Eigenlijk Goed…heel tevreden


Gemiddeld/Goed. Zoals hierboven beschreven: Een deel lag toch bij Implementatiepartner en daardoor hebben ze de extra kosten (die in het maatwerk zat) toch voor hun eigen rekening genomen.

8.4 B Case B Beleving Goed….hij kijk er met veel plezier naar toe. Was heel fijn!

Overige opmerkingen uit interviews:

Aanvullende mail van respondent 4 (Case B:)): Volgens mij zijn het eerlijke fouten en pech. Al vind ik het meer fouten dan pech. Want pech wil zeggen dat ook achteraf er niets aan te doen was geweest. 0% manipulatie. De extra uren zijn te wijten aan het onderschatten van het meest onbekende deel van het project. Zowel in uren, complexiteit, doorlooptijd, gevolgen voor andere project zaken. Het AX deel kan Implementatiepartner wel inschatten. Maar de interface niet. En zelf kon dit ook onvoldoende. Daarna volgde de rest inclusief extra rapportenbouw en dergelijke.

Aanvullende mail van respondent 5 (Case A): De uitloop is volgens mij ontstaan door eerlijke uitloop. Is allemaal voornamelijk te wijten aan het feit dat AX Dynamics niet aansloot op ons businessprocess zoals wij vooraf hadden gedacht. Hierdoor hebben wij veel meer maatwerk (moeten) laten bouwen.

96


Resultaat mate van optimism bij de schatters en projectleiders.

Uit de bevindingen blijkt, dat respondent 3 last heeft van overoptimism, deze heeft namelijk een gemiddelde favoriete gebeurtenisscore van 9,6 en een niet-favoriete gebeurtenisscore van 5,5. Verder valt op dat twee van de drie schatters lager dan zeven scoren bij de niet gewenste gebeurtenissen wat aansluit op de literatuur. Beide projectleiders hebben ook last van overoptimism.

97


Bijlage 19 Conclusie matrixVervolgens zal er geprobeerd worden verbindingen te leggen, dit d.m.v. de totaal resultaten van de categorieën tegen de volgende factoren af te zetten:

Uitleg factoren: De factoren systeem 1 en systeem 2 geven aan in welke mate het een bewust of onbewust proces betreft: intuïtie = onbewust =

systeem 1, en analyse = bewust = systeem 2 (Tversky & Kahneman, 1974).o Stelt dat de categorieën worden veroorzaakt door systeem 1, dan zou dat door een heuristiek of bias veroorzaakt kunnen zijn.

De overige 3 factoren komen uit het onderzoek van Flyvbjerg (2009). Hij beschrijft, dat forecast errors bij complexe projecten kunnen worden veroorzaakt door eerlijke fouten, manipulatie of gewoon pech.

Categorie Systeem 1 ? Eerlijke fout? (bias) Pech? Systeem 2 ? Opzet?

A/B vergelijk Heuristiek valkuil in beide projecten is het standaard deel goed ingeschat. Dit is ook alleen wat de implementatiepartner in het budget zet. Op basis van deze inschatting wordt het project geboekt. Daarna wordt maatwerk uitgeschreven en zoals hieronder daar is altijd een overschrijding.

Case 1: Totaal 3050 uren budget gaps gerealiseerd 3643. Dat zijn 638 uren meer.

Case 2: Origineel 1044 uur meerwerk begroot en is uiteindelijk 1455 uur geworden. Dat is 411,5 uren meer 51,5 dagen uitloop.

Heuristiek valkuil in beide projecten is het standaard deel goed ingeschat. Dit is ook alleen wat de implementatiepartner in het budget zet. Op basis van deze inschatting wordt het project geboekt. Daarna wordt maatwerk uitgeschreven en zoals hieronder daar is altijd een overschrijding.

Case 1: Totaal 3050 uren budget gaps gerealiseerd 3643. Dat zijn 638 uren meer.

Case 2: Origineel 1044 uur meerwerk begroot en is uiteindelijk 1455 uur geworden. Dat is 411,5 uren meer 51,5 dagen uitloop.

Maatwerk??

Zorgvuldigheid In beide cases was er spraken van een vooronderzoek van circa 50.000 euro. Het valt op dat in beide forecast niet echt duidelijk de inschatting van de gap’s naar voren komen. Pas na het vooronderzoek en het schrijven van FO

Respondent 5 (Case A): Onderschat/ veel te optimistisch geweest. Interface aan de kant van Implementatiepartner en aan de kant van onderschat. Menselijke interactie was ook lastig! De uitloop is volgens mij ontstaan door eerlijke uitloop. Is allemaal

Schatter 2 en projectleider 4 gaven beide aan dat de bemensing van het project na de forecast werd gewijzigd. Dit kon de implementatiepartner niet weten.

NVT

98


komen de gap gedetailleerd in beeld. voornamelijk te wijten aan het feit dat AX Dynamics niet aansloot op ons businessprocess zoals wij vooraf hadden gedacht. Hierdoor hebben wij veel meer maatwerk (moeten) laten bouwen.

respondent 4 (Case B:)): Volgens mij zijn het eerlijke fouten en pech. Al vind ik het meer fouten dan pech. Want pech wil zeggen dat ook achteraf er niets aan te doen was geweest. 0% manipulatie. De extra uren zijn te wijten aan het onderschatten van het meest onbekende deel van het project. Zowel in uren, complexiteit, doorlooptijd, gevolgen voor andere project zaken. Het AX deel kan Implementatiepartner wel inschatten. Maar de interface niet. En zelf kon dit ook onvoldoende. Daarna volgde de rest inclusief extra rapportenbouw en dergelijke.

Invloeden Er is ook wisseling van de bemensing geweest met als gevolg andere inzichten. Door extra maatwerk, ondersteuning, opleiding etc werd het project veel duurder. Implementatiepartner heeft wel een deel van deze kosten op zich genomen want het is en blijf een grijs vlak. (deels schuld)

Respondent 5 gaf aan dat na de forecast het bedrijf onder financiële toezicht kwam ,waardoor de bemensing van het project werd aangepast en het een financieel gericht project werd (en dus de processen niet aansloten bij de praktijk).

NVT

Expertise 25% van de forecast zonder maatwerk is in beide cases op gevoel gedaan (gaat op gevoelen intuïtie).

Door meer ervaring wordt de forecast bij de implementatie partner minder gecontroleerd door andere.

NVT

Beleving Het probleem zit hem in het maatwerk. Dat blijkt voor de respondenten (schatters en projectleiders) heel moeilijk in te schatten. Dat is ook te zien in de bronnen. Bij beide cases zie je extra maatwerk cq meerwerk potjes verschijnen.

NVT

dvbconsulting.nldvbconsulting.nl/wp-content/uploads/2016/...versie-3.0-… · web viewverder de...

Documents