effectmeting en het managen van ict-innovatieprojecten in het hoger onderwijs - ronald koorn en aad...

Effectmeting en het management van ICinnovatieprojecten in het onderwijsRonald Koorn & Aad BoonstraSURF Onderwijsdagen, Sint Maarten 2008

ADVISORY

1© 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative.

Agenda

Sturen op resultaten of realisatie van baten?

Het managen van baten in ICT-projecten

Het meten van effecten

Wrap-up


Discussie: Sturing op resultaten of realisatie van baten

Wie stuurt zijn projecten op:a) Planning, budget en functionaliteit ?b) Realisatie van resultaten ?c) Realisatie van projectdoelstellingen ?d) All of the above ?

Welk percentage van de projecten in uw organisatie is succesvol?(minder dan 25% overschrijding in tijd, geld of kwaliteit)


Wat zeggen de analisten over projectsucces?

“28% of all IT projects are cancelled or never implemented,according to a study of more than 7,500 IT projects conducted. Another 46% end up behind schedule or go over budget.”

Source: Standish Group International

“50% of all IT projects are deemed failures”Source: Meta Group Inc.

“75% of all 1,450 firms surveyed exceeded their IT deadlines and more than 50% of them substantially exceeded their budgets. Key reasons were poor planning, inadequate

studies on how IT projects relate to the firm’s needs and lack of management support.”

Source: KPMG survey

“Organisations that lack stringent risk assessment procedureswill continue to cancel more than 20% of projects in the executionphase” Source: Gartner Group


KPMG IT Project Management Survey

Directie/management doen steeds meer en grotere toezeggingen. Er ligt een focus op het doen van toezeggingen qua baten, niet op het nakomen ervan. Projectsucces wordt vaak geïnterpreteerd als het terug-brengen naar een acceptabel niveau van projectfalen of het minimaliseren van ‘baten lekkage’.De meeste organisaties zijn niet goed in staat baten vooraf te formuleren of het verlies aan baten achteraf te kwantificeren. Programmamanagement is veelal multi-projectmanagement.Portfoliomanagement staat nog in kinderschoenen.Het Program Management Office komt nauwelijks voorbij administratieve rol.Een gezamenlijke, systematische benadering geïntegreerde besturing zijn nodig om het projectsucces te vergroten.

KPMG IT Project Management Survey


Collectieve good practices benodigd

Bijvoorbeeld, de respondenten van onze survey ervaren groter projectsucces:

waar PMO alle projecten managed(22%);

waar PMO altijd aan de directie rapporteert (30%);

met een formeel proces voor batenrealisatie (18%);

waar de meerderheid van de projectmanagers formeel gecertificeerd zijn (24%);

die gedegen risicoanalyse reeds in planningsfase uitvoeren (29%).

….maar een systematische verzameling van good practices resulteren in daadwerkelijke verbetering, bijvoorbeeld door:

Actief PMO PMO rapporteert aan CEO

Belangrijkste projecten Rapporteert aan directie

Formeel proces voor batenrealisatie

Gedegen risicoanalysetijdens planningsfase

Presentatie gekoppeld aan individuele KPIs

Meten baten tot realisatie

Gebruik van externe reviewer


Volwassenheidsmodel programmamanagement

Op zeven belang-rijke aandacht-gebieden binnen programma- en projectmanage-ment heeft KPMG een model voor het meten van het volwassen-heidsniveauontwikkeld.


Vijf gouden regels voor programmabeheersing

Stuur op realisatiePrioriteer om te realiserenBreng projecten en programma’s in de lijnBeleg verantwoordelijkheidInvesteer in mensen en processen


Waarom sturen op realisatie baten bij ICT-innovaties in onderwijs?

BewustwordingBetere besluitvorming

Onderbouwing keuze (“alleen evidence-based beleid”)Basis voor prioriteitenstelling

Maakt bijsturing op doelbereiking mogelijkEvaluatie doeltreffendheid innovatieVerantwoording bestede middelen


Agenda




Wrap-up


Het managen van baten van ICT-projecten

Het realiseren van – vooraf gedefinieerde – baten dient continu gemanaged te worden.


Het managen van baten van ICT-projecten: onderdelen business case


Het managen van baten van ICT-projecten: model batenrealisatie


Discussie: managen van ICT-projecten

Op welke wijze om te gaan met het managen van innovatieve ICT-projecten ?In welk stadium en op welke manier overgaan van ‘loosely managed’ naar ‘tightly managed’ ?


Het managen van baten van ICT-projecten: succesfactoren

Opstellen busines case met definiëring baten en zonodig periodiek bijstellenBeleggen eigenaarschap business case in lijnZoveel mogelijk kwantificeren van baten, maar niet over-kwantificeren en niet veronachtzamen nadelenToewijzen verantwoordelijkheid voor realiseren en voor meten batenBeleggen van Quality Assurance-rol, onafhankelijk van programma-organisatie


Agenda




Wrap-up


Categorieën effecten

Meetbare financiële effecten (kostenbesparing)Meetbare, niet-financiële effecten (instroom studenten)Kwalitatieve, niet-financiële effecten (tevredenheid)

Input Output / Resultaten

Directeeffecten

Outcome/Indirecteeffecten

Externefactoren

Doelrealisatie


Wat kan wel en wat kan niet

Meting resultaten eenvoudig, maar geeft weinig inzicht in doelbereikMeting doelbereik/outcome (instroom/studiesucces doelgroep) relatief eenvoudig(Causale) relatie met project/programma veel moeilijker aannemelijk te makenKwantitatieve relatie lastig

In welke mate draag innovatieprogramma bij aan veranderde instroom/studie-rendement in verhouding tot mate waarin dit door externe factoren wordt veroorzaakt

Algemene aandachtspunten0-meting en 1-metingControlegroepBeïnvloeding van gedrag omdat mensen überhaupt onderdeel van onderzoek zijn


Praktijkvoorbeeld uit Nationaal Actieplan E-learning (2006) Nationale Kennisbank basisvaardigheden wiskunde

Schoolvak wiskunde meest problematisch voor doorstroom VO – HOVeel hoger onderwijsinstellingen hebben ingangstoetsen en remediatie-trajecten(vaststellen ingangsniveau & verhelpen hiaten)

Project bundelt deze toetsen en lesmateriaal in portal (www.wizmo.nl)Nationaal actieplan E-learning draagt bij aan dit projectDoelstellingen NAP

Verhoging in-, door- en uitstroom hoger onderwijsVerlagen uitval van studenten

Projectresultaat: www.wizmo.nl

Discussie: hoe meet je de effecten van dit project ?

http://www.wizmo.nl/

http://www.wizmo.nl/


Praktische trade-off

Selectie te meten indicatoren dus trade-off vanPlausibel inzicht doelbereik van project− Voldoende inzicht biedend in effect (waar doen we het voor)− Voldoende inzicht in prestatie-indicatoren om project bij te sturenTegen acceptabele inspanning en kosten


Discussie: Financieel maken van effecten

In 2008 heeft JISC (Joint Information Systems Committee) in UK een ‘Value for money report’ gemaaktDaarin zijn de effecten van de dienstverlening van JISC financieel gemaakt

Discussie:In hoeverre draagt het financieel maken van de effecten van een programma als NAP bij aan het sturen van projecten?


Agenda




Wrap-up


Top 5 tips voor toepassing effectmeting

Gewoon beginnen;Capaciteit beschikbaar maken;Actieve participatie programmamanagement en senior lijnmanagement;Definiëren en meetbaar maken van effecten (kosten, baten, nadelen en risico’s);Actief bewaken van status van effecten.


Contactpersonen

Naam− Drs. ing. Ronald Koorn RE

Rol− Segmentleider Onderwijs− Partner IT Advisory

Professionele ervaring− Actief bij diverse instellingen in WO, HBO en

BVE-veld, evenals bij IB-Groep, SURF, OC&W, CITO, e.d.

− Inrichting of professionaliseren van ICT SharedService Centra bij aantal instellingen

− Onderzoeken van en adviseren over kwaliteit en kosten van ICT-toepassing

− Ondersteunen bij ICT-integratie, selectie-trajecten, ICT-uitbesteding, e.d.

− Verbeteren IT Control/ Governance, en informatiebeveiliging

− Adviseren over informatiebeleid en project/ programmamanagement

[email protected]: 06 – 2292 8127

Naam− Drs. Aad Boonstra RC

Rol binnen KPMG− Geeft leiding aan unit

Strategisch beleidsadvies− Senior manager Public Sector

Business Performance Services

Professionele ervaring− Brede adviesportefeuille gericht op

beleidsanalyse en –evaluatie en financiële analyses

− Adviseren over impactstudies, kosten-batenanalyses en businesscases

− Adviseren over beleidsevaluatie en beleidsdoorlichting

− Actief in onderwijs bij OCW en instellingen als SURF en ministeries als VWS, V&W, VROM en BZK

[email protected]: 06 – 21803665

effectmeting en het managen van ict-innovatieprojecten in het hoger onderwijs - ronald koorn en aad...

Education

kpmg advisory

kpmg survey

kpmg logo

swiss cooperative

het managen van baten

respondenten van

b realisatie van resultaten

welk percentage van