lessons learned from a journey to high maturity

1

Lessons Learned from a  Journey to High Maturity

Mary Gretchen Silos Mondragon

Accenture Philippines

2

Agenda

Going for process high maturity  Level 4 or 5 can be challenging.

Here are some of the lessons  learned from the journey.

3

Get Management Support

Senior management support is critical!

Set quality and process performance  goals and commit to them

Set up steering committeeSponsor, key project leads

Give direction, resolve journey issues

4

Establish a Core Team

Select key representatives

Coaches, Metrics, Methods, Tools

Drive the high maturity journey

Report to the steering committee

Resolve project issues

5

Plan Early

Engage your lead appraiser early

Book LA schedule 1.5 years before  appraisal

Balance LA interpretations Model interpretations vary by LA

6

Deal with Statistical Requirements

Hire a Statistician

Handle the complexities of technical  statistical tests

Provide relevant statistical     approaches and strategies

Train the metrics team

7

Invest in Appropriate Tools

Select tools to establish baselines  and to build models

Minitab

Crystal Ball

8

Invest in Appropriate Tools

Select tools for statistical process  control for use by projects

SPC for MS Excel

9

Train on High Maturity

Take SEI Understanding High Maturity 

Get context on what the model requires

Be more capable to resolve issues

Be confident in challenging ideas

Ask questions during the training!

Be prepared prior to the training

List applicable questions

10

Enable the Project Managers

Train PMs on basic statistics

Interpret, analyze control charts  

Perform simple tests via given tools

Handhold and coach PMs

Understand and realize 

benefits of process  high maturity

11

Enable the Project Managers

Establish easy‐to‐use checklists

List key steps

via flyers, e‐cards

1515

11

6 77

88

44

55

9

10

11

End

2

3

12

13

14

Yes

Yes

Yes

Yes

Yes

No

No

No

AA

AA

16No

No

12

Establish Baselines

Collect, validate, analyze data

Data accuracy and reliability

Level of detail• Release, requirement, component

When to collect, analyze, recalibrate• Daily, weekly, monthly, quarterly

13

Establish Baselines

Ensure homogeneity of data

Stratify data

Manage number of stratifications

Prove stratifications statistically

• Hypothesis test

• ANOVA – analysis of variance

14

Establish Baselines

Set Baseline Standards

Set data count thresholds

• 6, 7‐24, 25‐30

Perform stability tests

• 8‐4‐2‐1 rule 

15

Establish Baselines

Test for significance

Eye fit

Statistical tests – Hypothesis tests

• F test ‐

difference in variance

• T Test ‐

shifting of means

16

Establish Baselines

Test for process capability 

Cp, Cpk

• Measure process capability

• Compare stable process performance with  goals or  specification limits

– more capable as value                             approaches 1

17

Build Usable Models

Determine the right approach

Regression –

sufficient data

Bayesian – limited data

Logistic – non‐variable, categorical data

Link models to goals

18

Build Usable Models

Set model standards

Adjusted R2 

• Predictability of model based on factors

• Variation of y as explained by factors x

• the higher the better

19

Build Usable Models

Set model standards

P value

• Significance of factors

• Identification of critical factors or  sub processes

• Normality of data

• <

0.05

20

Build Usable Models

Set model standards

VIF (Variance Inflation Factor)

• Multi‐collinearity or dependency

• the lower the better, within threshold

Error rate

• Accuracy of predicted vs. actual values

21

Build Usable Models

Set model standards

Normality

Constancy of variance of errors

Number of factors in the model

Logic of coefficient signs (+/‐) of factors

Probabilistic and not deterministic

22

Build Usable Models

Cover >30% of projects

End to end, Lower level models

Manageable number of models

Assess usability of models

Monitor project usage regularly

Recalibrate models

23

Look for Improvements

Identify sustainable improvements

Focus on a goal

Use available models

Determine assignable, common causes

Consider pilot results and white papers  of other similar organizations

Use six sigma

24

Measure Improvements

Use cost or effort

What does the client want?

Reduce cost no matter how small?

Measuring at lower sub process  may result in higher percentage

Translate into dollars?

25

Assess Impact of Improvements

Determine return on investment

Bunch related improvements

Bunch common costs and expenses

Make short and long term projections

• Benefits may not be realized right away

Apply statistical tests

26

Sustain Improvements

Reward and recognize improvement

Motivate continuous improvement

Link rewards and recognition with goals  to allow faster achievement of goals

27

Contact Information

Mary Gretchen Silos Mondragon

Accenture Philippines

Gretchen.S.Mondragon@accenture.com