management tools for enhancing the composition of survey response

1

1

Management Tools for Management Tools for Enhancing the Composition of Enhancing the Composition of

Survey ResponseSurvey ResponseQ2008

European Conference on Quality in Official StatisticsRome, July 2008

Anne Sundvoll, Bengt Oscar Lagerstrøm Øyvin Kleven, Tora Löfgren,

Statistics Norway

2

Outline

• A growing focus on how to improve response rates, minimize response bias and monitor fieldwork costs during the fieldwork period

• Combination of easily retrieved administrative data and process data make continuous monitoring of survey variable of interest possible

• The task is to maximize the result, given certain constraints as time or costs

3

SIV – A system for managing multi mode data collection

• Co-ordinates CATI, CAPI, CAWI and Paper Questionnaires

• Master Management system

• Updates, reports and graphs

• Quick and continuous re-scheduling of actions

4

In House Case

Management

Deliver Cases

Extract Data

CATI

CAWI

CASI

Blaise Data

Server

ProgressReport

Third Party

Data

In House Data Store

Blaise Input Data

Store

BlaiseCATI

Service

CAPI CADI 4

5

Examples of Administrative Data

• Mode(s)

• Data collection period and dates of actions

• Budget

• Number of Interviewers

• Interviewer characteristics

6

Examples of Process Data

• Response rate

• Composition of nonresponse

– Refusal rate

– Non-contact rate

• Telephone coverage

• Workload

• Cost

7

Management Tools - description

• Snapshots of the data collection process

• Intervention must be possible

• Transparent and predictable management system

8

Data we would like to monitor

During the data collection process, we would like to monitor the composition of…..

• Process data

• Auxiliary data

• Target variables

9

Examples of Quality Indicators

• Response rate

• Non-response rate

• Response bias

• Response burden

• Revisions

• Errors

10

Monitoring of Process Variables

Process variables (Zs)

0102030405060708090

100

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

Week

Per

cen

t

Response rate.Cumulative

Non contact rate

Re-assigned

Unreturned

11

Monitoring of Auxiliary Variables

Auxiliary variables (Xs)

-10,00

-8,00

-6,00

-4,00

-2,00

0,00

2,00

4,00

6,00

8,00

10,00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

Week

Male Low education Middel education

Under 30 Over 66

12

Monitoring of Target Variables

Target varaibles (Ys)

25

30

35

40

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

Week

Per

cen

t

Not at all and notinterested in politics

13

Post stratification by background variables

Target variables (Ys)

0

10

20

30

40

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

Week

Pe

rce

nt

Not at all and not interested in politics, cumulative

Not at all and not interested in politics, cumulative (PS)

14

Benchmarking by data from previous rounds

Y - example. Bias in electoral turnout, response rate by week in field. Election

survey 2005 (2001)

-15

-10

-5

0

5

10

15

1 3 5 7 9 11 13 15 17 19 21

Week

Bia

s in

per

cen

t

0

10

20

30

40

50

60

70

Res

po

nse

rat

e in

p

erce

nt

2001 - Bias 2005 - Bias 2001 - RR 2005 - RR

15

Examination of multiple bias Male Female

Age Young M Old Young M Old Young M Old Young M Old Young M Old Young M Old

Education Low Middle High Low Middle High

Week 1 -0,3 -1,6 1,0 0,2 -3,2 2,0 -1,7 1,4 1,9 -0,2 -1,8 -1,0 -2,3 0,7 0,8 1,0 0,6 2,4

Week 2 -0,5 -0,6 0,6 -0,4 -0,9 1,1 -0,5 2,8 1,0 -0,7 -0,8 -1,2 -2,0 0,6 -0,5 0,6 0,7 0,6

Week 3 -0,1 -0,3 0,3 -0,3 -1,0 1,1 0,5 2,0 0,7 -0,7 -0,3 -1,1 -1,7 -1,4 -0,3 0,3 1,8 0,5

Week 4 0,0 -0,2 0,0 -0,1 -0,7 0,8 0,3 1,9 0,7 -0,5 -0,2 -1,2 -1,2 -1,3 -0,2 0,4 1,3 0,3

Week 5 -0,1 -0,5 -0,2 0,2 0,1 0,6 0,3 1,9 0,5 -0,5 -0,5 -1,1 -1,1 -1,1 -0,2 0,3 1,2 0,2

Week 6 -0,2 -0,2 -0,2 0,3 0,6 0,3 0,2 1,9 0,4 -0,5 -0,8 -1,1 -0,9 -1,2 -0,3 0,4 1,1 0,2

Week 7 -0,2 0,0 -0,3 0,0 0,8 0,3 0,2 1,7 0,3 -0,5 -0,6 -1,1 -0,9 -1,1 -0,2 0,2 1,2 0,1

Week 8 -0,2 0,2 -0,2 0,2 0,6 0,2 0,2 1,4 0,1 -0,5 -0,6 -1,2 -0,7 -0,8 -0,3 0,1 1,2 0,1

Week 9 -0,2 0,2 -0,1 0,3 0,2 0,3 0,1 1,3 0,1 -0,4 -0,5 -0,9 -0,6 -0,9 -0,2 0,0 1,0 0,1

Week 10 -0,2 0,2 -0,1 0,3 0,3 0,3 0,1 1,1 0,1 -0,5 -0,6 -0,9 -0,4 -1,1 -0,3 0,1 1,5 0,0Week 11 -0,2 0,1 0,0 0,3 0,4 0,2 0,1 1,0 0,1 -0,4 -0,6 -0,9 -0,3 -0,9 -0,3 0,0 1,4 0,1Week 12 -0,1 0,0 0,1 0,1 0,4 0,2 0,2 1,0 0,1 -0,3 -0,6 -0,9 -0,3 -0,9 -0,2 0,0 1,3 0,1Week 13 -0,1 0,0 0,1 0,1 0,5 0,1 0,1 1,0 0,1 -0,3 -0,6 -0,8 -0,3 -1,0 -0,2 0,1 1,2 0,1Week 14 -0,1 0,1 0,0 0,2 0,4 0,1 0,2 1,0 0,0 -0,2 -0,7 -0,8 -0,3 -1,0 -0,2 0,1 1,1 0,1Week 15 -0,1 0,0 0,0 0,1 0,4 0,1 0,2 1,1 0,0 -0,2 -0,7 -0,8 -0,3 -1,0 -0,2 0,1 1,1 0,1Week 16 -0,1 0,0 0,0 0,1 0,5 0,1 0,2 1,1 0,0 -0,2 -0,6 -0,8 -0,3 -1,0 -0,2 0,1 1,1 0,1Week 17 -0,1 0,0 0,0 0,1 0,5 0,1 0,2 1,1 0,0 -0,2 -0,6 -0,8 -0,3 -1,0 -0,2 0,1 1,1 0,1

16

Management Tools - Challenges

• Get used to communicate through data displays

• High skilled project managers

• Demand of quick re-sceduling procedures

17

Management Tool - Limitations

• May draw attention away from serious measurement problems

• May indicate more than one issue of concern

• May add new bias

18

Further work

• Development of SIV

• Experiences from real-time data collections

• Development of more sophisticated management tools