7/20/2016

1

Effective, Efficient, and Meaningful 21st CCLC Evaluations

Terri Foulkes, Missouri AfterSchool Network

Wayne Mayfield, PhD, Office of Social and Economic Data Analysis, University of Missouri

“The 21st Century Community Learning Centers’ 2016 Summer Institute has been funded in part with Federal 

funds from the U.S. Department of Education. Any products mentioned are only examples and do not constitute 

endorsement by the U.S. government.”

7/20/2016

2

Today’s Agenda

• Missouri Context

• Multi‐level Data Collection and Improvement System

– Statewide Evaluation

– Local/External Evaluation

– Site Level Quality Improvement

• 21st CCLC Statewide Evaluation Results

MASN builds partnerships and systems across the state that improve, support, and sustain 

high quality afterschool programs.

* Mott‐funded Statewide Afterschool Network (SAN)* National Afterschool Association (NAA) affiliate

* 21st CCLC Training and Technical Assistance provider for theDepartment of Elementary and Secondary Education (DESE)

* Housed at the University of Missouri 4‐H Center for Youth Development

7/20/2016

3

MASN Goals

Goal 1 

Foster partnerships at the local, state, and national level to support afterschool professionals and programs.

Goal 2 

Develop public support, garner resources, and build relationships with Afterschool Champions to support and assist with efforts to secure new state funding for afterschool programs.  

Goal 3 

Ensure quality by providing professional development, technical assistance, and other supports to afterschool professionals and programs, while working on elevating the profession.

Quality Work

• Training and Technical Assistance (2005)– 21st CCLC and School Age Community (SAC)

• Kids Care Center Support (2005)– 21APR

• Core Competencies (2006, 2011)• Program Standards (2008)

– Program Self‐Assessment

• Statewide Data Collection Resources (2012)– Consistent youth, parent, staff surveys

• 21st CCLC Statewide Evaluation (2013)• CCDF Changes and School Age Licensing Rules (in progress)

7/20/2016

4

Technical Assistance and Training

Resources

PQA

KCC

Surveys

Action Plan

Coaching Visits

Training

Improve

Assess

Plan

Change Over Time

• FY12 – “How do we better evaluate the effectiveness of the Network and the T/TA provided to grantees?”– White paper:

• Mayfield, W. (2012). Recommendations for Program‐ and Site‐Level Data Collection to Support the Evaluation of the Missouri AfterSchool Network, Missouri Afterschool Resource Center, and Program Outcomes. Report to Department of Elementary and Secondary Education.

– Need:• Local evaluations – average $5,683 per grantee 

• Local program objectives were lacking, varied interpretation of report guidelines

• Statewide evaluation data was focused on aggregate performance

– Recommendations:• Measurable objectives

• Quality of local evaluations

• Consistent use of KCC and survey data 

• Standardized program observation tool

• Standardized youth outcomes measures

7/20/2016

5

Change Over Time

• Pilot Year ‐ FY13– Piloted School‐Age PQA Walk Through Method– Supported development of STEM PQA Scores Reporter

• Year 1 ‐ FY14 – Began using the PQAs (21st CCLC sites)– Online surveys (Youth, Families, Staff, Coordinators, School Admins, Community Partners)– 21st CCLC Statewide Evaluation (3 goals at statewide level)

• Year 2 ‐ FY15  – PQAs for CCDF sites added– Paper version of the Younger Youth Survey– CCDF/21st CCLC Comparison Report– Guided Reflection Process (local evaluation – 3 goals at grantee level)– Advanced Planning with Data includes both PQA feedback and survey results– Youth Work Methods based on QAP

• Year 3 ‐ FY16 – Mini Planning with Data– PQAs and Surveys for St. Louis Mental Health Board sites

Funding the Data Collection and Evaluation System

• Paid by DESE– $30,000 for Statewide Evaluation to MASN

• $15,000 Weikart

• $15,000 OSEDA

• Paid by grantee– Data collection

• $900 per site – PQA• $600 per site – Surveys

– Local Evaluator (Guided Reflection Process)• $2000 per grant (one site), plus $200 per additional site

7/20/2016

6

Grantees Evaluation Expenses by Number of Sites

# of Sites Data Collection Certified External Evaluator

Total External Evaluation Cost

1 $1,500 $2,000 $3,5002 $3,000 $2,200 $5,2003 $4,500 $2,400 $6,9004 $6,000 $2,600 $8,6005 $7,500 $2,800 $10,3006 $9,000 $3,000 $12,0007 $10,500 $3,200 $13,7008 $12,000 $3,400 $15,400

External Evaluation Costs

• Used budgeted amounts in grants 

– 63 grantees, 165 sites, average $322,238 per grant

• Overall savings, but some grantees did experience an increase

– Average cost per grantee:

• Previous‐$6,826, Current‐$6,252 (8.4% savings)

– Percent of grant used on evaluation (median)

• Previous‐1.06%, Current‐1.73% 

• Current range‐0.88%‐4.39%

7/20/2016

7

Guiding Principles

• Grantees and sites should see and be able to use the data collected

• If we are going to collect it, it should be used

• Expectations (goals) should be consistent across all levels (site, grant, state)

• Programs need support with interpreting and using their data

Comprehensive Data Collection and Improvement Framework

7/20/2016

8

Network Role

• MASN coordinates the Statewide and Local Evaluation 

– Sub contracting with Weikart Center and OSEDAfor survey development, data analysis, and report writing

– Providing training/certification of external evaluators

–Managing the data collection process

Apples‐to‐ApplesEvaluation System

Evaluation Design

• MASN

• OSEDA

• DESE

Data Collection

• MASN

• Grantees

Data Report 

Generation

• OSEDA

• Weikart

Local Context 

and Guided Reflection

• Local Evaluator

• Grantees

Grantee Level Action Plans

• Grantees

• Coaches

Site Level Action Plans

Planning with Data

Statewide Evaluation

Additional Analysis

Site

Grant

State

• OSEDA

• Weikart• OSEDA

• Weikart

• Sites

• Coaches

• Sites

• Coaches

7/20/2016

9

Evaluation Design

Afterschool Logic Model

Afterschool Program Quality

Afterschool Program Quality

Youth OutcomesYouth 

Outcomes

College and 

Career Readiness/Success

College and 

Career Readiness/Success

AS Staff Skills

AS Staff Skills

AS Program Structure

AS Program Structure

TrainingTraining

CoachingCoaching

Self‐assessment 

Self‐assessment 

7/20/2016

10

Goals

• Goal 1:  Support or increase student achievement and sense of competence in the areas of reading/communication arts, mathematics, and science.

• Goal 2:  Develop and maintain a quality program that includes a safe and supportive environment, positive interactions, and meaningful opportunities for engagement.

• Goal 3:  Enhance youth’s college and career readiness skills and behaviors, including positive school behaviors, personal and social skills, and commitment to learning.  

Goal 1: Support or increase student achievement and sense of competence in the areas of reading/ communication arts, mathematics, and science.

Objective 1.1:  At least 50% of youth per site will maintain and/or increase their grades in reading/communication arts during the school year as measured by pre‐/post‐grades entered into Kids Care Center.

Objective 1.2:  At least 50% of youth per site will maintain and/or increase their grades in math during the school year as measured by pre‐/post‐grades entered into Kids Care Center.

Objective 1.3:  At least 50% of youth per site will maintain and/or increase their grades in science during the school year as measured by pre‐/post‐grades entered into Kids Care Center.

Objective 1.4:  At least 70% of youth per site will report a medium to high level of reading efficacy as measured by items on the youth survey (average score of 3.5 or higher).

Objective 1.5:  At least 70% of youth per site will report a medium to high level of math efficacy as measured by items on the youth survey (average score of 3.5 or higher).

Objective 1.6: At least 70% of youth per site will report a medium to high level of interest and engagement in STEM as measured by items on the youth survey (total score of 3.0 or higher).

7/20/2016

11

Goal 2: Develop and maintain a quality program that includes a safe and supportive environment, positive interactions, and meaningful opportunities for engagement.

Objective 2.1:  All sites will score at least an average 2.9 on the Program Quality Assessment tool.

Objective 2.2: All sites will score at least an average 3.0 on the Organizational Context Leading Indicators of Staffing Model and Continuous Improvement.  

Objective 2.3: All sites will score at least an average 3.0 on the Instructional Context Leading Indicators of Academic Press and Engaging Instruction.

Objective 2.4: All sites will score at least an average 3.0 on the External Relationships Leading Indicators of Family Communication and School Alignment.

Goal 3: Enhance youth’s college and career readiness skills and behaviors, including positive school behaviors, personal and social skills, and commitment to learning.  

Objective 3.1:  At least 50% of youth per site will meet or exceed the school district’s average rate of school‐day attendance. (FY17)

Objective 3.2:  At least 50% of total youth enrolled in the afterschool program per site will have at least 60 days of attendance in the afterschool program.

Objective 3.3:  At least 50% of youth per site will have no in‐building or out‐of‐school suspensions. (FY17)

Objective 3.4: At least 70% of youth per site will indicate a medium to high level of personal and social skills as measured by items on the youth survey (average score of 3.5 or higher).

Objective 3.5:  At least 70% of youth per site will indicate a medium to high level of commitment to learning as measured by items on the youth survey (average score of 3.5 or higher).

7/20/2016

12

Data Collection

Data Sources for Statewide, Grantee, and Site Reports

• Kids Care Center (21APR)– Attendance, Grades

• Program Quality Assessments (PQAs)– School‐Age Walkthrough and STEM PQA

• Surveys – Youth, Family, Coordinator, Staff, Teacher, School Administrator, and Community Partner

• DESE Core Data (FY17)– School Day Attendance, Suspensions

7/20/2016

13

Data Collection Considerations

• Volume of Data

– Common Org ID

– 18,000+ surveys

– 200+ observations (4‐H partnership)

• Efficiency for Staff

– Online and paper

• Student Identifiers

– Kids Care Center system ID used to link surveys, attendance, and grades 

• Timing– Surveys in spring

– PQAs throughout the year

– Reports due in summer

– Action Plans annually

Data Report Generation

7/20/2016

14

Four Reports Prepared

• Site Summary – Shows Met/Not Met and percentage for each objective

• College and Career Readiness – Individual item level data for scales 

• PQA – Detailed feedback report about observation including comments from the observer

• Leading Indicators– Individual item level data for scales that are part of the Leading Indicators report for program improvement

Analysis and Use of the Data

7/20/2016

15

21st CCLC Statewide Evaluation

• OSEDA – Goals 1 and 3

• Weikart Center – Goal 2

• Report format of Statewide Evaluation

– Summary chart of “met/not met” of each objective

– For each goal:

• Data analysis

• Narrative

• Recommendations

Additional Statewide Analysis

• OSEDA completes a second statewide           report – Compares 21st CCLC and CCDF funded            grantees 

– Includes additional scales

• Combing the data– Impact of professional development

– Compelling statistics for public awareness documents

7/20/2016

16

Benefits

• 21st CCLC Evaluation includes wider             variety of data

• Data is linked by site and student and          can be compared over time

• Statewide data used to – measure the impact of training and technical assistance 

– Determine possible changes/clarification to grant requirements

Regional Use

• St. Louis Mental Health Board

– 16 sites that receive Children’s Services Funds to provide afterschool programming

– Same data collection, site level reports, similar structure of aggregate report

7/20/2016

17

Grantee External Evaluations

• Certified external evaluator and             program director receive the reports

• Meet to complete the Guided Reflection document

– Reflect on data and put in the local context

– Narrative that highlights the data and compares it from year to year

Guided Reflection Document

• Brief description of the program

• Local Context

– Narrative organized by goals and stakeholders (e.g., “Describe the issues (youth, staff, school, community) that have a positive or negative impact on the program’s ability to…)

• Review of Data Reports

– Chart to succinctly capture met/not‐met for all sites

7/20/2016

18

Guided Reflection Document

• Status of Goals and Objectives– Leading questions for each goal (e.g., “What        trends can be seen across all sites?  How                 does the local context fit this data?”) 

– Narrative response focuses on themes, trends, and connections

• Longitudinal Progress– Leading questions focus on trends across time– Recap progress on the specific objective(s) selected by the  program to work on from year to year

– Discuss/recommend possible objective(s) to improve on in upcoming year

Certified External Evaluators

• MASN provides the training and              certification to the External Evaluators

– Annual training and renewal 

– At least a master’s degree, with experience in educational evaluation

– Consistent rates: $2000/grantee (includes one site) +$200 per additional site

7/20/2016

19

Benefits

• Apples to apples look at the grantees

• Better, more comprehensive picture of          the local level

• Cost effective evaluation structure

• The coach and program director use the recommendations to develop a grantee level Quality Action Plan

Site‐Level Quality Improvement

• Site teams attend a Planning with                Data session 

– Overview of the data sources

– Develop professional learning community

– Review site specific data

– Develop site‐level Quality Action Plans

– Select Youth Work Methods Trainings

7/20/2016

20

Benefits

• Reduces confusion 

– One set of goals and objectives

– Site level program improvement is tied to            the same goals and objectives as the grantee and state

• Programs receive support (coaching, training, and resources) that match their action plans

7/20/2016

21

Reoccurring Expenses

• Weikart – consulting for reports

– Training of assessors, coaches

– Scores Reporter

– Site Reports, Statewide Evaluation Report

• OSEDA – consulting for reports, staff time for systems building

– Site Reports, Statewide Evaluation Reports

– Ongoing Research and Evaluation Consultation

• MASN and 4‐H – staff time, payments to coaches and observers

– Data collection coordination, monitoring, and support

– Online data collection, scantron forms, on‐site PQA observers

– Technical assistance was previously funded through T/TA with DESE, but new model is much more expensive(~$300 PWD/site, ~$300 YWM/grantee)

Future Enhancements

• Impact of Professional Development – Registry Data

– MOPD IDs linked to Org IDs

• DESSA – Social and Emotional– Pilot with DESSA‐mini

– Data for statewide and local evaluation, resources for site‐level activities and support

• Strengthening Families– Have the survey data but need to develop the goal/objective and coaching supports.

7/20/2016

22

Advice from Missouri

• Think big • Build a flexible system • Invite afterschool program staff and other stakeholders to 

provide input • Support programs in their use of data, especially for quality 

improvement• Forge good relationships with key parties • Be aware that system change/changing the status quo is 

hard • Always keep in mind the afterschool programs and the 

youth and families they serve • Know what your data can and cannot say

Evaluation Results for 21st CCLC Sites

7/20/2016

23

Data for Statewide Evaluation(includes 21st CCLC and CCDF sites)

Goal 1: At least 70% of youth per site report medium to high levels of efficacy in reading, math, and science

66.5%72.8%

58.8%

66.7% 67.9%

58.5%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Reading efficacy Math efficacy Science efficacy

2014‐15(n = 156)

2015‐16(n = 156)

7/20/2016

24

Goal 2: All sites will score at least 2.9 overall on PQA

96.9% 98.1% 94.9%

0%

20%

40%

60%

80%

100%

Overall PQA

2013‐14(n = 149)

2014‐15(n = 159)

2015‐16(n = 158)

Statewide PQA Results for 21st CCLC Sites

4.78

4.27

3.77

3.21

3.713.96

4.8

4.38

3.83

3.24

3.774.02

4.83

4.364.06

3.2

3.834.06

1

2

3

4

5

SafeEnvironment

SupportiveEnvironment

Interaction Engagement OverallInstructional

Quality

Overall PQA

2013‐14(n = 149)

2014‐15(n = 156)

2015‐16(n = 156)

7/20/2016

25

Goal 3: At least 50% of total youth enrolled in the afterschool program per site will have at least 60 days of attendance in the 

afterschool program.

44%

53%

0%

20%

40%

60%

80%

100%Axis Title

At least 60 days of attendance

2013‐14(n = 157)

2014‐15(n = 156)

Goal 3: At least 70% of youth per site will indicate medium to high levels of personal/social skills and commitment to learning

97.5% 94.3%98.1% 97.4%

0%

20%

40%

60%

80%

100%

Personal and Social Skills Commitment to Learning

2014‐15(n = 157 )

2015‐16(n = 156)

7/20/2016

26

Questions?

Terri Foulkes, Missouri AfterSchool Network, foulkest@missouri.edu 

Wayne Mayfield, PhD, Office of Social and Economic Data Analysis, mayfieldw@missouri.edu