Making a Difference in Student Success…and Proving It!

Presenters

Sara Wilson, USA Funds(317) 806‐0140Sara.Wilson@usafunds.org

Jeff Webster, TG(512) 219‐4504jeff.Webster@tgslc.org

Why measure?

• Track progress towards goal(s) identified when building the program

• Assess effectiveness of program and make improvements

• To prove that what we’re doing makes a difference

I tried to measure but…

• Challenges: • “Doing no harm” does not equal “doing good”• Difficult to prove scientifically (attribution vs. contribution)

• Solution: look for leading indicators — knowledge, attitudes and behaviors

What have others done?

• Use national datasets• Numerous school and program specific research studies• Some nationwide research on the state of financial literacy• Very limited nationwide research on effectiveness

Jeff Webster,  Assistant Vice President‐ Research and Analytical Services, TG

Student Loan CounselingA multi‐phase project on student loan counseling and its efficacy 

Outline

• Policy climate• Legislative and regulatory history• Research literature review• Student observations: Exit counseling• Student observations: Entrance counseling• Evidence‐based promising practices• Next steps

Policy Climate

• Lack of college affordability• The Great Recession made repayment challenging, even for good students from affluent families

• Harsh consequences for poor decisions that lead to default

• President Obama’s Executive Action• Congressional proposals

Legislative and Regulatory History of Loan Counseling• (1986) HEA Amendments: first statutory mandate for exit counseling

• (1989) Student Loan Default Reduction Initiative: required entrance counseling and specified information to share

• (1998) HEA amendments: clarified that electronic delivery of exit counseling was allowed

• (2000) ED regulations: explain MPN, consequences of default and the mandatory nature of repayment

• (2008) Higher Education Opportunity Act: Interactive programs for counseling, role of lenders, and added information requirements 

Literature Review

• Student comprehension• Delivery method• Timing• Complexity and volume of information

Outline

• Policy climate• Legislative and regulatory history• Research literature review

• Student observations: Exit counseling• Student observations: Entrance counseling• Evidence‐based promising practices• Next steps

Current Title IV Loan Counseling

• Dominated by ED’s online tools (free, scalable, legal)• 70% utilization among fin aid offices• 90% of offices in budget crunch cut face‐to‐face first

• No theoretical or practical evidence on effectiveness among actual users

Exploring Effectiveness: The Research Design• 75‐80 user experience tests

• Actual borrowers doing the actual counseling• About half exit counseling, half entrance• Accompanied by surveys

• 12 schools• Diversity of sector, region, gender, age, race, parent’s education, level of financial literacy & financial aid awareness

Some Positive Themes

• They take this seriously; begin with full tanks• They know the basics and want specifics• They are optimistic about repayment• They prefer items specific to them and their money

More Positive Themes 

• They like the interactive elements• They like auto‐population and logic• They really like the detailed repayment plan comparison chart

• Most understand importance of servicer

Negative Themes: Pop‐up Quizzes

• Signals that the information is important• But students perceive it to be trivial

• Common sense• Unimportant detail• Too easy to cut and paste the answer

• Has unintended consequence of devaluing the experience

“The questions are weird. It’s like either something really basic or some crazy detail. They’re definitely not teaching me anything important.” 

Negative Themes: Skip Dynamic

• Borrower is confronted with irrelevant information• MPN during exit• Eligibility criteria for PLUS loans during exit• Relief options for FFELP loans they don’t have

• Leads to devaluing the experience

Uniform High 

ImportanceMeticulous Reading

Irrelevant Material

Inattention, Uniform 

Devaluation Skimming Selective 

Reading

Lack of Differentiatio

n 

Severe Inattention & Frustration

Incorrect Skipping

Uniform High 

Importance

Meticulous Reading

Irrelevant Material

Inattention, Uniform 

Devaluation Skimming Selective 

ReadingLack of 

Differentiation 

Severe Inattention 

& Frustration

Incorrect Skipping

Uniform High 

Importance

Meticulous Reading

Irrelevant Material

Inattention, Uniform 

Devaluation Skimming Selective 

ReadingLack of 

Differentiation 

Severe Inattention & Frustration

Incorrect Skipping

Uniform High 

ImportanceMeticulous Reading

Irrelevant Material

Inattention, Uniform 

Devaluation Skimming Selective 

ReadingLack of 

Differentiation 

Severe Inattention 

& Frustration

Incorrect Skipping

Uniform High 

Importance

Meticulous Reading

Irrelevant Material

Inattention, Uniform 

Devaluation Skimming Selective 

ReadingLack of 

Differentiation 

Severe Inattention 

& Frustration

Incorrect Skipping

Uniform High 

Importance

Meticulous Reading

Irrelevant Material

Inattention, Uniform 

Devaluation Skimming

Selective Reading

Lack of Differentiatio

n 

Severe Inattention 

& Frustration

Incorrect Skipping

Uniform High 

Importance

Meticulous Reading

Irrelevant Material

Inattention, Uniform 

Devaluation Skimming Selective 

ReadingLack of 

Differentiation Severe 

Inattention & Frustration

Incorrect Skipping

Uniform High 

Importance

Meticulous Reading

Irrelevant Material

Inattention, Uniform 

Devaluation Skimming Selective 

ReadingLack of 

Differentiation 

Severe Inattention 

& Frustration

Incorrect Skipping

Uniform High 

Importance

Meticulous Reading

Irrelevant Material

Inattention, Uniform 

Devaluation Skimming Selective 

ReadingLack of 

Differentiation 

Severe Inattention 

& Frustration

Incorrect Skipping

Negative Themes: Nature and Implication of Skimming• Headlines and first sentence or two are read; and then they make a quick judgment

• Borrower may not see the right information• Borrower may not make the right judgment• They rationalize their new lackadaisical attitude

• Either the servicer will tell me if it is important or I will search Google if/when a problem occurs.

• Result: Borrower fails to be own advocate, becomes passive

“The servicer wants my money, right? So, they’ll just email me.” 

What the Borrower Wants

• Introductory guidance• Framework• More white space, less bulk• Signal if the material is applicable to this borrower

“They know what loans I had, so it would have been nice if they could have just populated the website with the information that I need. Plus there was a lot of stuff that was sort of good general advice, but wasn’t really about repaying your loans, and it just added to the bulk.”

Outline

• Policy climate• Legislative and regulatory history• Research literature review• Student observations: Exit counseling

• Student observations: Entrance counseling

• Evidence‐based promising practices• Next steps

Similar Themes Found With Exit Counseling• Students like practical information, especially when it’s specific to them

• Text heavy; information overload• Lack of introductory guidance• Skimming and skipping

Preliminary Notes from Entrance Counseling• Same level of complexity as exit, even though students are at a very different place

• Timing – can create a beginning of the semester madhouse

Preliminary Notes from Entrance Counseling• Same level of complexity as exit, even though students are at a very different place

• Timing – can create a beginning of the semester madhouse

• Students need to bring certain pieces of information to get the most out of the counseling

• Calculators are problematic

What Counselors Can Do

• Provide background/introductory information• Send YouTube link first• Help borrowers locate their servicer contact information

• Explain the purpose behind the budget tools

What Counselors Can Do

• Provide background/introductory information• Send YouTube link first• Help borrowers locate their servicer contact information

• Explain the purpose behind the budget tools• Frame the IDR repayment option differently

• Complicated and inflexible• Suboptimal difference • Agnosticism of the material

• Supplement information with your expertise

“There’s so much information, but there’s not a lot of counseling.”

Simple Specifics for Counselors

Outline

• Policy climate• Legislative and regulatory history• Research literature review• Student observations: Exit counseling• Student observations: Entrance counseling

• Evidence‐based promising practices• Next steps

Evidence‐based Promising Practices: Goals• Inventory the diversity of approaches used by schools that are advancing beyond minimum requirements

• Assess the efficacy of these approaches• Better understand the obstacles and opportunities facing schools

• Make recommendations for practitioners and policymakers

Promising Practices: Schools Selected

• Baldwin Wallace University• Broward College• El Paso Community College• Northern Virginia Community College• Ohio State University• SUNY College of Environmental Science and Forestry• University of South Florida• Western Technical College

Evidence‐based Promising Practices: Approaches• Integration of counseling across departments• Robust, in‐person entrance counseling• Peer‐to‐peer counseling with emphasis on financial wellness

• Financial literacy training• Annual loan counseling• Robust, in‐person exit counseling

Next Steps

• First report will be on legislative history and literature review (Winter)

• Second report will be on borrower observations from the exit counseling (Winter)

• Third report will be on borrower observations from the entrance counseling (Spring)

• Fourth report will be on best practices (Spring)• Fifth report will be a policy focused report (Spring)• Feedback from ED and U.S. Treasury Department

“But what can I do?”

What to measure?

• No need to reinvent the wheel – use learning evaluation models

• As many as 30 evaluation models out there.• Some to consider:

• Kirkpatrick’s Four Levels of Evaluation• Phillips’s ROI Process Model• Brinkerhoff’s Six‐Stage Evaluation and Success Case Method• Targeted Evaluation Process• Input – Process – Output 

Kirkpatrick’s Four Levels of Evaluation• Developed more than 50 years ago• Most existing models today use the existing framework established by Kirkpatrick

• Evaluation = steps to measure reaction, learning, behavior and results

• Viewed as a value chain where data is collected at different times to provide a balanced profile of success

Kirkpatrick’s Four Levels of Evaluation

Kirkpatrick, D. L. & James D. Kirkpatrick. (2006). Evaluating training programs: The four levels, 3rd ed. San Francisco: Berrett-Koehler

Level Measurement Focus Key Questions

Input - 0 Volume and exposure to materials

How many participants? What topics were presented?

Reaction - 1 Satisfaction with program

Was the program relevant, important and useful at this time?

Learning - 2Knowledge and ability to apply newly learned skills

Did participants increase or enhance knowledge, skills or perceptions and haveconfidence to use them?

Attitude andPlanned Action - 2

Participant planned actions

What’s one thing you plan to do differently related to managing your finances after receiving this training?

Application - 3 Changes in behaviorWhat did you do differently after related to managing your finances after receiving the training?

Impact - 4 Impact Did it impact the bottom line? Did you meet your ultimate goal?

Phillips’s ROI Process Model

• Jack Phillips took Kirkpatrick’s model and: • Slightly modified definitions of existing levels• Added a fifth level — ROI 

• Model shows how data is collected and integrated

Brinkerhoff’s Six‐Stage Evaluation

• Evaluation is a cycle, with each stage recycling itself through the evaluation process

• Each stage has questions to answer before moving on to next stage

• Training must meet two criteria:• Produce learning changes with efficiency and efficacy• The result of training must benefit the organization 

• Model assumes that the primary reason for evaluation is to improve the program

Brinkerhoff’s Success Case Method

• Easier, faster method to evaluate training• Primary goal – is the training working• Method narrows the audience as you go:

• Survey all• Interview some• Document the stories of a couple• Share the collective results

Targeted Evaluation Process

• Developed by Wendy Combs and Salvatore Falletta• Systematic approach to evaluate a broad range of interventions

• Combines needs assessment with evaluation

Input – Process – Output 

• Developed by D.S. Bushnell to support IBM’s corporate education strategy

• Combines features from both Kirkpatrick’s four‐level model and Brinkerhoff’s six‐stage model

• Accounts for things that affect training effectiveness:• Trainee qualifications• Trainer qualifications• Program design• Materials• Facilities

Getting Started

• Identify the need.• Clearly and specifically define the goals and objectives of the lesson, course, presentation…

• Goals, then assessment and finally teaching methods

• Remember the learners’ perspective• What is driving them, make it relevant

• Design, implement, evaluate, repeat….

How to measure

• Review the SLO’s identified when building the program• Implement assessment methods that will measure whether or not the SLO’s were met

• Pre‐test and post‐test• End of course survey

• Self reported data, but is still a good way to measure• Student surveys at set times after the course, workshop or other training/teaching event

• Long term tracking/research

Example: Life Skills

• Nearly 665,000 courses completed by more than 194,000 students.

• Average post‐course assessment score: 88%• Immediate post‐course survey (approx. 107,000 surveys):

• Average student rating for usability, relevance and satisfaction: 4.2 out of 5

• Average knowledge before: 3.4• Average knowledge after: 4.4• Intent to change behavior: 94%

Example: Life Skills

• Follow‐up survey (approx. 12,800 surveys):• 93% reported making a positive change in behavior

• Top behavior changes reported:1. I consider if an item is a need or want before purchasing it 

and spend less on wants.2. I established educational, financial and/or career goals.3. I researched and understand the requirements to complete 

my program of study.4. I avoid taking on additional debt unless I am sure I can 

afford the payments.5. I spend more time on activities that help me achieve my 

educational, financial and career goals.

Questions?

Presenters

Sara Wilson, USA Funds(317) 806‐0140Sara.Wilson@usafunds.org

Jeff Webster, TG(512) 219‐4504jeff.Webster@tgslc.org