National SOC Expansion Evaluation

Child and Family Outcomes Study Training

Training Objectives

• Understand the goals and purpose of the National Evaluation’s Child and Family Outcomes Study

• Learn about specific data collection procedures 

• Be prepared to start the process of            collecting child and family data

• Know how to obtain Technical Assistance

What is the National SOC Expansion Evaluation?

• The National SOC Expansion Evaluation for the Children’s Mental Health Initiative (CMHI) is funded by the Substance Abuse and Mental Health Services Administration (SAMHSA) for all System of Care (SOC) Expansion grants

• One of our goals is to describe how grantees are implementing and expanding SOC at multiple levels 

• Examine what approaches and mechanisms are related to successful implementation and expansion

What is the Child and Family Outcomes Study designed to do?

• Describe the individual and family characteristics of youth and families receiving services in SOC expansion sites

• Track how youth and family outcomes and experiences change over time

Why are child and family data important?

• Provides feedback regarding how youth and families experience systems of care

• Can inform service delivery, quality improvement, programming, and service provision at the local level

• Can be used locally or nationally to develop effective policies for systems of care

• Provides information  about the                       outcomes associated with systems                                         of care

How are the data used?

• Sites will have access to their child and family data, which can be used for analysis, reporting and quality monitoring

• Aggregated child and family data will be used to complete reports and presentations on behalf of SAMHSA to summarize findings from the National Evaluation, including the annual Report to Congress

National Evaluation and TRAC

Difference between National Evaluation and TRAC

TRAC• TRAC is the system for data reporting 

used by all SAMHSA funded grantees

• Data requirements include existing GPRA / NOMS data

• NOMs questions in TRAC are asked of caregivers OR youth

National Evaluation• Evaluation of the SOC Expansion 

Grant program ONLY

• Additional data elements/variablesseparate and different from TRAC

• Child and Family Outcomes Study questions are asked of caregivers AND youth (age 11‐17)

Difference between National Evaluation and TRAC

• TRAC data requirements, processes, and implementation status are different and separate from the National Evaluation 

• The National Evaluation Team is not involved with TRAC implementation

• SAMHSA GPOs will address TRAC related questions and concerns

Child and Family Outcomes Study Data Collection Specifics

How often is information collected?

The child and family data are collected at a maximum of 3 time points:

• Baseline interview• 6‐month follow‐up interview • 12‐month follow‐up interview OR at discharge interview (whichever comes first)

Who can participate in the Child and Family Outcomes Study?

• Youth and caregivers whose data are being entered in the TRAC system for SAMHSA are eligible for the Child and Family Outcomes Study

• The goal is to collect Child and Family Outcome Study data on all eligible and consenting youth and caregivers receiving services within a SOC expansion grant site.

Who is interviewed for the Child and Family Outcomes Study?

Three types of respondents include:• Primary Caregivers for children 5‐17 years old• Youth (11 to 17 years old)• Young adults (18 – 21 years old)

Who is interviewed for the Child and Family Outcomes Study?

Age of youth Who is interviewedChildren age 5‐11 Only the caregiver 

respondsYouth age 11‐17 Both the youth and 

caregiver respondsYoung adults age 18‐21 Only the young adult 

responds

Who can participate in the Child and Family Outcomes Study?

To be included, youth respondents will need to: Receive services within a local service system of a funded 

expansion SOC grant  Be age 5 to 21 years old  Have a behavioral health diagnosis  Have a participating caregiver if the youth is age 5 to 17 years 

old  Provide informed consent/assent Have baseline data collected within 30 days of entry into 

service system

Primary Caregiver May be someone other than the biological, adoptive, or foster parent

May change over time May not have custody of the youth (but requires consent from legal guardian)

One adult respondent included during each data collection interview

Youth 11‐21 years old Obtain new consent for youth who reach 18 during follow‐up data collection

Identifying Appropriate Respondents

Example of Enrollment Process into the Child and Family Outcome Study

Youth referred to SOC service

STOP

Is the youth 

eligible for SOC 

services?

Is the family 

eligible for the study?

Introduce C&F

outcome study

Is the family 

interested?

Caregiver/YA grants informed consent?

Is youth age 11‐17 willing?

Yes Yes

No NoNo

Yes

Conduct Caregiver/YA interview

Conduct youth interview

No

Yes No

Yes

Yes

Who are the Data Collectors?

• Each grantee team determines who would be most appropriate to collect the data in their SOC

• There are many types of data collectors– For example, providers already collecting the data in TRAC, family members, service delivery providers (e.g., therapists), clinical intake staff, care coordinators, professional interviewers, or other members of the community, etc.

How are child and family data collected?

• Grantees will interview caregivers and youth/ young adults using the Child and Family Outcomes instruments 

• Grantees will collect background, demographic, clinical and functioning, and family data

• Background data will include data drawn from administrative and clinical records

What information is collected from caregivers?

Information about youth• Behavioral health• Psychosocial functioning• Youth history• Family/living situationInformation about the family• Caregiver strain

What information is collected from youth?

Information about child/youth• Behavioral health• Psychosocial functioning

What information is collected from young adults?

Information about young adult• Behavioral health• Psychosocial functioning• Young adult history• Family/living situation

What standardized tools are in the child and family interview?

• Pediatric Symptom Checklist ‐ 17 items (PSC‐17) – Youth, young adult, and caregiver interview

• Columbia Impairment Scale ‐ 13 items (CIS)– Youth, young adult and caregiver interview

• Caregiver Strain Questionnaire ‐ 13 items (CGSQ‐13)– Caregiver interview

How long will the interview take?

Child and Family Outcome Component RespondentApproximate Time per 

Component

Background/Administrative data (collected from record review)

Interviewer/Site Staff 12 minutes

Family/Living InformationCaregivers of youth age 5‐17 3 minutes

Young Adults age 18‐21 3 minutes

Caregiver Strain Questionnaire (CGS‐17) Caregivers of youth age 5‐17 7 minutes

Columbia Impairment Scale (CIS)Caregivers of youth age 5‐17 5 minutesYouth age 11‐21 5 minutes

Pediatric Symptom Checklist 17 (PSC‐17)Caregivers of youth age 5‐17 3 minutesYouth age 11‐21 3 minutes

Baseline Interview: Target Dates

• Collect baseline interview for the Child and Family Outcome Study within 30 days of when initial services/treatment begins

• Different systems will have different points when the “clock starts”

• Site Liaisons will work with you to determine when the 30‐day window will begin in your SOC

Follow‐up Interviews: Target Dates

• Follow‐up interviews are conducted within 30 days of the target interview date (30 days before or 30 days after the target date for the follow‐up.

• The follow‐up is calculated from the date of the baseline interview

• A discharge interview is conducted if the youth leaves care before a follow‐up target date

Multiple Interview Sessions

• If possible, youth and caregiver interviews should be completed on the same day

• If that is not possible, interviews can be scheduled across multiple sessions

• Efforts should be made to schedule interviews as close together as possible

Youth Already Receiving Services

• Youth who are already in your SOC and are currently receiving services may also participate 

• For youth who were already receiving care, baseline interviews should be completed the next time your project has contact with the youth or caregiver.

Grantee Questions

• What if a child is in the custody of the state, is there a caregiver interview with staff?– If the youth is in the custody of the state and no caregiver is available, you do not have to conduct caregiver interviews with staff who are involved with the youth –there are no staff as caregiver interviews

– If a youth in state custody has a caregiver who knows them well enough to respond to the questions (e.g., a foster parent or parent of origin who has physical custody but not legal custody), that caregiver could participate as long as whoever has legal authority provides consent

Grantee Questions

• Can we enroll siblings receiving care?– Yes, if there are siblings receiving care, you can enroll both youth. If their ages fall within the range of needing a caregiver report, caregivers would then have to report on both youth. 

• Is there a Spanish version of the tools?– Yes, we have a Spanish version of the tools that we can provide to grantees who request it.

Grantee Questions

• What if a youth is in a residential setting, is there a caregiver interview?– If a youth is in a residential setting, a caregiver may participate in the interview if they have had enough contact be able to be knowledgeable about the youth.

• What do we do if we are serving children ages 0‐5?– If the children served in your SOC are age 0‐4, then you would continue to collect TRAC data with them, but they would not be eligible for the National Evaluation. Caregivers of 5 year‐olds can participate in the National Evaluation. If a child turns 5 while in services, the caregiver could participate in the National Evaluation.

How are data submitted to the National Evaluation Team?

• Child and Family Outcome Study data are submitted online through the CMHI Portal

• The CMHI Portal is a website that grantees can access to enter data for various data collection efforts for the National Evaluation 

• We will have a separate training about how to use the CMHI Portal in July

When can data collection begin?

• Data collection for the Child and Family Outcome Study can begin as early as July 1

• Data can be entered into the CMHI portal at the end of July 

Data Collection Considerations

Grantee IRB

• If you decided to seek IRB approval for the Child and Family Outcome Study we will need an IRB authorization letter to receive data

• If you decided not to pursue IRB approval we will need written documentation (a brief email is fine) about why you are not seeking IRB approval in order to receive data

Crisis‐Related Reporting

• Each grantee should have crisis protocols if respondents report:– Suicidal ideation or actions– Recent or ongoing abuse/neglect– Immediate or impending harm to others– Other site‐specific events

Support Resources for Grantees Starting Data Collection

Grantee Support

• If you have questions about the Child and Family Outcomes Study:

– Contact the Site Liaison assigned to your site – Email the Help Desk with any questions or concerns

CMHIeval@westat.com

• Site Liaisons will email the slides and recording of this presentation to grant staff next week 

Site Liaison

Glynis JonesGlynisJones@westat.comPh: 301‐251‐8233

• Delaware State Dept. of Services/Children Youth and Their Families

• Commonwealth of MA Dept. of Health• City of Pasadena• San Francisco Dept. of Public Health• Utah Department of Human Services

Site Liaison

Bennie Osafo‐DarkoBenedictaOsafo‐Darko@westat.comPh: 301‐294‐2817

• Guam Department of Mental Health & Substance Abuse• Commonwealth of PA Dept. of Public Welfare• CT Department of Children and Families• Indiana Family Social Services Administration• Beaver County Behavioral Health Department

Site Liaison

Rebecca NoftsingerRebeccaNoftsinger@westat.comPh: (240) 453‐5636

• State of Georgia Dept. of Behavioral Health• Mississippi Dept. of Mental Health• Arkansas Department of Human Services• Illinois Department of Human Services• City of Jackson• S. C. Department of Health and Human Service

Site Liaison

Monique ThorntonMoniqueThornton@westat.comPh: 301‐294‐4404

• Ohio Dept. of Mental Health• Texas Health & Human Services Commission• Florida Dept. of Children & Families• Kentucky Cabinet for Health & Family Services• Saginaw Co. Comm. MH Authority• Dept. of Human Services, City of San Antonio• MHMR of Tarrant County‐Fort Worth• ADAMHS Board for Montgomery County• NC DHHS/ NC Division of MH/DD/SAS• State of NM Children Youth & Fam. Dept.

Site Liaison

May YamateMayYamate@westat.comPh: 240‐314‐7586

• Montana Office of Public Instruction• Cherokee Nation• Charter County of Wayne• Yellowhawk Tribal Health Center• Santee Sioux Nation of Nebraska• Lummi Nation• Yukon‐Kuskokwim Health Corporation• Yurok Tribe• Tule River Indian Reservation

Grantee Support

• Site Liaisons will provide a data collection procedures manual with additional detail about the data collection process

• Site Liaisons will provide you with a copy of the Child and Family Outcomes Study instruments for your own use

Upcoming Training

• We will hold another training to address the technical aspects of how the data are entered and submitted to the National Evaluation through the online portal– Tuesday, July 26, 3:00‐4:30pm EDT – Wednesday, July 27, 10:30‐12:00pm EDT

Q & A

Submit your questions later

Submit your questions now

CMHIeval@westat.com

Host

CMHI National Evaluation Training

Submitting Child and Family Data through  the CMHI National Evaluation Portal

Training Agenda

• Provide an overview of the CMHI National Evaluation portal

• Review how to access the portal• Describe the data entry process• Review how to access data• Present how to obtain technical assistance

Recap: Who is interviewed for the Child and Family Outcomes Study?

Three types of respondents include:• Primary Caregivers for children 5‐17 years old• Youth (11 to 17 years old)• Young adults (18 – 21 years old)

Recap: How often is information collected?

The child and family data are collected at a maximum of 3 time points:

• Baseline interview• 6‐month follow‐up interview • 12‐month follow‐up interview OR at discharge interview (whichever comes first)

What is the CMHI National Evaluation Portal?

• The CMHI National Evaluation Portal is the online data entry system that grantees will use to submit data for the National Evaluation

• The portal is the place to enter Child and Family Outcomes Study data

• The portal and TRAC are different           systems

How do we access the CMHI National Evaluation Portal?

• Initially, the Project Director (PD) is the person that has access to the portal for each grant

• PDs can go into the system and give access rights to other members of the grantee team

• Grant staff may request access• PDs can also name an Alternate PDs                 to manage system requests

Accessing the Portal

• The Project Director (PD) for the grant will receive two emails from the CMHI Evaluation:– Email #1: Includes a URL to the Portal – Email #2: Includes PD’s username and password

• The emails will include instructions on how to access the portal for data entry

CMHI National Evaluation Portal Home Page

Login Screen on Homepage

What if I forget my username or password?

• By entering your e‐mail address, a new temporary password will be sent to you via e‐mail.

Data Entry Selection

My Account

Data Entry for Child and Family Outcomes Study 

How do I enter data from a new baseline interview?

How do I find an already existing interview record? 

How do I enter data from a follow up interview?

Data Entry Page

Consumer ID

• Consumer ID for National Evaluation should be same as Consumer ID in TRAC

• A caregiver and corresponding child have the same Consumer ID

• Use the same Consumer ID across all episodes of care

Missing Data

Error Messages

Census Block

Census Block (continued)

Census Block (continued)

The street address never remains in the system

Diagnosis

Diagnosis (continued)

Diagnosis (continued)

Columbia Impairment Scale

Pediatric Symptom Checklist

Caregiver Strain Questionnaire

Finish button

Accessing Data

• Grantees will have access to the data you enter in the system 

• To access data send an email to your site liaison or to cmhieval@westat.com

• Make a request about the data you would like and we will send it to you

Scoring Data

• We will send you instructions on how to calculate scores for the standardized tools

• You will enter raw data, not scaled scores into the portal 

Timeline for                          Data Collection and Data Entry

• Collect baseline interviews within 30 days of when initial services/treatment begins

• Collect follow‐up interviews within 30 days of the target interview date (30 days before or 30 days after the target date for the follow‐up).

• Enter data into the portal as soon as possible after an interview 

• Quarterly timeframes for entering data

Final Tips

• Internet Explorer is the recommended browser for entering the child and family data online.

• We advise against completing the data entry using a tablet or smart phone.

• The system will timeout if the session has been idle for 30 minutes.

Upcoming Events

• Liaisons will send out these presentation slides and the recording at the end of this week

• The portal will be accessible for data entry in early August.

• Near the time of the portal launch you will receive a data entry manual and resources about entering data in the portal

Technical Assistance

Email the Help Desk with any questions or concerns

CMHIeval@westat.com Contact the Site Liaison assigned to your site

The email with login information will include the name and contact information for your assigned Site Liaison 

Q & A

Submit your questions later

Submit your questions now

CMHIeval@westat.com

Host

National SOC Expansion Evaluation:Self‐Assessment of Implementation 

Survey (SAIS)

Some Tips for Signing In

• Allow the system to call you by entering a phone number from where you are joining the call 

• Alternatively, you may dial in: Toll‐free number: 1‐866‐469‐3239

Access code: 622 078 410

Q & A

Submit your questions

Host

SAIS Training Agenda

• Describe the National SOC Evaluation• Provide an overview of the SAIS 

– What is it?– Who completes it?– How often is it administered?– How long does it take?

• Review how to complete the survey online• Review whom to contact with questions

What is the National SOC Expansion Evaluation?

• The National SOC Expansion Evaluation for the Children’s Mental Health Initiative (CMHI) is funded by SAMHSA for all SOC Expansion grants

• One of our goals is to understand how grantees are implementing and expanding SOC at multiple levels 

• Expansion grantees funded in 2013 and 2014 participate in the National Evaluation

What is the SAIS?

• A self‐administered online survey• The purpose is to understand implementation and expansion plans in each SOC

• Addresses barriers and facilitators to implementation

• Covers areas such as Governance, Management, Support of Local Service Delivery, Geographic area of the grant, and SOC principles

• It is not necessary to gather specific information before completing the SAIS

Difference between the Stakeholder Interview & the SAIS?

• The SAIS uses a quantitative survey methodology

• The Stakeholder Interview uses a qualitativemethodology to measure related constructs with respondents 

Important Survey Definitions

• Jurisdiction level– The largest geographical area within which the SOC grant is implemented (e.g., state, region, multi‐county area, tribal area, territory)

– Defined by grantee • Children and youth: 

– This refers to population of focus for your SOC and can include young people of any age between birth through young adulthood.

Who Completes the SAIS?

We are interested in responses from multiple persons per site. Possible respondents could include any or all of the following:

• Project Directors

• Family Representatives

• Youth Representatives

• Mental Health Agency Representatives

• Juvenile Justice Agency Representative

• Child Welfare Agency Representatives

• Education Agency Representatives 

• Other Agency Representatives identified by Grantees

• Local Evaluators

Frequency and Time to Complete 

• The SAIS is collected annually from the same respondents, if possible

• We will confirm potential respondents with grant staff before each administration

• The SAIS takes approximately 30 minutes to complete online

How can I complete the SAIS?

• Each potential respondent will receive two emails from the CMHI Evaluation– One email will have a link to the National Evaluation Data Collection Portal 

– One email will have your unique username and password

• The emails will include instructions on how to access the online survey

Website: Login

Login Page

What if I forget my username or password?

• By entering your e‐mail address, a new temporary password will be sent to you via e‐mail.

Website: Data Entry

Website: Select SAIS Survey

Website: Start SAIS

Select this to start your survey

Website: Informed Consent

Website: Instructions

Website: Survey Format

Completing the SAIS

Submitting the SAIS

Final Tips

• Internet Explorer is the recommended browser for completing the SAIS online

• We advise against completing the SAIS using a tablet or smart phone.

• The system will timeout if the session has been idle for 30 minutes.

Support for Respondents

• If you have questions about the SAIS:– Email the Help Desk with any questions or concerns

CMHIeval@westat.com

– Contact the Site Liaison assigned to your site

– The email with your login information will include the name and contact information for your assigned Site Liaison 

– Site Liaisons will email the slides for this presentation to grant staff next week 

Q & A

Submit your questions later

Submit your questions now

CMHIeval@westat.com

Host

National SOC Expansion Evaluation:Social Network Survey

Social Network Survey Training Agenda

• Provide brief overview of Social Network Analysis– What is it?– Why use a network approach?

• Describe the Social Network Survey– What types of questions will it have? – Who completes it?– How long does it take?

• Provide tips on how to complete the online survey• Review whom to contact for questions or technical issues

• Social Network Analysis (SNA) is a visual and mathematical way to understand a set of actors and the relationships between them 

– Node/Vertex: an agency or organization in the network

What is Social Network Analysis?

– Tie/Edge/Arc: indicates a                                      relationship between the                                   organizations

Key Metrics in Social Network Analysis

SNA incorporates data from multiple levels• Nodes

– Degree (leaders, influencers)– Betweenness (bridges, gatekeepers)

• Ties– Reciprocity – Strength

• Network– Size – Density (cohesion)– Centralization (hierarchical structure)

E

B

A

GF

D

C

H

Why use a Network Approach?

1. Visual map – Provide understanding of who is in the network – Show the different types of collaborations among network members 

– Depict the variation of SOC structures across grantees

2. Discussion tool for engaging stakeholders– Identify key players in the SOC (i.e. leaders, gatekeepers)– Identify structural gaps and relationships that could be developed or strengthened

– Discuss efficiencies and/or redundancies in the network 

3. Process evaluation and planning– Assess whether communication channels are established or partnerships formed as planned

– Inform strategy for enhancing service delivery and coordination of care

4. Sustainment and monitoring– Assess sustained or increased connections over time– Integrate network infrastructure data with long‐term CMHI SOC goals and outcomes

Why use a Network Approach?

Network Survey: Types of Questions?

• Self‐administered online survey• To collect information about organizations in grantees’ SOC network, and the relationshipsamong them

• Questions will assess various types of collaborations with partner organizations: – formal agreements for collaboration; the extent of integrated funding

– specific activities such as developing policy, improve access, conduct training, and implement evidence‐supported practices etc.

Network Survey: Who Completes It?

2013 and 2014 grantees and partner agency/organization representatives involved in SOC expansion planning or implementation efforts

Governance, policy development or quality improvement agencies:

• Child Welfare Agency representative• Juvenile Justice Agency representative• Education Agency representative

Or organizations involved in direct service delivery:• Faith‐based community leader• Workforce development representative• School‐based mental health clinic director

Network Survey:Frequency and Time to Complete 

• The Network Survey will be administered only one time

• It will take approximately 20‐30 minutes to complete online

Tips on how to complete the Network Survey

• Each potential respondent will receive two emails from CMHI Evaluation– One email will have a link to the National Evaluation Data Collection Portal 

– One email will have your unique username and password

• The emails will include instructions on how to access the online survey

Login Page

What if I forget my username or password?

• By entering your e‐mail address, a new temporary password will be sent to you via e‐mail.

Dashboard

Launching the Survey

Informed Consent

Survey Instructions

Network Roster

To Add a New Organization

Survey Instructions

Question Format

Survey Instructions

Survey Questions 2‐3

Completing the Network Survey

Logistical Tips

• Internet Explorer is the recommended browser for completing the online Network Survey

• We advise against completing the Network Survey using a tablet or smart phone

• The system will timeout if the session has been idle for 30 minutes

Final Takeaways

• By using a network approach, we can effectively assess the characteristics and structures of current SOC collaborative structures 

• Results will provide a benchmark for how we’re doing so far and will help to inform areas for future improvement

• We need your help to provide key pieces of information in order to capture a good representation of the actual network

Support for Respondents

• If you have questions about the Network Survey:– Email the Help Desk with any questions or concerns

CMHIeval@westat.com

– Contact the Site Liaison assigned to your site

• The email with your login information will include the name and contact information for your assigned Site Liaison 

• Site Liaisons will email the slides for this presentation to grant staff next week 

Q & A

Submit your questions later

Submit your questions now

CMHIeval@westat.com

Host

2016 Child and Family Outcomes Study Portal Training v42016 CMHI SAIS Training Slides For Grantee Distribution (2)2016 Network Analysis Training Slides v5 8-23-16-Final