NOTE TO USERS:  The recording of this webinar, “Integrated Education & Training (IE&T):  Program Design and Delivery in an Adult Career Pathway System” is posted on the Office of the State Superintendent of Education, Adult and Family Education (OSSE AFE) website at osse.dc.gov.  The transcript of the recording is included in the Notes section of this PowerPoint presentation.  Additionally, OSSE AFE has included time stamps at the beginning of key topic areas in these slides to assist users in locating the corresponding place in the MP4 recording.

• CAREER PATHWAYS - See MP4 Recording Time Stamp at 1:12 (Slide #3)• EMPLOYMENT BARRIERS ‐ See MP4 Recording Time Stamp at 4:40 (Slide #8)• INTEGRATED EDUCATION & TRAINING (IE&T) ‐ See MP4 Recording Time Stamp at 9:50 (Slide #20)• SINGLE SET OF LEARNING OBJECTIVES - See MP4 Recording Time Stamp at 18:30 (Slide

#34)• EMPLOYABILITY SKILLS FRAMEWORK ‐ See MP4 Recording Time Stamp at 24:30 (Slide #37)• CAREER PATHWAYS SYSTEMS - See MP4 Recording Time Stamp at 31:00 (Slide #45)• ACCOUNTABILITY - See MP4 Recording Time Stamp at 32:40 (Slide #48)• DC DATA - See MP4 Recording Time Stamp at 33:30 (Slide #50)• MEASURABLE SKILL GAINS (MSG) - See MP4 Recording Time Stamp at 35:00 (Slide #54)• INTEGRATED ENGLISH LITERACY & CIVICS EDUCATION (IELCE)- See MP4 Recording Time

Stamp at 42:20 (Slide #65)

Thanks for taking time to view this Integrated Education & Training: Program Design and Delivery in an Adult Career Pathway System presentation.  My name is Judy Mortrude, and I’m a senior technical advisor at World Education.  I have been in conversation with adult education practitioners in Washington DC for some years now as DC has adopted a career pathway framework for your adult education and workforce development system.

1

My goals for our time together are to provide a little context about WHY adult education is focused on Integrated Education & Training (IE&T for short); • walk through the IE&T definitions and share a few current models; • then move beyond the legislated definition into the additional requirements in 

regulation;  connect and differentiate IE&T from the adult education Integrated English Literacy & Civics Education (also known by an acronym IELCE); 

• and finally to look at the levers OUTSIDE of classroom practice, the system levers, that support IE&T. 

2

CAREER PATHWAYS - SEE MP4 RECORDING TIME STAMP AT 1:12

The adult career pathway conversation has been going on for more than 20 years.

While Israel Mendoza out in Washington State was leading the development of

IBEST – integrated basic education and skills training — Foundations were

investing in adult education reform;

This visual was developed by Women Employed in Chicago, working with a

community based organization called the Instituto del Progreso. They put out a

Bridges to Careers program development guide that some adult educators (like

me!) used to completely rethink the courses we were offering in our adult education

consortium.

The intent of this redesign is for individuals across the spectrum of educational functioning level from beginning Adult Basic Education or beginning English Language Acquisition to advanced levels to see their learning as part of a career pathway. 

For instance, in the Bridge Prep course, participants would have embedded employability skills content; a Bridge I course integrates career awareness, across a variety of sectors, including healthcare, so that by the time a participant is ready for Bridge II, they could make a choice to enter a specific occupational prep course, like Medical Office Prep, which would directly prepare them for an IE&T course in Medical Coding.

As part of my work in Minnesota’s adult career pathway system, I joined the Alliance for

Quality Career Pathways.

The Alliance practitioners from 10 states worked together to develop a career pathway

framework we called Shared Visions, Strong Systems — it included a career pathway

program definition, criteria to assess quality system building, and a menu of career pathway

metrics that practitioners could use for evaluation and continuous improvement efforts. The

Alliance released this framework in June 2014 which was also about the same time that the

DC Appleseed’s Career Pathways paper was released AND … (continued on next slide)

…just a few weeks later in July of 2014, Congress passed and the President signed the Workforce Innovation and Opportunity Act (WIOA).  

Some important WIA to WIOA changes can be seen in this annual report from states to the federal agencies.  This is called the PIRL: the Participant Individual Record Layout 

It lays out the shared accountability across the 6 core programs, including WIOA title II adult education.And the WIOA accountability measures (5 listed here and the 6th is the still nebulous Employer Satisfaction)

Also, WIOA eliminated the ‘sequence of services’ structure and introduced simply Career Services & Training Services – start either place; do one, both, whatever an individual needs to be successful 

Participant characteristics include gender; age; and race/ethnicity as well as…

7

EMPLOYMENT BARRIERS, SEE MP4 RECORDING TIME STAMP AT 4:40

Employment Barrier.  WIOA provides an expanded definition of Individuals with Barriers to Employment, including the entire adult basic education population who would all be categorized by the second barrier listed in the chart: English Language Learners, Low levels of Literacy, Cultural Barriers.  Note also that these barriers are meant to be cumulative.  Most people served in adult education may be categorized under a number of different ‘employment barriers.’  Which means practitioners need to ask for and document these characteristics.

The reason why that is so important is that WIOA also introduced a new way to show effectiveness. Just this year, states are beginning to implement this strategy.

8

In fact, just in early February DOLETA released this Training and Employment Guidance Letter talking about Negotiated performance and the WIOA concept of ‘continuous improvement’ being about MORE than just ratcheting up numerical targets.  

WIOA introduced the idea that continuous improvement is also about serving people who have the most need and the use of a statistical adjustment model to account for that, to in fact, reduce your numeric targets if your data shows you are serving more and more individuals with barriers to success.

[reference:  US Department of Labor, Employment and Training Administration (DOLETA)]

9

WIOA also codified a new program model – a move from ‘train and pray’ or ‘labor market exchange’ to career pathways.

The WIOA legislation uses the term career pathway 21 times and seeks to distinguish career pathways from the many short‐term training opportunities that have historically been offered to people engaged in human service or workforce development programs.  Career pathway programs build ‐ in an aligned, seamless way — onto the next program, creating a pathway with increasing levels of education and employment.

But there was and is a lot of confusion about what programs fit the career pathway definition and which don’t, AND what role adult education plays. So it helps to look at a real-world example.

SO here’s one from Rochester MN – If you know that city, it’s probably

because of …

The economic engine of the town – the Mayo Clinic. Mayo set the table for a regional industry sector partnership of health care providers. Mayo understood that they need not only a strong workforce for their organization but also a strong ecosystem of healthcare providers to be able to continue to provide services and grow.

Additionally, Mayo knew it needed to go to education partners serving diverse populations if it was serious about diversifying its own workforce, so that meant working with a local adult education program.

Mayo also knew that it could ask for what it wanted from its education

partners – which was not a cookie cutter Certified Nursing Assistant program

but an Advanced Hospital Certified Nursing Assistance education program.

So while the adult education and community college partners reworked

curriculum and created articulation agreements between their programs to

build a seamless pathway, the workforce development and human services

partners changed their mode of operation to become ‘navigators’ rather than

‘case managers.’ In fact, WIOA doesn’t include the term ‘case managers,’

they have ‘career counselors’ who help participants access the training

services and career services they need to be successful.

An entry point into the pathway is from an adult education program teaching foundational skills within the context of healthcare.

From there, participants entered the Rochester Community College credit

based training for Advanced Hospital C.N.A.

Once someone earns that credential a main exit point is a job with several

employer partners – not usually a direct route into Mayo because they

require 6 months of direct healthcare work experience. But notice the yellow

dotted line continuing beyond the CNA position.

That job is a first step – this is what creates a pathway from a program —

the credits and credentials earned stack, allowing an individual to work and

continue learning, earning more credentials and accessing new

opportunities.

And finding these next opportunities is not solely on the individual and the

educators. There are navigators actively supporting these working learners

to continue moving ahead by addressing childcare, transportation, and other

issues.

The navigators have the responsibility to RE-engage the working learner

after 6 months on the job at a long-term care facility, inviting them back for

more education and more career advancement opportunities.

INTEGRATED EDUCATION & TRAINING (IE&T) ‐ SEE MP4 RECORDING TIME STAMP AT 9:50

SO now we get to what is happening in the CLASSROOM – in that adult career pathway program – and that is Integrated Education and Training.  WIOA not only defined career pathway in legislation, it also provided a definition of Integrated Education and Training (IE&T).

20

IE&T is a design and delivery of adult education and literacy activities, workforce preparation activities, and workforce training.

The definition also includes answers to these questions:• HOW are these 3 components delivered? Concurrently, contextually• WHAT is the context? A specific occupation or occupational cluster• WHY is this done? To support a person’s educational and career advancement

SO let’s now look at the definition of each of those 3 required components. The first, you may be very familiar with, WIOA title II – from WIA to WIOA there were no subtractions to the Adult Education & Literacy definition but some minor language changes (English as a Second Language or ESL became English Language Acquisition or ELA) and a few additions f, g, and h.  

F is integrated English literacy and civics education (more on that in a bit); g is workforce preparation – one of the essential components of IE&T; and h is IE&T itself.

Workforce preparation is a new definition in WIOA but it is NOT new content for most adult educators or training providers.  In fact, it is very familiar.  Workforce preparation is a combination of foundational academic skills with critical thinking, digital literacy, and self‐management skills.  

Some of those self‐management skills are listed here – things like teamwork, system thinking, postsecondary transition – and other employability skills.

The third required component is Workforce Training – a definition that didn’t change in WIOA and a definition that includes MANY different types of learning experiences, including occupational skill training, on the job training, incumbent worker training, entrepreneur training, customized training, and more.  

Workforce training can happen in a college, in a community based organization, at a job site, in an apprenticeship, or in an adult education classroom. Which means that IE&T can happen in many contexts.

24

If you have been an OSSE WIOA title II grantee before or have some knowledge of IE&T, you may recognize this slide.  It comes from a CLASP document that provides the IE&T legislated definition – and its three required components ‐ and some models of IE&T in different contexts.

The first context is an adult education Bridge Program Example from Illinois ‐ Connecting foundational skill building with occupational credentialing.

This is a Commercial Drivers License (CDL) Transportation and Logistics course that includes adult education skills contextualized to transportation; workforce prep skills including digital literacy, employability, communication, and workforce training. The occupationally specific skills prepare individuals for success in the CDL General knowledge test as well as special endorsement tests in air brakes, combination vehicles, transporting passengers, and school bus endorsements.

I’ve included a link on this page to the Transportation lesson plans at the Women Employed Career Pathways Network site – EXCELLENT contextualized curriculum at ABE/ASE levels in multiple sectors.

26

Next is a Pre‐Apprenticeship Roofer & Waterproofer Program Example from California – An Earn and learn program to build technical and foundational skills. 

In this pre‐apprenticeship, multiple partners come together.  The adult education program at the East Los Angeles Community College provides the reading/math/problem solving in a construction context; a community based organization provides the workforce preparation skills and another CBO provides financial literacy services, while a construction trainer provides the occupational training resulting in multiple certifications.

27

Here is a community college based model from Kentucky – part of Kentucky’s Work Ready U.  Work Ready KY has more than 80 different adult career pathway programs.  This one is focused on Information Technology certifications which you see listed in the Workforce Training box.  The Workforce Preparation skills focus on digital literacy and general employability skills while the adult education partner focuses on college and career readiness AND completion of the GED high school equivalency.

28

INTEGRATED EDUCATION & TRAINING (IE&T):  WHAT IS MEANT BY CONCURRENCE? ‐SEE MP4 RECORDING TIME STAMP AT 15:00

All of the programs we just reviewed have the three components of Integrated Education and Training.  Overall, IE&T as a three part strategy is understood.  

But importantly, there are other requirements, one being that the 3 components of your IE&T program are concurrent – they are NOT sequential, they happen at the same time.  

Obviously moving from federal guidance to classroom practice takes some time and some attention.  These next few slides come from Anson Green, the state director of adult education in Texas.  Anson was out early on the IE&T front with intense professional development for all his providers, defining the spectrum of alignment and integration that can help a program become transition oriented.  Not IE&T as bolt on but IE&T as an integral strategy.  

The Texas Workforce Commission’s adult education program called Accelerate Texas identified multiple models of concurrent activity: aligned instruction; partially integrated instruction; and fully integrated IE&T.

2

The Aligned Instructional model is about basic co‐enrollment – adult education contextualizing some of the foundational content, e.g. English Language Acquisition or High School Completion or GED, to support the occupational content of the workforce training within key sectors.

Content Alignment models include• Students co‐enrolled in Workforce Training and Adult Education and Literacy courses. •Use of a workforce training textbook as a basis for instruction is key. • The adult education course and the workforce training course content is aligned but taught separately.• The Adult Education and Literacy instructor assists students who are struggling with the content by focusing on the basic skills needed to understand the workforce training.

The Partially Integrated Instruction Model goes beyond co-enrollment to instructors jointly planning; not co-teaching, but co-planning

In this level• Students are co‐enrolled. • Instructors jointly identify the skills needed to succeed in the workforce training program.• The adult education and literacy instruction is aligned with the workforce training course. • The workforce training instruction is usually delivered without curriculum or instructional modification to accommodate the adult education participant.

The Fully Integrated Instruction model brings it to the next level – co-enrollment, co-planning, co-teaching or at least attention to adult education fundamentals within content course.

At this level,• Students are co‐enrolled.• Instructors jointly modify workforce training. • The Adult Education and Literacy instructor provides supplemental, contextualized instruction.• The technical course content includes components of adult education development integrated with Workforce Training content. • Instructors may teach program content separate or integrated in a co‐teaching or integrated instruction model.

3

Another IE&T requirement is that the three components are defined by a single set of learning objectives.

In the development of an IE&T program, it’s critical that you identify the performance standards, the learning outcomes, that are part of the course.   This is obviously just good practice for any teacher, to be able to name the objectives of the course.  In adult education, the college and career readiness standards are our benchmark.  For workforce preparation, there are a variety of resources, including the Employability Skills Framework developed by the federal Office of Career Technical and Adult Education, and – of course –a Workforce Training course will have standards perhaps defined by a college’s career technical education course or by an industry itself, apprenticeship standards, licensing standards, or standards defined by an employer.

Beyond being able to define the standards in each component, IE&T further requires that an IE&T course has a single set of learning objectives – in other words, evidence that the adult education is contextualized to the specific occupational training.

33

SINGLE SET OF LEARNING OBJECTIVES - SEE MP4 RECORDING TIME STAMP AT 18:30

IE&T regulation refers to this as a Single Set of Learning Objectives.  Learning objectives are statements that describe the knowledge or skills a person should acquire by the end of a particular assignment, class, course, or program.  The learning objectives help people understand why that knowledge and those skills will be useful to them.

Here are some suggestions that adult educators have found useful.  Start with the end in mind.  What is the ultimate outcome – achieving an industry certification, earning a postsecondary credential, passing apprenticeship standards?  Start there and reverse engineer to it – figure out what adult education and workforce preparation standards will help a person achieve that workforce training outcome.

Defining this single set of learning objectives is NOT rewriting a curriculum or even a syllabus – it’s about intentional alignment and intentional contextualization.Single set of learning objectives are statements of what students should know or be able to do and why.Writing the single set of learning objectives will meet the requirement that your IE&T program is contextualized.

34

Here are some resources you can bring to the process of developing a single set of learning objectives.  

Again, for adult educators, it is the College and Career Readiness Standards – in reading, math, or English Language Proficiency; 

For workforce preparation, the Department of Education resources or other digital literacy (e.g., Northstar Digital Literacy or Google Applied Digital Skills) or a resource out of California that provides digital badging in many self‐management and critical thinking skills called World of Work or the Department of Labor’s Skills to Pay the Bills out of school youth focused work.  

And in Workforce Training you have to rely on what is established for your particular training, in that career technical education course, by the industry licensing exam, or through apprenticeship standards.  Urban Institute has some excellent work in standards for non‐traditional apprentice occupations.

35

In California, practitioners are working to align CTE standards and CCRS adult education standards.  Here’s an example from the skill of blueprint reading in a welding course. You can see this is a lot about identifying the adult education foundational skills needed to accomplish the workforce training standard.  

For example, in the first welding outcome above “interpret scaled welding blueprints in order to get information, perform calculations, make a plan and produce a finished part,” a necessary foundational skill is to convert measurements and use the measurements in solving a multistep, real world problem.

In the second row, it’s about analyzing symbols.  You can see in the second column, there are reading and English Language Proficiency skills in the CCRS that complement this objective.In the third, it’s about describing a step by step process based on specific information provided by the blueprint.  In all three outcomes listed in the first column, there are College and Career Readiness Standards (in the second column) that define the learning needed to demonstrate the welding outcome.

36

California’s IE&T project uses this chart to document those standards (CTE in column one and CCRS in column two) and then write a Combined Lesson Objective ( their term for a Single Set of Learning Objectives there in column three) and takes it step further to actually write out a plan for team teaching this objective which you see in column four.

This is obviously a luxury to have the preparation time to draft this level of detail in an IE&T,  but if you have the time, this is a great example of how to do it.

37

EMPLOYABILITY SKILLS FRAMEWORK ‐ SEE MP4 RECORDING TIME STAMP AT 24:30

So those last two slides really focused on the adult education standards and the workforce training standards, but – don’t forget – there are also the workforce preparation standards to consider.  So as an example, here is the US 

Department of Education’s Employability Skills Framework.  It has three dimensions –applied knowledge, effective relationships, and workplace skills.

[reference https://cte.ed.gov/initiatives/employability‐skills‐framework]

38

Within these three dimensions, you’ll find even further detail. For example, Workplace Skills is broken out into • Information Use, • Communication Skills, • Systems Thinking, and • Technology Use.

[reference https://cte.ed.gov/initiatives/employability‐skills‐framework]

39

This chart from A.I.R. does a nice job of showing how those three dimensions and their further detail fill in some of the gaps of the College and Career Readiness Standards –namely the Personal Qualities, Resource Management, and Systems Thinking areas.  So these may be the areas you want to look at inside the Employability Skills Framework to round out your IE&T single set of learning objectives.

40

INTEGRATED EDUCATION & TRAINING (IE&T):  WHAT DOES IT MEAN TO BE INTEGRATED? SEE MP4 RECORDING TIME STAMP AT 26:00

Let’s go a bit deeper into the IE&T regulations now.  This slide comes from the Oregon Pathway Alliance.  Oregon, like many states, is doing intensive professional  learning on IE&T.  

They’ve created a visual of IE&T with the three required components – Adult Education, Workforce Preparation, and Workforce Training. And on this slide they’ve focused on regulatory language on meeting the requirement to be integrated.

Here you see what we’ve been discussing – services must be provided concurrently and contextually.  Part A of the regulation talks about the way the three components need to be balanced over the overall scope of the IE&T program so they are each of sufficient intensity and quality; are not sequential but are concurrent (or here they use the term simultaneous); and use authentic materials.  Part B of the regulation is about the Single set of learning objectives that we have been working through in the past few slides. Notice that the single set of learning objectives is about identifying the content within the three required components and organizing it to “function cooperatively.”  It’s really all about intentional alignment.

[reference https://www.law.cornell.edu/cfr/text/34/463.37]

41

Another requirement for IE&T is that the purpose of the IE&T program is educational and career advancement.  To meet that requirement, regulation tells us the adult education component needs to be aligned with the state’s content standards – in other words, the college and career readiness standards that DC has adopted

AND that the IE&T is part of a career pathway.  SO now we are back again to the career pathway program model.

42

WIOA gives us an excellent definition which is now also in two other federal laws, the Higher Education Act and the Perkins V Career Technical Education Act.

In all these laws – a career pathway program is a combination of rigorous, high quality education/training/and other services – described, rather redundantly, in these 7 parts A‐G:Part A – it aligns with local/regional industry needs – there are JOBS for people with this education/these skillsPart B – it’s not short term training, it prepares people for success in continued educationPart C – educational and career counseling is built inPart D reads word for word the definition of IE&TPart E, organizes for acceleration – there in lies the power of what Thomas Stitch called Functional Context Education – adult learners are adults with responsibilities and lives that do not allow years of first mastering English, then working on that High School credential, then maybe doing some development education in math and reading, and THEN perhaps getting into that postsecondary education program that could lead to an industry.  We need to organize our programs to integrate that learning.Part F – like part B, it pays attention to secondary and postsecondary educational successPart G – it’s for both a first job and continued advancement

IE&T is the instructional strategy educators can bring to the Career Pathway conversation that allows a program to be ORGANIZED for ACCELERATION. But we need our workforce development and human service partners to accomplish those “other services”.

43

Career Pathway programs are partnerships – and that means they are a lot of work.Adult education has been innovating in this space for more than a dozen years and finally getting rigorous evaluation studies that show our efforts pay off.

CP participants make more foundational skill gains, complete more college credits, earn more entry‐level credentials, are employed and retained in training‐related jobs all at higher rates as compared to like participants who get other/traditional adult education or workforce development services.  And, most critically, in the last two bullets on this list, these positive outcomes continue to grow two or more years beyond program completion, even for participant who report multiple barriers to success.

The level of evidence and the growing interest in implementing integrated pathway approaches suggests that now is the time to scale these approaches.

CAREER PATHWAYS SYSTEMS - SEE MP4 RECORDING TIME STAMP AT 31:00

This next set of slides are for system‐thinkers and system administrators.

Career pathway programs NEED career pathway systems – policies and practices within six core elements. WIOA – with its call for shared strategic planning, adult education provider on local boards, and aligned performance metrics – offers the opportunity for SYSTEM building:  a way to let more IE&T happen, a way for partners to co‐invest in IE&T in career pathways.

As an example, here’s Virginia’s IET Blueprint – building from a pre WIOA initiative (PluggedInVA) and connecting that work to IE&T

46

In this blueprint, is Virginia’s IET Planning Tool.  This template guides practitioners through all the requirements of IE&T – the partners, the jobs, the shared learning objectives with standards, attention to co‐planning and ongoing communication; delineating activities and materials in the three components, and then the balance of those activities over the overall scope of the program.  

I also love the note included with this blueprint PDF which says this is a LIVING document –just because there are definitions and regulations doesn’t mean this strategy is set in stone.  Things evolve.

47

ACCOUNTABILITY - SEE MP4 RECORDING AT TIME STAMP AT 32:40

When we consider systems, we need to talk about Accountability.Do you believe this?  I do.  How is your program’s effectiveness measured?  How do you get your funds?

48

In WIOA reporting data, we’re not going to see “career pathway” but we WILL be able to see Integrated Education and Training activity.

49

DC DATA - SEE MP4 RECORDING AT TIME STAMP AT 33:30

Here is DC’s data on Table 3 for 2017‐2018.  

50

Here is DC’s data on Table 3 for 2018‐2019. DC is a leader in providing this program model.

51

DC also has an impressive Measurable Skill Gain rate in your programming – 46% in 2017‐18 and 49.8% in 2018‐19.  DC began implementation of new IE&T models in PY 2017‐18 and in just the first two years, has seen a 12.8 percentage point increase or a 35% improvement in MSG. 

52

And your IE&T programs have resulted in 604 credentials in 2017‐18 and 840 credentials in 2018‐19 earned across these sectors.

53

MEASURABLE SKILL GAINS (MSG) - SEE MP4 RECORDING TIME STAMP AT 35:00Beyond reporting participants in IE&T, of course, WIOA requires reporting on outcomes.

In this visual, you see the 6 WIOA performances put into three categories: Measurable Skill Gains (MSG), Credential outcomes, Labor Market outcomes.   NOTE the dividing line – MSG outcomes are taken while you are serving an individual.  They are interim progress measures .  These metrics are the most powerful in adult education and biggest change for our other WIOA partners – those in workforce development were only able to get a performance gain when serving individuals who could get a job and exit a program successfully within the program year.   

MSG has multiple types now – not just pre/post test on a CASAS or TABE – Career pathway programs need to leverage all these metrics to reward systems as they work with participants over time to progress in education and career goals.

[Reference: TEGL 9‐17]

54

Measurable Skill Gain is defined in WIOA regulation as the percentage of participants who, during a program year, are in an education or training program that leads to a recognized postsecondary credential or employment and who are achieving measurable skill gains, defined as documented academic, technical, occupational, or other forms of progress, towards such a credential or employment. 

55

Depending upon the type of education or training program, documented progress is defined as one of the following:(A) Documented achievement of at least one educational functioning level of a participant who is receiving instruction below the postsecondary education level;(B) Documented attainment of a secondary school diploma or its recognized equivalent;(C) Secondary or postsecondary transcript or report card for a sufficient number of credit hours that shows a participant is meeting the State unit's academic standards;(D) Satisfactory or better progress report, towards established milestones, such as completion of OJT or completion of 1 year of an apprenticeship program or similar milestones, from an employer or training provider who is providing training; or(E) Successful passage of an exam that is required for a particular occupation or progress in attaining technical or occupational skills as evidenced by trade‐related benchmarks such as knowledge‐based exams.

Currently, MSG types (A) and (B) including a student’s exit from an adult education program and entry in postsecondary education within one program year, are tracked on NRS Table 4.  Student attainment of MSG types (C), (D), and (E) are tracked separately on NRS Table 11 for IE&T programs only.

[Reference: “For gain type three, the Departments recommend that States and local areas develop policies suitable for the applicable academic system in use by the secondary or postsecondary institution in which the participant is enrolled, including, but not limited to, semesters, trimesters, quarters, and clock hours for the calculation of credit hours. For ps – 12 hours/semester for FT student; 12 hrs/2 semester]

56

This NRS table was still in draft last time I saw it, but Table 11 is specifically for IE&T programs and in the first column you can see the extended version of MSG.

57

Let’s look more closely at MSG (d):  Progress Toward Milestone is described as satisfactory or better progress report toward established milestones.

58

Federal guidance tells us “Documentation for this gain may vary, as programs should identify appropriate methodologies based upon the nature of services being provided, but progress reports must document substantive skill development that the participant has achieved.  The gain may be documented by a satisfactory or better progress report from an employer or training provider.  Progress reports may include training reports on milestones completed as the individual mastered the required job skills, or steps to complete an OJT or apprenticeship program.  Increases in pay resulting from newly acquired skills or increased performance can be used to document progress.”

59

Measurable Skill Gain type (e) is often called Technical or Occupational Skill gain and its defined as successfully passing an exam required for an occupation or documented progress of attaining skills via an exam.

60

Federal guidance provides examples such as a component exam in an apprenticeship, an employer required knowledge exam, an industry competency exam or another type of test needed to be successfully completed in order to get a credential.

61

DC, like all other states, hasn’t yet started reporting on these until this year when you are now collecting baseline data.

62

While the federal agencies and their reporting processes are gradually supporting all the WIOA performance measures, it is states that have the heavy lift of supporting the capacity of local providers to understand and use all the measures.

Here’s an example from Wisconsin of JOINT WIOA guidance on MSG.

63

Another system lever DC is pulling is co‐enrollment.  While your Data Vault is evolving as a data alignment strategy, we also need to give comfort to DC state agencies, providers and practitioners that in a co‐enrollment strategy, everybody wins.

This is transcripted text from a December 2016 WIOA Hot Topics webinar where someone asked what happens if we co‐enroll between, for example, title I and title IV (but this also includes adult ed title II), who gets credit for someone meeting one of the WIOA outcome measures – be that employment, or a credential, or an MSG?  And the answer is clearly EVERYONE.  It doesn’t matter who’s funding what part of the career pathway strategy – you all take credit.

[Reference https://www.workforcegps.org/sitecore/content/global/events/2016/12/14/12/38/WIOA‐Wednesday‐WIOA‐Performance‐Accountability‐Hot‐Topics]

64

INTEGRATED ENGLISH LITERACY AND CIVICS EDUCATION (IELCE)- SEE MP4 RECORDING TIME STAMP AT 42:20

Finally, I want to address the connection between IE&T and the IELCE – Integrated English Literacy and Civics Education program.  In the federal realm, IE&T is only required within section 243 IELCE grant program, separate funds that require a strategy serving ELLs, even foreign trained professionals, civics education, and IE&T.

65

IELCE services must be delivered in combination with IE&T activities.

66

So this means an IELCE grantee could start an IE&T program specifically with those funds for those participants or develop a pathway for IELCE participants to IE&T programs supported by WIOA or other funds.  Now in DC, with your focus on IE&T within all WIOA funds, this isn’t as confusing, but it’s worth knowing that across the country, it’s caused some confusion.

67

Again, thanks for your time.  There is also a PDF version of the presentation available as a reference tool. And please reach out with any IE&T questions.  I’m always happy to help!Judy

68