1

Welcome to ODP’s training for Adult Autism Waiver Supports Coordination Organizations and Providers on Quality Management Plans and Action Plans. I am Dolores Frantz, ODP’s Director for the Division of Quality Management. I’d like to first review our objectives for this session. 

ODP’s Quality Management, or QM, Plans and accompanying Action Plans are quality improvement project plans.  During this session, we’ll discuss how QM Plans support ODP’s overarching QM Strategy and, conversely, how ODP’s Mission and Vision influence the content of QM Plans and Action Plans. We’ll review the Chapter 6100.45 Quality Management regulatory requirement, and describe how Supports Coordination Organizations and Providers can meet that requirement.

Becoming familiar and comfortable with the steps in writing QM Plans and Action Plans takes time and practice; during this training, we hope to introduce the key concepts involved to those of you who have not yet developed these quality improvement tools,  and provide links to supporting materials and additional information ODP makes available online. We’ll also walk through the components of QM Plans and Action Plans using an example. 

In preparation for the launch of ODP’s Quality Assessment & Improvement process for the Adult Autism Waiver July 1, 2019, we’ll introduce how QM Plans and Action Plans are integrated into QA&I processes. Finally, we’ll talk about how further training in ODP’s QM principles, practices, and tools can be obtained.

2

Let’s start with a survey of key points defining ODP’s QM Strategy.

3

Together, Mission—why an organization exists, and Vision—where an organization is going, are an organization’s foundation. These fundamental building blocks determine an organization’s structure and processes, and expected outcomes.

ODP exists to support Pennsylvanians with developmental disabilities to achieve greater 

independence, choice and opportunity in their lives. ODP’s vision is a commitment to 

continuously improve, constantly striving to create an effective system of services and supports that are accessible, flexible, innovative, and person‐centered. 

Developing and implementing QM Plans and Action Plans for improvement is one way ODP and our stakeholders, including SCOs and Providers, continuously contribute to advancing our Mission and Vision.

4

ODP’s Stakeholder Quality Council is the Information Sharing and Advisory Committee, or ISAC. In 2016, the ISAC updated and disseminated the publication that guides the ODP system—Everyday Lives: Values in Action. 

The ISAC included two sets of values in this publication. My Life, My Way values were written by individuals for individuals, and include key attributes of an everyday life such as choice, health and safety, communication, partnership, employment, and meaningful contribution. 

5

What Families Value was written by families for families, and highlights values families see as critical for them. Among others, families raised awareness of the unique role they play in the lives of individuals with developmental disabilities throughout the lifespan, the knowledge, resources, and mentoring they seek, and the choice and control, collaboration, and opportunity for innovation they desire.

These two sets of values set the stage for our daily interactions, help us choose quality improvement priorities, and guide our improvement action steps. 

6

ODP’s ISAC also established system priorities for improvement in the form of 13 Recommendations. These Recommendations are intended to move Everyday Lives values into action through the collaborative effort of ODP and many stakeholders, represented by the members of the ISAC, working together—individuals, families, supports coordinators, providers and provider associations, administrative entities/counties, advocacy organizations, and partners in state government. 

Hopefully, you can think of many examples where these 13 Recommendations are translated throughout ODP’s service system into action through the design of the system, including the waiver services we develop and offer, the bulletins and regulations we write, the providers we qualify and train, the improvement projects we select, and the measures we use to evaluate our performance. 

7

Each Recommendation, from Assuring Effective Communication to Increasing Community Participation, is designed to improve opportunities for people with intellectual disabilities and autism to live full, everyday lives. 

8

ISAC Recommendation #9, Improve Quality, describes the work of managing to achieve quality in ODP. Together we must plan and deliver services and supports that adhere to our values, measure person‐centered outcomes, and continuously improve an individual’s quality of life. All stakeholders must be engaged in the process of measuring how well services assist people in achieving an everyday life. This collaborative effort is what ODP’s QM Strategy is about, and is fundamental to understanding the purpose of Chapter 6100.45 Quality Management. 

After lengthy deliberation, the ISAC members proposed and agreed upon a series of strategies for each Recommendation the committee believed would lead to continuous improvement. They also chose performance measures to track progress in achieving desired results. The document containing this information, ISAC Recommendations, Strategies, and Performance Measures, is posted, along with annual updates and accomplishments, on MyODP.org at the link on this slide. I encourage you to take some time to review the document and performance data contained in it.

9

Another key element in ODP’s QM Strategy is the Centers for Medicare & Medicaid Services (CMS) Quality Framework. 

In this Framework, CMS depicts the four functions of Home and Community Based Services—Program Design, where the seven essential Focus Areas are created and operationalized, and the Quality Management Functions, where performance is measured, or discovered, then remediated or improved, when appropriate.  

The CMS Quality Framework handout that accompanies this training breaks down the components of each Focus Area and provides Desired Outcomes and descriptive language ODP uses when creating QM Plans and Action Plans.

10

ODP uses CMS’s DDRI Model—a continuous cycle of the Design, Discovery, Remediation, and Improvement functions we saw depicted in the CMS Quality Framework on the previous slide. After we set our priorities in collaboration with the ISAC members, and carefully design our system to achieve positive outcomes for individuals we support, we practice quality management by using a data‐based, systematic, and timely approach to discover, or measure, how well we’re performing. Our most recent iteration of discovery is the QA & I process. During this monitoring and evaluation, we discover how well the system is performing for individuals we support across ISAC Recommendations, waiver and regulatory requirements. 

After the Discovery phase is completed, each individual instance in which remediation action is necessary is addressed. Finally, we perform analysis of aggregate data to determine where problems may exist at a systemic level—meaning throughout an entity such as a Supports Coordination Organization or Provider agency, more broadly within a geographic region, or across the State. Where we find such problems, we develop quality improvement projects in an effort to influence the entity, region, or statewide system to change in a positive direction. 

Our emphasis today is on this fourth step, the Improvement phase of the DDRI Model. This is the step where QM Plans and Action Plans fit in.

11

Let’s talk about the regulatory requirement to improve.

12

Regulation 6100.45 Quality Management requires Providers, including SCOs, to develop Quality Management (QM) Plans and accompanying Action Plans that include the following elements:• areas the Provider or Supports Coordination Organization has chosen to improve• targets you are aiming to reach• performance measures you will use to establish baselines and evaluate whether 

improvement is occurring• data sources for those performance measures• strategies, meaning the action steps you will take to achieve results • how feedback on progress will be gathered from individuals, staff, and other affected 

parties, and• individuals responsible to work together to implement the action steps and evaluate 

progress.

13

ODP has fostered and trained the use of QM Plan and Action Plan Templates displayed on this slide and the next for more than a decade. Providers and SCOs who already use these templates can continue to use them to meet Chapter 6100.45 Regulatory requirements. Providers and SCOs who are new to QM Plans and Action Plans can begin to use them. These templates can be found on MyODP by using the link on this slide and clicking on Quality Management Planning and Implementation Documents. You will need to log in to MyODP to access this page.

Although ODP does not require Providers and SCOs to use its templates, these documents contain all the components necessary to meet requirements and serve as a guide to implementing solid quality improvement practices.

ODP looks for Providers and SCOs to write, implement, and update QM Plans and Action Plans on a Fiscal Year schedule. We chose to offer this webinar in March in order to support Providers and SCOs to build QM Plans and Action Plans that would be ready to launch July 1, 2019. ODP regards the requirement for entities to revise QM Plans every three years as a minimum requirement, seeing the Action Plan in particular as a living document used ongoing.

ODP also looks to Providers and SCOs to choose projects for QM Plans that link to ODP’s ISAC Recommendations, waiver requirements, and regulatory expectations. 

14

QM Action Plans are especially helpful in assisting Providers and SCOs to demonstrate how they meet the requirement to involve staff and external stakeholders in quality improvement activities.

15

As shown on the QM Templates, components of a QM Plan are: Focus Area, Goal, Desired Outcome, Target Objective with Baseline, Performance Measures, Data Sources for those measures, and the Person Responsible for the QM Plan.  Components of a QM Action Plan are Action Steps, Persons Responsible for carrying out those steps, Target Dates, a Status column, and Completion Dates. Let’s talk in more detail about these components.

16

You’ll notice the language in the QM Plan becomes more and more specific as you move from left to right across the page. The Goal is the broadest statement, the Desired Outcome more specific, the Target Objective very specific. A Target Objective is SMART: Specific, Measurable, Achievable, Realistic, and within a Timeframe. In the last column, performance measures are clearly stated, and the name of the individual who is responsible for the project is included—for example, Mary Jones, Employment Lead.

When writing QM Plans such as this one, with person‐centered outcomes, we use person‐centered language. This language sets the tone and emphasis of the quality improvement project, placing individuals in the forefront. We also state Goals and Desired Outcomes in present tense, rather than describing a future reality.  

The definition of a Responsible Person on a QM Plan Template differs from the meaning of Responsible People on the QM Action Plan Template.  On the QM Plan, the Responsible Person is ultimately responsible for the success of the project, and is the person who reports progress to an oversight body. This person is the leader of the project team.

17

After a QM Plan is written by the Quality Improvement, or QI, Team, the next step is to determine action steps the group agrees will lead to success. This activity involves brainstorming ideas, grouping those ideas, and organizing the grouped ideas in some manageable way. 

Many quality tools can be used to accomplish this task. One approach is to develop a Cause and Effect Diagram such as the one shown on this slide. In this case, the QI Team members gathered their ideas about catalysts to employment and barriers to employment into four categories: Families, Employers, Transportation, and the System. Using these ideas, the group prioritized the action steps they wanted to implement to increase the number of individuals employed, and placed them on their Action Plan. 

18

The QM Action Plan Template is designed so the content of the QM Plan can be entered at the top. This design is intended to help keep the QM Plan elements in front of the QI Team working on the project for reference.  Names of Team Members are also entered at the top of the document.

Examples of Action Steps are shown on the Action Plan. Each step is assigned to a team member or members, or another individual or individuals. With the approval of leadership, team members can and should engage other staff within the organization in the quality improvement effort. Team members would not be able to assign responsibility for action steps to individuals outside of their control, such as employers in the community, unless these individuals are interested and agree to participate on the team.

19

To ensure success in achieving quality improvements, ODP encourages best practices, including:

• review of progress in reaching the identified target objectives through the collection and analysis of performance data monthly, quarterly, and annually

• evaluation of the completion of action steps monthly• updating of the Action Plan as warranted by the review and analysis of data and 

consideration of barriers to carrying out strategies chosen. 

This is the Plan‐Do‐Check‐Act, or PDCA, Model for improvement that asks us to continually evaluate progress and act to improve or sustain success.

20

Another document ODP provides supports reporting on progress the group makes.  Using this quality tool, QI Teams are able to display data over time, analyze their findings, and describe the next steps they plan to take.

Two questions are posed at the bottom of the report, providing opportunities for the team to describe how they engage key stakeholders, such as individuals, families, and employers, in the achievement of QM Plan objectives, and secondly, how and on what schedule progress is shared with a Governing Body. 

Reasons for using this form to report progress are to demonstrate accountability for the work of quality improvement, to describe success to an audience, and to seek support and resources where needed in order to move a project forward.

Let’s look at an example Quarterly Report ABC Provider’s QI Team might write.

21

Again, the report incorporates the QM Plan Focus Area, Desired Outcome, and Target Objective for all readers to reference. 

A simple chart developed in Microsoft Word also provides a visual representation of progress—also a helpful strategy to convey the essence of the project’s status. 

Mary Jones, the Employment Lead, is presenting this report as the Responsible Person for this QM Plan and Action Plan. She discusses the Findings and Analysis her QI Team agreed upon, taking a data‐based approach. She explains that a number of people have gained CIE in the first six months of the Fiscal Year, and also that two people have stopped working.

In the PDCA Follow‐up column, she explains how the QI Team will respond to the Findings and Analysis in the next quarter.

You can see that the Employment QI Team did engage families in a session they see as successful, and they write this in response to the first question at the bottom of the page about engaging stakeholders. They also say they will present their project to the Board of Directors at the end of the year. Many organizations invite QI Teams to present their projects to leadership in this way.

22

Quality Management is a way of managing that uses specific principles, practices, and tools. It is a participative management style characterized by person‐centeredness, communication, collaboration, teamwork, data‐based decision‐making, systems thinking, and continuous quality improvement.

ODP’s QM Plans and Action Plans strive to incorporate all the elements of Quality Management Strategy.

When creating a QM Plan and Action Plan, remember to choose team members who have expert knowledge of the process you are trying to improve and team members who are process owners. This approach will enhance the team’s opportunity to succeed. 

23

ODP views data‐based learning and improvement as critical functions for all stakeholders. In this section of today’s training, we’ll talk about opportunities to use data to choose Focus Areas and Desired Outcomes for QM Plans and Action Plans.

24

To ensure QM Plans and Action Plans align with ODP’s Mission, Vision, and Values, consider: 

⁻ ODP’s Everyday Lives priorities and ISAC Annual Report findings⁻ Your mission, role, and the services and supports you offer in light of Everyday Lives 

priorities⁻ Your performance, including Annual QA&I Self‐Assessment results  ⁻ Input and feedback offered by ODP in identifying systemic opportunities for 

improvement ⁻ Annual Statewide Reports on Self‐Assessments and QA&I Process results⁻ IM4Q results⁻ EIM and other data sources

For example, SCOs may choose to study their data to determine if QM Plan Target Objectives for them might be to ensure 100% of people they support who would like a paid job in the community have employment goals in their service plans.

Or during review and analysis of their data, providers may choose to write QM Plan Desired Outcomes to ensure people with communication systems in place use their systems across all settings. Let’s look at some performance data supporting ISAC Recommendations in the 2018 ISAC Annual Report.

25

The ISAC defined each of its 13 Recommendation for the field. Recommendation #1, Assure Effective Communication reads Every person has an effective way to communicate in order to express choice and ensure his or her health and safety. All forms of communication should consider and include the individual’s language preferences and use of current technology. 

The ISAC chose to use IM4Q data to support performance measures in this area, tracking the percent of individuals who do not communicate using words have a formal communication system in place.

26

2017 IM4Q Statewide Data show that about 1 in 3 individuals who do not communicate using words have a formal communication place in place, and, of those communication systems, 88% are working and used.

27

ISAC Recommendation #3, Increase Employment, affirms that Employment is a centerpiece of adulthood and must be available for every person. ODP has developed performance measures related to employment in HCSIS. 

28

Using the data entered into the Employment Screen in HCSIS by SCOs, ODP is able to say that 6,412 individuals served are employed in CIE as of December 2018—15%. 

You can gain insight into ODP’s priorities and consider how your organization can prioritize its efforts by reviewing the ISAC’s Annual Report. This report contains a wealth of useful information. ODP’s first Comprehensive Employment Report, 2018, is another great resource. The link to this report is found at the bottom of this slide.

Now we’ll discuss how QA&I Process provides ODP, SCOs, Providers, AEs, individuals, and families with data to use for improvement purposes.

29

ODP’s goals for QA&I are to gather timely and useable data to measure progress toward systems improvement based on ISAC Recommendations and to demonstrate that regulations and waiver performance expectations are met. As BAS aligns with QA&I Process beginning July 1st, 2019, data will become available for use regarding Adult Autism Waiver performance. 

30

AAW Providers and SCOs will be able to use QA&I performance data to assist in determining priorities for improvement. When performance falls below a threshold of 86%, a further analysis should be done by each entity, meaning each SCO or Provider. If the cause of poor performance is found to be a systemic problem in need a quality improvement project, a QM Plan and Action Plan should be initiated.

These data, in addition to other data the organization might be tracking, should also be used to help develop baselines and realistic target objectives.

31

QA&I Process has opportunities to discuss quality improvement priorities, QM Plans and Action Plans built into it.

The entrance conference that kicks off each QA&I Review provides an opportunity for leadership to share with the QA&I Team the entity’s mission and vision, and to present and discuss successful quality improvement projects as well those in process along with any challenges they wish to highlight.

The exit conference that closes each QA&I Review provides a forum for the QA&I Review Team to compliment best or promising practices, highlight areas in need of remediation and improvement, and outline expectations of the entity for corrective action, quality improvement, and the Final QA&I Comprehensive Report the entity will receive. 

32

QA&I Process assists ODP and its stakeholders to assess how well we are developing and implementing QM Plans and Action Plans as expected by evaluating whether:

• QM Plans align with ODP’s mission, vision, and values• Entities use data in setting priorities for inclusion in their QM Plans• Entities routinely assess progress in achieving priorities and make adjustments to their 

Action Plans when warranted.

In this way, ODP staff can provide feedback to entities in support of their efforts to realize ISAC priorities and improve performance in meeting expectations across requirements.

33

When an SCO’s performance review demonstrates that Risk Assessments are completed across all ISPs reviewed while risk mitigation strategies are found to be incorporated into ISPs as appropriate 78% of the time, ODP expects that the SCO will complete a more in‐depth review of its performance. 

After review of additional records across multiple SCs, the SCO determines that a systemic concern exists. The SCO reports its findings to ODP and indicates in its Corrective Action Plan that a QM Plan and Action Plan will be developed to realize improvement in this area as part of its Plan to Prevent Recurrence (PPR).

34

QA&I data are used at a statewide level to generate QM Plans and Action Plans when indicated as well. 

35

36

37

Prioritization is necessary to ensure that performance improvement activities are manageable and effective in enhancing services, supports, and outcomes for individuals and to ensure that available resources are used wisely.

Stakeholders should prioritize areas in which they plan to focus quality improvement efforts while considering ODP priorities and their own unique needs. 

38

39

We encourage you to join us for ODP’s QM Certification Class. To date, 423 AEs, SCOs, Providers, ODP and HCQU Staff have completed this curriculum. ODP Announcement 19‐004 describes QM Certification Class in more detail, along with prerequisites and Spring 2019 session dates.

As more and more ODP staff and stakeholders being ODP QM Certified, we build our quality improvement expertise across the State.  

40

41

This visual is designed to remind all ODP staff and stakeholders at a glance of the various data sources available to support ODP’s quality improvement activities, the Plan‐Do‐Check‐Act, or PDCA Cycle for improvement ODP uses, and the annual publication ODP disseminates, the ISAC Annual Report on Recommendations, Strategies, and Performance Measures. 

42

Finally, this visual is designed to remind all of us of the 12 ISAC Recommendations that guide us continuously toward assisting individuals to live an everyday life.

43

Thank you for your time and attention today! 

44