The FDA BEST System: Leveraging EHR data and Innovative Approaches for Surveillance of Biologic Products

Steve Anderson, PhD, MPPDirector

Office of Biostatistics & EpidemiologyCenter for Biologics Evaluation and Research, FDA

2

FDA Center for Biologics Evaluation & Research (CBER)Regulatory responsibility for:• Allergenics• Vaccines• Blood and blood products• Tissues• Cellular Therapies• Gene Therapies • Advanced therapeutics

3

OBE Organization Chart

OFFICE OF BIOSTATISTICS AND EPIDEMIOLOGY

IMMEDIATE OFFICE OF THE DIRECTOR

Steven Anderson, PhD, MPP, DirectorTelba Irony, PhD, Deputy Director

ABRA TEAMHIVE TEAM

BUSINESS MANAGEMENT TEAM

DIVISION OFBIOSTATISTICS

John Scott, PhDDirector

THERAPEUTICS EVALUATION BRANCH

Boguang Zhen, PhD, Chief

VACCINES EVALUATION BRANCH

Tsai-Lien Lin, PhD, Chief

DIVISION OFEPIDEMIOLOGY

Deepa Arya, MD,Director (Acting)

ANALYTICAL EPIDEMIOLOGY BRANCH

Manette Niu, MD, Chief (Acting)

PHARMACOVIGILANCE BRANCH

Adamma Mba-Jonas, MD, Chief

4

OBE Staff & ResponsibilitiesAreas of Expertise• Biostatistics• Computer modeling• Epidemiology • Pharmacovigilance• Clinical expertise• High performance               

computing ‐ HIVE

Regulatory & Research Activities• Covers all CBER‐regulated products• Statistical review efficacy and safety 

data submitted by sponsors• Prelicensure review of safety 

monitoring plans (PVP)• Routine pharmacovigilance • Passive surveillance –FAERS, VAERS• Active surveillance‐Sentinel, BEST, CMS • High performance computing and    

next generation sequencing• Benefit‐Risk Modeling

5

Legislative mandates drive CBER regulatory activities• FDA Amendments Act (FDAAA) of 2007

– Sentinel, government data, Clinical Trials.gov, PMC, PMR, REMs, safety reporting, pediatric safety  

• Prescription Drug User Fee Act (PDUFA) VI– Sentinel, Real‐world evidence (RWE), innovative clinical trials, patient input, 

benefit‐risk assessment, guidance development, public meetings, others

• 21st Century Cures (2016)– RWE, vaccine innovation, patient‐informed drug development, and others

Guidance: Good Pharmacovigilance Practices

• Identifying and describing safety signals

• Investigating a signal through observational studies

• Interpreting safety signals

• Developing a pharmacovigilance plan

http://www.fda.gov/downloads/regulatoryinformation/guidances/ucm126834.pdf

7

CBER Active PostmarketSurveillance Systems

• FDA Sentinel Initiative– Sentinel PRISM – Harvard Pilgrim system (Claims)– CBER BEST  (Largely EHR data and some claims data)

• Center for Medicare & Medicaid data • Veterans Administration Data• VSD

8

Sentinel PRISM – Harvard Pilgrim system

• Workhorse for many years for CBER regulatory/safety studies– >80 queries, >20 comprehensive studies

• Largely claims data• PRISM for vaccines – covers 170 million persons• BloodSCAN –covers ~200 million person

9

Limitations of Claims Data for Regulatory Studies

• >6 months to retrieve analyze medical charts • Long study times• Long data lags ~9‐12 mos• Transfusions not always captured

• Need for another EHR‐based system to better address CBER regulatory surveillance needs

10

Biologics Effectiveness and Safety (BEST) Initiative • New CBER Active Post‐market Surveillance Program

– Largely EHR‐based 

• Started in 2017 with pilot program

• Awarded two five‐year IDIQ contracts in FY2019– IQVIA– IBM Watson Health– Acumen– Dovell

• BEST continues as a pilot program into 2020

11

Why BEST?

• Expanded EHR data sources • Claims data• New linked EHR-Claims data• Reduced data lag ~3-4 mos• On-demand analytic capabilities• Improved operational speed &

more rapid study turnaround

• Better addresses unique characteristics of biologics

o Incorporates unique coding such as ISBT-128 for blood

o Rapid access to medical charts

12

BEST Goals

1.Fully Operational Query, study and production enterprise system

2.Leverage innovations such as AI, NLP, and semi-automation of medical chart review and automated AE reporting

13

• Routine Surveillance: Conduct evaluations of safety and effectiveness of biologic products (including vaccines)

• Evaluating safety of  vaccination during pregnancy

• Signal Detection – use of NLP and Artificial Intelligence 

• Pandemic Preparedness – near real‐time surveillance

• Emerging Infectious Disease Surveillance & Monitoring

CBER Surveillance Priorities

This Photo by Unknown Author is licensed under CC BY-SA-NC

This Photo by Unknown Author is licensed under CC BY-SA

14

IBM IQVIA/OHDSI Acumen

BEST Initiative

CollaboratorsRegenstrief Institute Columbia University University of Colorado

CernerUniversity of California, 

Los Angeles

CollaboratorsMedStar Health Foundation

15

IBM IQVIA Acumen

Add New Data Sources for Millions of Patients (2)

Data Sources# Patient Records (millions)

MarketScan 60

CED (linked EHR and 

claims data)

4.9

MedStar (EHR)

5

Data Sources# Patient Records (millions)

LRxDx (Claims) 160

Regenstrief Inst. (claims, EHR) 19

Columbia Univ (EHR) 6.5

Univ of Colorado (EHR) 17

Cerner (EHR) 23

Data Sources# Patient Records (millions)

Blue Health Intelligence(Claims)

23

16

ACCOMPLISHMENTS:DESCRIPTIVE STUDIES

BEST Initiative GOAL 1: Data, Tools and Infrastructure for Surveillance of Biologics 

17

Current Activities

• Intravenous immunoglobulin (IVIG)• Factor VIIa• Factor VIII• von Willebrand factor

• FEIBA• KCENTRA• Fibrin sealant• Fibrinogen concentrate

IBM IQVIA AcumenDescriptive Epidemiologic Studies:

• HEPLISAV‐B• SHINGRIX• ZOSTAVAX• FluMist

• All influenza vaccines• TRUMENBA and BEXSERO• GARDASIL9

Vaccines

Blood-derived products

18

Outcomes

• Syncope• Thromboembolic events• Coagulation product inhibitors (Factor VIII inhibitory antibodies)

• Hemolysis• Anaphylaxis

19

Replication of Vaccine Study (Test Case)• To test the new system, reproduced components of a published study

Klein NP et al. Pediatrics. 2010 Jul;126(1):e1-8.

• Study Objective: To assess the risk of febrile seizures in children receiving first dose of Measles, Mumps, Rubella, & Varicella (MMRV) compared to that of MMR and Varicella administered separately on the same day

20

LINKED EHR‐CLAIMS DATABASE

21

Study Population

Linked Claims‐EHR Data

w/ Labs2.9M+

EHR Data (IBM Explorys)

56 million Patients

(1999-2018)

Claims Data (IBM MarketScan)

250 million Patients(2002-2018)

Source: IBM, 2018

IBM CED4.9M

Use of deterministically linked Claims‐EHR Data (IBM CED) enables:

– Algorithms to be applied to claims data elements

– Validations to be performed using structured EHR data elements

22

CED DATABASE: PREGNANCY OUTCOMES & GESTATIONAL AGE VALIDATION

23

Study Objectives1. Develop algorithms using ICD10 diagnosis codes 

and CPT/HCPCS procedure codes toa) Determine gestational ageb) Classify pregnancy episodes as one of 4 outcomes:

i. Full‐term birthii. Pre‐term birthiii. Stillbirthiv. Spontaneous abortion

24

Study Objectives2. Using GAIA* case definitions as a reference method 

– To validate estimated gestational age and outcomes classifications

– Stratification of outcome certainty by strength of evidence– By comparing to clinician‐adjudicated results based on review of structured CED (EHR) data elements

– Example outcomes of interest: stillbirth, spontaneous abortion, live birth, low birth weight, etc.

*GAIA = Global Alignment of Immunization Safety Assessment in pregnancy

25

Study Populationn= 35,842 (100%)

Pregnancy episodes identified in claims

n= 33,698 (94%)Pregnancy episodes with GA estimates in 

claims

n= 6,122 (17%)Pregnancy episodes with GA, LMP, or 

IUI/ET AND outcome in SNOMED or LOINC in EHR

n= 2,144 (6%)Pregnancy episodes without

GA estimates in claims

n= 27,576  (77%)Pregnancy episodes without GA, LMP, or IUI/ET ANDoutcome in SNOMED or 

LOINC in EHR 

Source: IBM Watson Health, 2018 Note: Preliminary results and subject to change

26

Data Abstraction

• Built‐in questionnaire• Structured components of EHR

Clinician Review

• Display GAIA‐related structured EHR elements

Outcome Adjudication

• Full chart of structured EHR pregnancy episode available to clinician in detailed view

Clinician Adjudication Using Semi‐Automated Chart Review

Source: IBM Watson Health, 2018

27

• Semi‐automated data extraction from EHR of:– CBER Product exposures– Product‐related adverse events that meet defined criteria

• Development and validation of descriptive case reports• Electronic submission of reports via FDA electronic gateway (e.g., 

FAERS and VAERS)

BEST Goal 2: Progress

28

Innovative approaches are needed to achieve BEST’s aim of biologic product active surveillance 

Phase Traditional Approaches Innovative Methods

DataClaims‐Based: Insufficient for determining biologic exposure and outcomes

EHR‐Based:Access critical data including clinical notes, product codes, vital signs, and time stamps

Infrastructure Claims‐Focused Common Data Models: Reduced granularly, data loss, and data lag

EHR‐Oriented Standards:Interoperability and granularly enabled through use of HL7 FHIR and OHDSI OMOP

Detection Rules‐Based and Expert‐Curated Algorithms:Built for curated claims queries

Artificial Intelligence:High‐dimensional EHR requires natural language processing, machine learning, deep learning, and computational phenotyping

Validation Manual:Costly and slow

Semi‐Automated:Efficient application‐based tool

Reporting Manual:Voluntary and underreported

Automated:Automated population and submission

BEST GOAL 2: Approach Overview

29

I.  Pilot Year (FY2018):IQVIA, including: Georgia Tech Research Institute (GTRI), Columbia University, Stanford University, and Regenstrief Institute

II.  Five‐Year Vehicle (FY2019‐FY2023):IBM (awarded FY2019 task order), IQVIA, Acumen, and Dovel

BEST Aim 2: Contracts

30

Accomplishments for Goal 2: Pilot year 1. Improved sensitivity and granularity of transfusion exposures 

compared to claims data alone – Results: Applied NLP to transfusion nursing notes, component 

identification for 34,000 transfusions.– Chart review validation of 100 cases demonstrated 100% accuracy.

2. Development of computable phenotypes (CP) for Transfusion‐Associated Circulatory Overload (TACO)– NLP‐based queries = ~10% improvement in PPV for identified TACO cases. 

31

Accomplishments for Goal 2: Pilot year (2) 

3.  NLP‐based development of computable phenotypes (CP) for  Post‐Transfusion Sepsis (PTS)

‐ Identified two definitive and several candidate PTS cases.

4. Infrastructure to support interoperability within BEST through CLARITY NLP platform

5. Building infrastructure for scale‐up of CP‐based case identification and automated report generation

– Demonstrated with MIMIC test database using case characteristics from a published  TACO case.

32

Chart Review Tool: Enables semi‐automated clinical assessment with an intuitive UI Abstraction: Allows for simplified visualization of patient EHR information Classification: Reviewers efficiently document information related to, including:

FY2019: Semi‐Automated Validation Tool

• Certainty of biologic exposure• Certainty of adverse event (or health outcome of interest)

• Assessment of causality (or imputability)

• Evidence for conclusions (used for both ICSR reporting and algorithm training)

33

REAL WORLD DATA GENERATION ANDREAL WORLD EVIDENCE (RWE)

34

21st Century Cures ActFramework for the RWE Program

• The 21st Century Cures Act (Public Law 114‐255), signed into law on December 13, 2016 (Cures Act)

“Food and Drug Administration (FDA) is required to develop a framework for a program that will evaluate the use of real‐world evidence (RWE) to help support the approval of a new indication for an approved drug or to satisfy post approval study requirements (RWE Program)”.

35

CBER RWD/RWE Generation SystemsCBER uses a number of population‐based data systems to conduct RWE safety and effectiveness studies including:

1. CBER BEST   ‐ Covers >20 million (EHRs) 

2. Sentinel – Harvard Pilgrim (HP)   ‐ ~200 million persons (claims)

3. Center for Medicare & Medicaid Services ~50 million persons (claims) >65yrs

*Goal is to build RWE generation systems for use by FDA and stakeholders

CBER RWD/RWE Studies

37

CBER RWE Safety Studies:CMS and Sentinel HP

Two examples of published studies leading to label changes, regulatory actions:

1. Immune globulins and Thrombotic events (Transfusion 2012) –CMS

2. Rotavirus vaccines and Intussusception (NEJM 2014) –Sentinel HP

38

CBER RWE Effectiveness Studies:CBER‐CMS collaboration to study vaccine effectiveness in Medicare population (>65 years)

Two examples of published studies:1. High dose vs. Standard dose influenza vaccine effectiveness (Lancet Infect Dis 2015; 

JID 2017)2. Herpes zoster vaccine effectiveness and duration of effectiveness (CID 2017)

One very recent study:3. Rapid response effectiveness study of cell versus egg‐based influenza vaccines,     

2017‐18 season

Project Leads: Rich Forshee, Hector Izurieta

39

1. High dose vs. Standard dose influenza vaccine effectiveness study, 2012‐2013 season• FDA‐CMS Retrospective cohort study    

>2.6 million beneficiaries > 65 yrs• High‐dose vaccine = 22% (95% CI 15–29) 

more effective than the standard‐dose vaccine for:

– prevention of probable influenza infections and – influenza hospital admissions 

• Sponsor required confirmatory trial    (n> 30,000) showed clinical benefit of HD vaccine

• Relative efficacy HD vs Standard = 24.2%(95%CI, 9.7‐36.5)

• Conclusion: Good agreement between the two studies – FDA‐CMS RWE study much greater study size and power

40

MERCK Zostavax for Herpes Zoster (HZ)Pre‐approval efficacy trials:• Shingle Prevention Study (SPS)

– Double‐blind, placebo‐controlled (DBPC) RCT 38,000 individuals > 60

– Median follow‐up 3.1 years ‐reduction in HZ incidence 51%

• ZOSTAVAX Efficacy and Safety Trial (ZEST)– DBPC RCT  of 22,200 individuals  50‐

59 years of age– Median follow‐up 1.3 years  ‐

reduction in HZ incidence 70%

41

MERCK Zostavax for Herpes Zoster (HZ) (cont.)

Post Marketing Commitment to study long‐term efficacy in ages 50‐59 • Prospective observational study run by Kaiser Permanente Northern California• Data on 1.3 million members, with over 350,000 individuals who received Zostavax and 

100,000 individuals with more than 5 years follow up post vaccination• Study is ongoing and will continue through 2023

Clinical studies section of labeling updated:– In assessing effectiveness adjustments made for calendar time, age, sex, 

race/ethnicity, healthcare resource utilization, comorbid conditions, and immunocompromise status

– Vaccine effectiveness (VE) against HZ for 50‐59 over first 3 years following vaccination was 60%

– For individuals 60‐69, 70‐79 and 80 or older average VE against  49%, 46% and 44% respectively. 

42

Summary• CBER uses a number of active surveillance systems                to evaluate biologic product safety and effectiveness

• Launched BEST in 2017: a new active surveillance system for biologic productso Incorporates multiple large sources of EHRo Improved access to EHR provideso Reduced data lag 

• BEST and other active surveillance systems can be successfully used for RWE generation

43

Acknowledgements• CBER Sentinel Central Team• Office of Biostatistics and Epidemiology• CBER product offices: OVRR, OBRR, 

OTAT• CMS Colleagues• CDC and VSD Colleagues

• IBM Global Business Services, IBM Watson Health Team

• Acumen Team• IQVIA Team • OHDSI Collaborators

– Columbia University– Regenstrief Institute– University of Colorado– Cerner– University of California Los Angeles– Georgia Tech Research Institute– Stanford University

45

Data Quality Assessment

Data Conformance

Data Completeness

Data Plausibility

Data Quality Assessment Checks