• I Международный Форум

• «Молекулярная медицина - новая модель здравоохранения XXI века: технологии,

экономика, образование»

• 26 – 27 июня 2013

• Санкт-Петербургский государственный университет экономики и финансов

1

Воспроизводимость и предсказательная ценность результатов в генетике

предрасположенностей

Рубанович Александр Владимирович,

Хромов-Борисов Никита Николаевич

Институт общей генетики им. Н.И.Вавилова РАН Rubanovich@vigg.ru

Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова Nikita.KhromovBorisov@gmail.com

2

Диморфизм G1245T в гене Col1A1 и БОГО (болезни с ограниченной генетической обусловленностью: остеопороз и др.)

GG (SS)

GT (Ss)

TT (ss)

13 7 0

26 6 3

23 6 6

К 26 17 7

2 2 0

К 85 34 2

25 15 2

К 61 27 1

GG (SS)

GT (Ss)

TT (ss)

ГП

СЗ 75 24 13

СЗ 27 12 6

СЗ 32 17 8

СЗ-К 34 12 2

СЗ-К 118 51 5 с. 173

СЗ 86 24 14 с. 173

СЗ 23 24 23 с. 173

BF = 0,000095, а без последней строки: BF = 3159,6

ГП – Генетический паспорт - основа индивидуальной и

предикативной медицины. (Под ред. В. С. Баранова). СПб.: Н-Л, 2009,

528 с.

Численности генотипов по диморфизму G1245T (Sp1) в гене Col1A1 в двух выборках больных тяжелым остеопорозом из «популяции Санкт-

Петербурга»

Авторы

Численности генотипов РХВ,

Pval

Однород-

ность

групп,

Pval и BF

G/G

G/T

T/T

Всего

Мищенко и

др., 2006 32 17 8 57 0,12

P val =

0,014

BF10 = 2,6

Москаленко и

др., 2004 23 24 23 70

0,026

Всего 55 41 31 127 < 10-6

Обозначения: РХВ - равновесие Харди-Вайнберга; BF – Бейзов фактор

Отклонение от РХВ обусловлено избытком гомозигот (реальный инбридинг или ошибки генотипирования?).

4

Проект формата для представления генетических данных и результатов их анализа

Генотипы

Мищенко и др., 2006 Москаленко и др., 2004 Всего

Nij fij Nij fij Nij fij

G/G 32 0,360,560,75 23 0,180,330,51 55 0,310,430,57

G/T 17 0,140,300,49 24 0,190,340,52 41 0,210,320,45

T/T 8 0,040,140,31 23 0,180,330,51 31 0,140,250,37

Всего 57 1,00 70 1,00 127 1,00

Согласие с РХВ

точное Pval 0,12 0,026 < 10-6

FIS 0,020,280,52 0,090,310,52 0,150,330,49

Однорд-ность групп

точное Pval 0,014

BF10 2,6

FIS – коэффициент инбридинга (индекс фиксации). В подстрочниках указаны

точные 99%-е ДИ для полиномиальных вероятностей (долей), вычисленные

с помощью программы StatXact-8 (Cytel, USA)

5

Фармакогенетика

• Lenzini P., Wadelius M., Kimmel S., Anderson J.L., Jorgensen A.L., Pirmohamed M., Caldwell M.D., Limdi N., Burmester J.K., Dowd M.B., Angchaisuksiri P., Bass A.R., Chen J., Eriksson N., Rane A., Lindh J.D., Carlquist J.F., Horne B.D., Grice G., Milligan P.E., Eby C., Shin J., Kim H., Kurnik D., Stein C.M., McMillin G., Pendleton R.C., Berg R.L., Deloukas P., Gage B.F.

• Integration of genetic, clinical, and INR data to refine warfarin dosing.

• Clin. Pharmacol. Ther. Volume 87, No 5, 2010, 572-578.

6

Индивидуальный подбор доз фарфарина

• Фармакогенетическая поддерживающая доза (mg/week) =

• EXP [3,10894 − 0,00767 age − 0,51611 ln(INR) − 0,23032 VKORC1-1639 G>A − 0,14745 CYP2C9*2 − 0,3077 CYP2C9*3 + 0,24597 BSA + 0,26729 Target INR − 0,09644 African origin − 0,2059 stroke − 0,11216 diabetes − 0,1035 amiodarone use − 0,19275 fluvastatin use + 0,0169 dose−2 + 0,02018 dose−3 + 0,01065 dose−4].

• Клиническая поддерживающая доза (mg/week) =

• EXP [2,81602 − 0,76679 ln(INR) − 0,0059 age + 0,27815 target INR − 0,16759 diabetes + 0,17675 BSA − 0,22844 stroke − 0,25487 fluvastatin use + 0,07123 African origin − 0,11137 amiodarone use + 0,03471 dose−2 + 0,03047 dose−3 + 0,01929 dose−4].

7

8

Фармакогенетически

предсказанные дозы варфарина

Клинически предсказанные

дозы фарфарина

• Едва ли не наиболее фундаментальный результат генетики предрасположенностей - противоречивость результатов и противоречивость их интерпретаций.

• Основная причина противоречивости результатов и противоречивости их интерпретаций – их плохая воспроизводимость и чрезвычайно низкая предсказательная способность.

• Поэтому не следует доверять утверждениям о якобы практической (клинической) ценности этих исследований, которыми пестрят бесчисленные исследования генетических предрасположенностей.

• Они остаются голословными, если не подтверждены многократно в независимых исследованиях.

• Но даже если они воспроизводятся, то должна быть продемонстрирована (оценена) их предсказательная способность, приемлемая для практического (клинического) использования.

9

Опытная проверка имеет статистический характер

• В подавляющем большинстве случаев эксперимент позволяет установить лишь статистический характер зависимости между изучаемыми явлениями.

• Статистический характер результатов неизбежно приводит к необходимости многократно повторять эксперименты и/или наблюдении и проверять их воспроизводимость.

• Воспроизводимость (повторяемость) является Золотым стандартом науки.

10

Повторение – мать познания

• Научные выводы воистину становятся научными, когда они обладают предсказательной силой или прогностической (эвристической) способностью.

• Выводы, сделанные на основе анализа единичной повторности эксперимента, не могут обладать предсказательной способностью.

• В стандартных учебных пособиях по статистике эта проблема даже не упоминается.

• «Повторение составляет суть науки: ученый должен всегда задумываться о том, что произойдет, если он или другой ученый повторят его эксперимент» (Guttman, 1977).

• «Ученые разработали метод определения надежности (валидности) своих результатов.

• Они научились задавать вопрос: воспроизводимы ли они?» (Scherr, 1983).

11

• Результаты исследования заслуживают внимания, опубликования и цитирования, только после того как независимые исследователи повторят их, используя описанные авторами материалы и методы.

• Ни один уважающий себя ученый не ограничивается в своих исследованиях одним-единственным опытом (или наблюдением), хотя бы ради того, чтобы исключить неизбежные ошибки наблюдения, измерений, подсчетов и т. д.

12

• Ioannidis J.P.A.

• Why most published research findings are false

• PLoS Med., 2005. – Vol. 2. – No. 8. - Paper: e124.

13

Системная проблема современной науки

• Недавно появилось сообщение о том, что ученые известной биотехнологической компании Amgen не смогли подтвердить (воспроизвести) результаты 47 из 53 статей, которые казались очень плодотворными для запуска программ по производству новых лекарств.

• В одном исследовании, которое за короткий период цитировалось более 1900 раз, даже сами авторы впоследствии не смогли воспроизвести собственные результаты.

• Авторы приходят к выводу, что плохая воспроизводимость результатов становится системной проблемой современной науки.

14

Begley C.G., Ellis L.M. Raise standards for preclinical cancer research // Nature, 2012. – Vol. 483. – P. 531-533.

• Гленн Бегли (C. Glenn Begley), бывший вице-президент известной биотехнологической компании Amgen, и его коллега Ли Эллис (Lee M. Ellis) недавно сообщили, что ученые этой компании не смогли подтвердить (воспроизвести) результаты 47 из 53 статей, которые казались очень плодотворными для запуска программ по производству новых лекарств.

15

• Бегли и Эллис считают, что плохая воспроизводимость результатов становится системной проблемой современной науки.

• В одном исследовании, которое за короткий период цитировалось более 1900 раз, даже сами авторы впоследствии не смогли воспроизвести собственные результаты.

16

Можно перечислить по крайней мере шесть показателей того, что выводы какой-либо научной статьи являются ненадежными:

• - 1. образцы исследованы без использования приема ослепления;

• - 2. в отчете представлены не все результаты;

• - 3. эксперименты не были повторены;

• - 4. использованы неадекватные статистические методы;

• - 5. использованы не сертифицированные реагенты (например, поликлональные антитела);

• - 6. не приведены результаты позитивных и негативных контролей.

17

Из истории эпидемиологических исследований: факторы риска для возникновения рака

(Altman, Simon, JNCI, 1992)

• Электробритвы

• Холодильники

• Флюоресцентные светильники

• ЛЭП – линии электропередач

• Аллергия

• Содержание певчих птиц

• Хот-доги

• Разведение северных оленей

• Профессия – официант

• Высокий рост

• Малый рост

• И, конечно, мобильные телефоны!

18

• Обширный перечень зачастую курьезных медицинских заблуждений о разнообразных факторах риска, оказавшихся несостоятельными, приведен в работе:

• Buchanan A.V., Weiss K.M., Fullerton S.M. • Dissecting complex disease: the quest for the

Philosopher’s Stone? • International Journal of Epidemiology 2006. –

Vol. 35. – P. 562–571

19

Перечень невоспроизводимых результатов

• Гормонозаместительная терапия и заболевания сердца

• Гормонозаместительная терапия и рак

• Стресс и язва желудка • Ежегодные физические

обследования и предотвращение болезней

• Нарушения поведения и их причины

• Маммография и предупреждение рака

• Самообследование молочных желез и предупреждение рака

• Эхинацея и простуда • Витамин С и простуда • Детский аспирин и

предупреждение болезней

• Поваренная соль и гипертензия • Потребление жира и заболевания

сердца • Пищевой кальций и прочность

костей • Ожирение и болезни • Пищевые волокна и

колоректальный рак • Пищевая пирамида и

рекомендуемые суточные нормы потребления

• Холестерин и сердечнососудистые заболевания

• Гомоцистеин и сердечнососудистые заболевания

• Воспаления и сердечнососудистые заболевания

• Оливковое масло и рак молочной железы 20

Перечень невоспроизводимых результатов (продолжение)

• Беспокойство и ожирение

• Солнце и рак

• Ртуть и аутизм

• Родовспоможение и щизофрения

• Материнская забота и шизофрения

• Что-то еще и шизофрения

• Красное вино (но не белое и не виноградный сок) и заболевания сердца

• Сифилис и гены

• Материнская забота и аутизим

• Грудное вскармливание и астма

• Искусственное вскармливание и астма

• Бог знает, что и астма

• Силовые трансформаторы и лейкемия

• Атомные электростанции и лейкемия

• Мобильные телефоны и опухоли мозга

• Витаминные антиоксиданты и рак или старение

• Организация медицинского обеспечения и удешевление медицинский услуг

• Организация медицинского обеспечения и оздоровления населения

• Гены – и вы можете сами назвать, что еще!

21

Мифы об AB0

• Классическим примером неподтвержденных связей с различными состояниями человека может служить система группы крови AB0.

• Сообщались самые невероятные явления.

• Якобы у субъектов с А более тяжелое похмелье;

• у субъектов с 0 более здоровые зубы;

• военные с 0 слабохарактерны, а с B более импульсивны;

• субъекты с B более склонны к преступлениям; между AB0 и пищеварением – сильная связь: для каждой группы своя диета; аллель 0 якобы более древняя и поэтому ее носители – охотники и плотоядны, а аллель A моложе и поэтому ее носители – фермеры и вегетарианцы;

• у субъектов с А2 более высокий IQ;

• люди с группой В чаще испражняются.

• Все эти связи не воспроизводятся и практически забыты.

22

• Статистически «доказанными» до сих пор остаются лишь связи между группами крови AB0 и злокачественными новообразованиями, тромбозами, пептическими язвами, кровотечениями, бактериальными и вирусными инфекциями.

• Увы, клинической (практической) ценности эти связи не имеют, поскольку такой показатель статистической связи как отношение шансов (OR) для них не превышает значения OR = 1,5.

23

Рубанович А.В., Хромов-Борисов Н.Н. Теоретический анализ показателей предсказательной эффективности бинарных генетических

тестов // Экол. Генетика, 2013. – Т. 11. – С. 77-90.

• Общепринято для OR интерпретировать значения ≤ 1,5 как практически ничтожные, от 1,5 до 3,5 – низкие, от 3,5 до 9,0 – умеренные, от 9,0 до 32 – высокие и > 32 – очень высокие.

• Наше теоретическое исследование показывает, что при OR < 2,2 маркер обладает заведомо низкой прогностической эффективностью во всех смыслах и при любых частотах встречаемости заболевания и маркера.

• Маркер может быть хорошим классификатором, если OR > 5,4, при условии, что его популяционная частота достаточно высока (pM > 0,3).

• На практике это означает, что указанным неравенствам должны удовлетворять нижние границы доверительного интервала для оцениваемого значения ORL.

• Ранее близкие значения критических уровней наблюдаемых эффектов в генетике предрасположенностей предлагались для относительных рисков (RR < 2 и RR > 5).

24

Предсказательная способность

• Рассмотрим нейтральный пример (казалось бы, далекий от генетики) о связи между алопецией (облысением) и ишемической болезнью сердца (ИБС).

• 9510 врачей-мужчин наблюдали за собой в течение 11 лет и фиксировали у себя наступление двух событий – развитие алопеции и ИБС.

• Данные представлены в таблице. • Мы можем рассматривать алопецию как

маркер (M) наличия ИБС (D).

25

Lotufo P.A., Chae C.U., Ajani U.A., Hennekens C.H., Manson J.A.E. Male pattern baldness and coronary heart disease: The Physician's Health Study

// Arch. Intern. Medicine, 2000. – Vol. 160. – P. 165-171.

ИБС

Всего Предсказатель-

ности Алопеция Есть, D+ Нет, D-

Есть, M+ 127

0,0700,0940,123

1224 1351 PPV = P(D+|M+)

= 0,070,100,12

Нет, M-

548

0,0580,0670,077

7611 8159 NPV =

P(D-|M-)

= 0,920,930,94

Всего 675 8835 9510 PrevD = P(D+)

= 0,060,070,08

Распознавате-

льности

Se = P(M+|D+)

= 0,140,190,24

Se = P(M-|D-)

= 0,850,860,87

PrevM = P(M+) =

0,130,140,15

LR[+] =

P(M+|D+)/P(M+|D-)

= 1,021,361,77

LR[-] =

P(M-|D-)/P(M-|D+)

= 1,001,061,14

AUC = (Se + Sp)/2 = 0,500,530,56

Однородность Pval = 0,00058 ≈ 6·10-6

BF10 = 18,9

Связь OR = 1,021,452,01 26

• Использованы традиционные обозначения для основных показателей распознавательной и предсказательной способностей диагностического теста:

• Se - чувствительность, • Sp - специфичность, • LR[+] и LR[-] - отношения правдоподобий для «позитивов» и «негативов»

(положительных и отрицательных результатов теста), • PPV и NPV – предсказательные ценности «позитивов» и «негативов», • PrevD и PrevM - распространенности маркера и заболевания, • AUC - площадь под ROC-кривой, • Pval - значение P, • BF - бейзов фактор и • OR - отношение шансов. • В виде построчных индексов слева и справа от точечных статистических

оценок этих показателей указаны границы 99,9%-х доверительных интервалов.

• Использованы программа • LePAC (http://www.univ-rouen.fr/LMRS/Persopage/Lecoutre/PAC.htm) • и оригинальная программа DiagStat.xls.

27

• Статистически связь между алопецией и развитием ИБС оказывается высоко значимой (Pval = 0,00058 ≈ 6·10-4).

• Полученное значение бейзова фактора (BF10 =18,9) показывает, что примерно в 19 раз более правдоподобно получить такие данные, когда эта связь действительно есть, чем когда ее нет.

• Соответственно, шансы (odds) в пользу наличия связи между алопецией и ИБС в 19 раз превышают шансы в пользу отличия такой связи.

• Однако клиническая ценность этих данных ничтожная.

• Чувствительность алопеции как маркера для ИБС – неинформативная: Se = P(M+|D+) = 0,140,190,24

• Специфичность умеренная: Se = P(M-|D-) = 0,850,860,87 • Значение AUC = 0,500,530,56 практически не отличатся от

неинформативного значения AUCuninf = 0,5. • Оба отношения правдоподобий LR[+] = 1,021,361,77 и LR[-] = = 1,001,061,14 • ничтожно мало отличаются от их неинформативных значений

LR[+]uninf = LR[-]uninf = 1.

28

PPV – предсказательная ценность

• Предсказательная (посттестовая,

апостериорная) вероятность наличия ИБС

у субъектов с алопецией:

• PPV = P(D+|M+) = 0,070,100,12

пренебрежимо мало отличается от ее

распространенности, т.е. от претестовой

(априорной) вероятности:

• PrevD = P(D+) = 0,060,070,08

29

• Известно, что евнухи, когда они становятся евнухами в возрасте до 25 лет, не лысеют.

• Вряд ли найдется врач, который на основании этих данных будет рекомендовать молодым людям обзаводиться детьми до 25 лет, а потом становится евнухами, чтобы не лысеть и чтобы на 2% снизить риск развития у них ИБС.

• Тем не менее, это очень похоже на рекомендации медицинских генетиков, подавляющее большинство которых слишком часто бывают основаны на столь же клинически ничтожных значениях распознавательной и предсказательной способностей генетических маркеров.

• Редко значения отношения шансов в этих работах превышают значение OR > 2.

30

Лучше один раз увидеть

• Результаты статистического контроля качества диагностических тестов полезно наглядно представлять в виде графиков предсказательностей.

• Примеры приведены на рисунках.

31

Simon A., Worthen D. M., Mitas J. A.1979. An evaluation of iridology // JAMA, V. 242, N 1, P. 1385-1389. 13.Mäki M., Mustalahti K., Kokkonen J., et al. 2003. Prevalence of celiac disease

among children in Finland // N. Engl. J. Med, V. 348, 2517-2524.

Алопеция и ИБС Иридодиагностика и почечная недостаточность

32

Druzhevskaya A.M, Ahmetov I.I., Astratenkova I.V., Rogozkin V.A. 2008. Association of the ACTN3 R577X polymorphism with power athlete status in Russians // Eur. J. Appl. Physiol., 2008. – Vol. 103. – P. 631–634.

Кундас Л.А., Жур К.В., Бышнев Н.И. и др. Анализ молекулярно-генетических маркеров, ответственных за устойчивость к физическим нагрузкам, у представителей академической гребли // Молекулярная и

прикладная генетика: сб. науч. тр. Институт генетики и цитологии НАН Беларуси; (гл. ред. А.В. Кильчевский). 2013. - Минск: ГНУ «Институт генетики и цитологии НАН Беларуси», Т. 14. – C. 101-105.

Ген ACTN3 и элитные атлеты Ген PPARG и элитные гребцы

33

Mayeux R., Saunders A.M., Shea S., et al. 1998. Utility of the apolipoprotein E genotype in the diagnosis of Alzheimer’s disease // N. Engl. J. Med., 1998. – Vol. 338. – P. 506-511.

Mäki M., Mustalahti K., Kokkonen J., et al. 2003. Prevalence of celiac disease among children in Finland // N. Engl. J. Med, 2003. – Vol. 348. – P. 2517-2524.

Ген APOE и болезнь Альцгеймера Гаплотипы HLA и целиакия

34

Banks E., Reeves G., Beral V. et. al. Influence of personal characteristics of individual women on sensitivity and specificity of mammography in the Million Women Study: cohort study // BMJ,

2004. – Vol. 329. – No. 7464. – P. 477-479. Kevin P. Delaney K.P., Branson B.M., Apurva Uniyal A. et al. Performance of an oral fluid rapid

HIV-1/2 test: experience from four CDC studies // AIDS, 2006. – Vol. 20. – P. 1655–1660.

Маммография и рак молочной железы Экспресс-тест на ВИЧ

35

1959 г. Доклад «от 15 до 18» Центрального Консультативного Совета по

образованию США (доклад Crowther)

• Статистическое невежество и статистические ошибки так же широко распространены и так же опасны, как логические ошибки, которые принято заносить под рубрику неграмотности.

• Цит. по: Броуди М. Б. О статистическом рассуждении. – М.: Статистика, 1968. - 70 с.

36

ГОСТ Р 53022.3-2008

• Настоящий стандарт устанавливает единые правила оценки клинической информативности лабораторных исследований, выполняемых в клинико-диагностических лабораториях медицинских организаций в целях оценки состояния здоровья, клинической диагностики и слежения за эффективностью лечения пациентов.

37

• Тишков А.В., Хромов-Борисов Н.Н., Комашня А.В., и др. Статистический анализ таблиц в диагностических исследованиях, 2013. – СПб.: Изд-во СПбГМУ, 20 с.

38

39