etap overview rus

Лингвистический процессор ЭТАП-3: компьютерная реализация модели

«Смысл Текст»

ETAP-3 Linguistic Processor: an NLP Implementation

of the Meaning Text Theory

Л.Л.Иомдин

Институт проблем передачи информации им А.А.Харкевича РАН

26 января 2011 г. Научный семинар Яндекса 2

План доклада

1. Введение и общий обзор лингвистического процессора

2. Система машинного перевода ЭТАП-33. Некоторые уроки этой системы для

специалистов в области информатики и лингвистов


Теоретические основы

И.А.Мельчук

Лингвистическая модель «Смысл ⇔ Текст»

Ю.Д.Апресян

Системная лексикография и теория интегрального описания языка


Основные компоненты ЛП ЭТАП-3

Машинный перевод Глубоко аннотированные корпусы текстов Система перевода, основанная на

Универсальном сетевом языке UNL Компьютерный учебник лексики Синонимическое перифразирование Сопряжение семантики и онтологии Речевой синтез Языковой интерфейс к базам данных типа SQL Синтаксический корректор


Основные особенности лингвистического процессора ЭТАП-3

• Информатика• Правиловый подход• Самонастройка системы на обрабатываемый

текст• Максимальное использование лингвистических

ресурсов в разных приложениях (reusability)• Лингвистика

• Строгое разделение языковых уровней• Структура синтаксических зависимостей• Лексикалистский подход


Машинный перевод Русский ⇔ Английский

Морфологические словари объемом 130000 слов Комбинаторные словари объемом 100,000 слов

Русско-немецкий прототип Русско-французский прототип Русско-корейский прототип Русско-испанский прототип Англо-арабский прототип


Объекты Этапы Словари

Входное предложение

Расширение

Морфологичес-кий анализ

Морфологический словарь входного языка

Комбинаторный словарь

входного языка

ПарсингВходнаяМорфС

ВходнаяСинтС

Нормализация

Входная НормС

Трансфер

Комбинаторныйсловарь

выходного языка

ВыходнаяНормС

Синтаксическийсинтез

Морфологичес-кий синтез

Морфологический словарь

входного языка

Общая архитектура процесса перевода

ВыходнаяСинтС

ВыходнаяМорфС

Выходное предложение


Особенности системы МП ЭТАП-31. Множественный перевод

They made a general remark that …

(a) ‘they remarked in a general way that…’

(b) ‘they forced a general to remark that…’


Неоднозначное английское предложение

He made a general remark that everything was OK


Первый вариант древесной СинтС


Второй вариант древесной СинтС


Неоднозначное русское предложение

Моих друзей звали Иван и Петр


Первый вариант СинтС


Второй вариант СинтС


Особенности системы МП ЭТАП-3: Интерактивность


Самонастройка: Грамматика и словарь

• Общие закономерности: общие правила, применяемые к большим классам слов и используемые во всяком предложении Пример: согласование Adj + N

• Менее общие закономерности: конкретные правила, применяемые к замкнутым классам слов и имеющие ограниченную встречаемость. Пример 1: составные числительные Пример 2: длительные конструкции


Особенности системы МП ЭТАП-3: Широкое использование лексических функций

• MAGN (disease) = grave• MAGN (fog) = heavy • MAGN (control) = strict

• MAGN (болезнь) = тяжелый• MAGN (туман) = густой

• MAGN (контроль) = строгий


Свойства лексических функций• Универсальность• Внутриязыковая идиоматичность

grave disease, heavy fog *heavy disease, *grave fog.

• Межъязыковая идиоматичность тяжелая болезнь ‘heavy disease’ густой туман ‘dense fog’


Практическое применение ЛФ в машинном переводе и в других опциях ЛП

• Разрешение лексической и синтаксической неоднозначности при синтаксическом анализе

• Идиоматичный перевод устойчивых выражений

• Синонимическое перифразирование


Разрешение лексической неоднозначности

to draw a distinction – проводить различие

Оба глагола весьма многозначны: draw – свыше 50 значений проводить’ – более 10 значений


Разрешение синтаксической неоднозначности

• support of the parliament ‘support by the parliament’ ‘support (given) to the parliament’

В лексико-функциональных контекстах синтаксические связи дизамбигуируются:

• The president had [Y=OPER2(X)] the support[X] of the parliament

• The president expressed [Y=OPER1(X)] full support [X] of the parliament


Идиоматичный перевод:LF Temp

• March: in – март: в2• Tuesday: on – вторник: в1• dawn: at – рассвет: на2

• moment: at – момент: в1• Easter: at – пасха: на1


Синонимическое перифразирование высказываний

• The United Nations ordered Iraq a report on chemical weapons

• the United Nations gave Iraq an order to write a report on chemical weapons

• Iraq was ordered by the United Nations to write a report on chemical weapons

• Iraq received an order from the United Nations to write a report on chemical weapons


Синонимическое перифразирование высказываний

• X = CONV12 (X)

This group consists of 20 people –

Twenty people comprise this group;

• X + Y = ANTI1(X) + ANTI2(Y)

He began to observe the rules –

He stopped violating the rules

• X = LABOR12 + S0(X)

He respects his parents –

He treats his parents with respect


Какова высота Пизанской башни?

Пизанская башня имеет в высоту 56 метров.

Пизанская башня возвышается на 56 метров.

Высота Пизанской башни составляет 56 метров.

Высота Пизанской башни равняется 56 метрам.

Высота Пизанской башни равна 56 метрам.

Высота Пизанской башни достигает 56 метров.

Пизанская башня – сооружение высотой в 56 метров.

Синонимическое и квазисинонимическое перифразирование высказываний


How high is the tower of Pisa? How tall is the tower of Pisa? What is the height of the tower of Pisa?

The tower of Pisa is 56 meters high <tall>.The tower of Pisa stands 56 meters high <tall>.The tower of Pisa stands at 56 meters high <tall>. The tower of Pisa rises 56 meters.The tower of Pisa measures 56 meters in height. The height of the tower of Pisa is 56 meters.The height of the tower of Pisa is equals to 56 meters.The height of the tower of Pisa amounts to 56 meters. The tower of Pisa is a 56 meter high <tall> structure.The 56 meter high <tall> tower of PisaThe height of the tower of Pisa reaches 56 meters. The height of the tower of Pisa achieves 56 meters.

Синонимическое и квазисинонимическое перифразирование высказываний


Какова высота X? - X имеет в высоту Num.X возвышается на Num.Высота X составляет Num.Высота X равняется Num.Высота X равна Num.Высота X достигает Num.X - сооружение высотой в Num.X высотой в Num.

Синонимическое перифразирование как средство совершенствования поиска в

поисковых машинах


Лексикалистский подход:Богатство используемых словарейВажное понятие синтаксического

признака


Образец словарной статьи (фрагмент): CHANCE

CHANCE1POR:SSYNT:COUNT,PREDTO,PREDTHATDES:'FACT','ABSTRACT’


CHANCED1.1:OF,'PERSON'D2.1:OF,'FACT'D2.2:TO2D2.3:THAT1


CHANCESYN1: OPPORTUNITYMAGN: GOOD1, FAIR1, EXCELLENTANTIMAGN: SLIGHT, SLIM, POOR,

LITTLE1, SMALLOPER1: HAVE, STAND1REAL1-M: TAKE


CHANCEANTIREAL1-M: MISS1INCEPOPER1: GETFINOPER1: LOSECAUSFUNC1: GIVE <TO1>ZONE:R TRANS:ШАНС/СЛУЧАЙ


CHANCE

REG:TRADUCT2.00TAKE:XLOC:RR:COMPOS/MODIF/POSSESCHECK1.1 DEP-LEXA(X,Z,PREPOS,BY1)N:01CHECK1.1 DOM(X,*,R)DO1 ZAMRUZ:Z(ПО1)2 ZAMRUZ:X(СЛУЧАЙНОСТЬ’)


CHANCE

N:02CHECK2.1 DOM(X,*,*)DO1 ZAMRUZ:Z(СЛУЧАЙНО)2 STERUZ:X

TRAF:RA-EXPANS.16LA:THAT1TRAF:RA-EXPANS.22


Мне безразлично, придет ли он.Мне безразлично, придет он или нет.Мне безразлично, кто придет.Мне безразлично, когда он придет.

*Мне странно, придет ли он.

*Мне странно, придет он или нет.

*Мне странно, кто придет.

*Мне странно, когда он придет.

Синтаксические признаки


Мне безразлично, придет ли он.Мне безразлично, придет он или нет.Мне безразлично, кто придет.Мне безразлично, когда он придет.

безразлично = ПРЕДВОПР



*Мне странно, придет ли он.*Мне странно, придет он или нет.*Мне странно, кто придет.*Мне странно, когда он придет.

странно ≠ ПРЕДВОПР



?Мне безразлично, что он не пришел

Мне странно, что он не пришел.



странно = ПРЕДЧТО

Мне странно, что он не пришел.



безразлично ≠ ПРЕДЧТО

?Мне безразлично, что он не пришел.



БЕЗРАЗЛИЧНЫЙ1

COMMENT:"НЕ ИМЕЮЩИЙ ЗНАЧЕНИЯ"

EXAMPLE:"МНЕ БЕЗРАЗЛИЧНО, КОГО ВЫБЕРУТ ПРЕДСЕДАТЕЛЕМ"

POR:A ЛИ

SYNT:КАЧЕСТВ,СИНТЕТ,ПРЕДКОГДА,ПРЕДВОПР

D2.1:ДАТ,'ЛИЦО'

TRAF:1-КОМПЛ.20


TRAF:ПРЕДИК.19

****************************

ZONE:A

…..



БЕЗРАЗЛИЧНЫЙ2

COMMENT:"РАВНОДУШНЫЙ (INDIFFERENT)"

EXAMPLE:"ОНА КО ВСЕМУ БЕЗРАЗЛИЧНА"

POR:A АЛ

SYNT:КАЧЕСТВ,СИНТЕТ

D2.1:К

****************************

ZONE:A

TRANS:INDIFFERENT

…..



СТРАННЫЙ

POR:A АЛ

SYNT:КАЧЕСТВ,ПРЕДИНФ,ПРЕДКОГДА,ПРЕДЧТО,СИНТЕТ

D2.2:ДАТ



TRAF:ПРЕДИК.19

****************************

ZONE:A

TRANS:STRANGE



Еще о синтаксических признаках

Признаки серии «пред» (“ПРЕДЧТО” и “ПРЕДЧТОБЫ”)

Признаки ВВОД-1 и ВВОД-2

Признак ДАТПОС.

Признаки *СОВ-1, *СОВ-2, *СОВ-3


Признаки "предчто" и "предчтобы".Собственное управление слова и синтаксические признаки слова

(1) Жаль, что вас не было с нами.(2а) Я сомневаюсь, что он придет вовремя <чтобы

он пришел вовремя, придет ли он вовремя>.(2б) Что он придет вовремя <чтобы он пришел

вовремя>, сомнительно.(2в) Сомнительно, что он придет вовремя <чтобы

он пришел вовремя>.(3а) *Что он придет вовремя <чтобы он пришел

вовремя>, (было) сомнение.(3б) Что он придет вовремя <чтобы он пришел

вовремя>, вызывает (большое) сомнение.



Представляется невероятным, чтобы он решил уехать.

Я считаю невероятным, чтобы он решил уехать

26 января 2011 г. Научный семинар Яндекса 47Лекция 6. 47


(а) Для поездки за границу необходимы деньги.

(б) Чтобы поехать за границу, необходимы деньги.

(в) Для поездки за границу необходимо, чтобы были деньги.

(г) Чтобы поехать за границу, необходимо, чтобы были деньги.

19 октября 2010 г.


Признаки "ВВОД-1" и "ВВОД-2".Точность определения

(а) Оказалось, что президент тяжело болен.

(б) Как оказалось [=ВВОД-1], президент тяжело болен.

(в) Президент, оказалось [=ВВОД-1], тяжело болен.



олучается <выходит>, что мои усилия были напрасны.

олучилось <вышло>, что мои усилия были напрасны.

олучаться, выходить – имеют признак ВВОД-1 или нет?

ои усилия, получается <выходит>, были напрасны.

?Как получается <выходит>, мои усилия были напрасны.

? Мои усилия, получилось, были напрасны.

Как получилось, мои усилия были напрасны.



олагается, чтобы школьники приходили в бассейн в резиновых шапочках.

сть ли у полагаться признак ВВОД-1?

ак полагается, школьники пришли в бассейн в резиновых шапочках.

кольники, как полагается, пришли в бассейн в резиновых шапочках.

Школьники, полагается, пришли в бассейн в резиновых шапочках.

озможно, требуется более высокая зернистость признаков


(1а) Мы знаем, что металлы при нагревании расширяются, а при охлаждении сжимаются.

(1б) Как мы знаем [=ВВОД-2], металлы при нагревании расширяются, а при охлаждении сжимаются.

(1в) Металлы, мы знаем [=ВВОД-2], при нагревании расширяются, а при охлаждении сжимаются.

(2а) Вы знаете, что металлы при нагревании расширяются, а при охлаждении сжимаются.

(2б) Как вы знаете [=ВВОД-2], металлы при нагревании расширяются, а при охлаждении сжимаются.

(2в) Металлы, вы знаете [=ВВОД-2], при нагревании расширяются, а при охлаждении сжимаются.




3а) Каждый школьник знает, что металлы при нагревании расширяются, а при охлаждении сжимаются.

3б) Как знает [=ВВОД-2] каждый школьник, металлы при нагревании расширяются, а при охлаждении сжимаются.

3в) ??Металлы, знает [=ВВОД-2] каждый школьник, при нагревании расширяются, а при охлаждении сжимаются.



(а) Мы думали, что поезда в это время ходят каждый час.

(б) Как мы (и) думали [=ВВОД-2], поезда в это время ходили каждый час.

(в) ??Поезда в это время, мы думали [=ВВОД-2], ходили каждый час.

Возможно, требуется более высокая зернистость признаков



(1а) Мы сомневались, что поезда в это время ходят каждый час.

(1б) *Поезда в это время, мы сомневались [≠ВВОД-2], (не) ходят каждый час.

(1в) *Как мы (и) сомневались [≠ВВОД-2], поезда в это время (не) ходят каждый час.

(2а) Мы не сомневались, что поезда в это время ходят каждый час.

(2б) Поезда в это время, мы не сомневались, ходят каждый час.

(2в) Как мы (и) не сомневались, поезда в это время (не) ходят каждый час.


Признак ДАТПОС

(1а) Охотник посмотрел в глаза тигра. (1б) Охотник посмотрел [=ДАТПОС] тигру в глаза. (2а) Мальчик погладил спину дога. (2б) Мальчик погладил [=ДАТПОС] догу спину.(3а) Я заглянул [=ДАТПОС] тигру [=ОДУШ] в глаза.(3б) *Я заглянул [=ДАТПОС] дому [#ОДУШ] в окна.(4а) Мальчик потрогал спину дога.(4б) ?Мальчик потрогал догу спину.(5а) Мальчик прикоснулся к спине дога.(5б) *Мальчик прикоснулся догу к спине.


Признак ДАТПОС

(6а) Хирург удалил <вырезал> [=ДАТПОС] больному опухоль.

(6б) ?Хирург удалил опухоль больного.(6в) ??Хирург вырезал опухоль больного.(7а) Я поранил [=ДАТПОС] себе руку. (7б) *Я ранил [#ДАТПОС] себе руку. (7в) Я ранил себя в руку.



*СОВ-1: надоесть, опротиветь, понравиться, разонравится, наскучить, хватить (хватит болтать), будет (тебе дуться)


*СОВ-2: отвыкнуть, привыкнуть, устать, научиться, полюбить, разлюбить, передумать, раздумать, наловчиться, насобачиться, не миновать (тебе сидеть в тюрьме), давайте (работать)



*СОВ-3: отучать, приучать, натаскивать



Понятие синтагмы

REG:АГЕНТ.10 ТРАФАРЕТНОЕ НА VAL(1,X,S,ТВОР): ПРИЕМ ДЕЛЕГАЦИИN:01 ПРЕЗИДЕНТОМCHECK1.1 VAL(1,X,ТВОР)1.2 R-EQU(X,Y,8,ТВОР)&^#(Y,S,A)&#(Y,ОТР)&#(Y,ОТР-НЕ)&^ININT(X,Y,СОЧ)1.3 #(Y,S)/=(Y,АГЕНС)/=(Y,'КРИСТАЛЛ')/=(Y,МЕСТ)1.4 =(Y,S)/R-LEXR(Y,*,2,ИЗ)2.1 LEXR(Y,ТО3,ЧТО2)3.1 =(Y,S)/DOM(Y,*,ЭЛЕКТИВ)4.1 =(Y,ЛИЧН)&DOM(X,Z1,1-КОМПЛ)&^ORD(X,Y,Z1)4.2 DOM-NEQU(X,*,1-КОМПЛ,РОД)4.3 DEP-EQU(X,W,1-КОМПЛ,V)&#(W,СТРАД)&CORLF(X,W,_OPER1)4.4 DEP-EQU(X,W,2-КОМПЛ,V)&#(W,СТРАД)&CORLF(X,W,_LABOR1-2)DO1 SVUZOT:(X,Y,АГЕНТ)


Группы условий синтагмы


Первая и вторая группы – линейные условия




Третья и четвертая группы – древесные условия




Первая и третья группы – необходимые условия




Вторая и четвертая группы – невозможные условия


Проективность СинтС и парсинг для машинного перевода

В моих руках оно подобно будетКлючу от брошенной шкатулки в море.

Пушкин, Скупой рыцарь


Проективность СинтС



Проективность СинтО



Проективность СинтО

В моих руках оно будет подобноКлючу от шкатулки, брошенной в море.


Уроки машинного перевода для лингвистов.

Лексика и синтаксис


Главная цель Великого поста, который начался для православных, – нравственно возвысить человека.

Пример из опыта работы системы МП ЭТАП-3. Лента ИТАР-ТАСС


The chief aim of the Lent which has begun for the Orthodox – it is moral to elevate a person

Перевод фразы на английский язык


‘Главная цель Великого поста… – возвышение человека является

нравственным’

Буквальное значение английского перевода


В чем причина ошибки? Посмотрим на СинтС 1:


Правильная СинтС 2


идея

Всегда ли неправильна СинтС 1?


The main idea of the Lent which has begun for the Orthodox – it is moral to elevate a person


Два разных синтаксических типа существительных

• Существительные типа цель• Существительные типа идея


Существительные типа 1) (с признаком ПРЕДИНФ)

цель, назначение, предназначение, задача, проблема, план, намерение, стремление


Существительные типа 2)(с признаком ПРЕДПРЕДЛ)

идея, мысль, смысл, пафос, посылка, тезис, положение, принцип, постулат, утверждение, урок,высказывание, лозунг, девиз, результат, итог


The chief aim of the Lent which has begun for the Orthodox – to elevate a person morally

Исправленный перевод


Уроки машинного перевода для всех.

Пределы возможного


На месте пожара был обнаружен мертвым пожилой сторож

Примеры из опыта работы системы МП ЭТАП-3. Новостные ленты


An elderly guard was found on the site of fire by the dead man


На месте пожара был обнаружен покойным пожилой сторож



Было подтоплено 820 домовладений



820 households were heated


В 1999 году в ФРГ переехало 95 тысяч этнических немцев



In 1999 in the Federal Republic of Germany 95 thousand ethnic Germans were run over


Всесильна ли статистика?


акциялицопартия


акция1: ‘ценная бумага’акция2: ‘активное мероприятие’

АКЦИЯ


лицо1: ‘часть головы’лицо2: ‘персона, человек’

ЛИЦО


круглое лицо, идеальные черты лица, лицо со шрамом, лицом к лицу лица не увидать

ЛИЦО


физическое лицо, юридическое лицо, официальное лицо, подпись ответственного лица, посторонним лицам вход воспрещен, лицо нетитульной национальности

ЛИЦО


Знакомое лицо? Незнакомое лицо?

ЛИЦО


Таможня – лицо державы

ЛИЦО


Инспектор сделал официальное лицо

ЛИЦО


Партия рабов

ПАРТИЯ


Партия трудящихся

ПАРТИЯ


Партия скрипки

ПАРТИЯ


Партия скрипок

ПАРТИЯ

etap overview rus

Documents