building machine translation systems for indigenous languages

Building Machine Translation Systems for Indigenous

Languages

Ariadna Font Llitjós (Carnegie Mellon University)aria@cs.cmu.edu

Roberto Aranovich (University of Pittsburgh) roa6@pitt.edu

Lori Levin (Carnegie Mellon University) lsl@cs.cmu.edu

2

Cooperación

• Lingüistas computacionales

(Language Technologies Institute, Carnegie Mellon University)

• Comunidades aborígenes de América Latina (comunidad mapuche de Chile y comunidad quechua de Perú).

3

El Projecto Avenue

• Desarrollar tecnologías lingüísticas para lenguas con escasos recursos en forma rápida y accesible económicamente.

4

Tecnologías lingüísticas

• Bases de datos en formatos electrónicos estandarizados.

• Diccionarios electrónicos.

• Correctores ortográficos.

• Analizadores morfológicos automáticos.

• Sistemas de traducción automática.

5

Cooperación institucional (mapudungún)

• Las instituciones que han cooperado en la producción de tecnologías lingüísticas para el mapudungún son:

• El Projecto Avenue.

• El Ministerio de Educación de Chile.

• El Instituto de Estudios Indígenas, Universidad de la Frontera (UFRO).

6

El mapudungún

• Lengua aglutinante y polisintética hablada en el centro-sur de Chile y Argentina.

• 900.000 mapuches.

• Al menos 300.000 hablantes.

Sistema de traducción mapudungún-español basado en reglas

Léxico mapuche(raíces y

morfemas)

Analizador morfológico mapuche

Input: oración/frase/palabra mapuche

Grámatica de transferencia/Léxico de transferencia Input segmentado

morfológicamente/rasgos gramaticalesespecificados

Estructura gramaticalequivalente en español(palabras no flexionadas+ rasgos gramaticales)

Generadormorfológicoespañol

Output: oración/frase/palabraespañola

Léxico español(palabras flexionadas) (Universidad Politécnica de Barcelona)

Sistema de transferencia

8

Un ejemplo

83:

sl: pe-rke-fi-ñ Maria

ver-REPORT-3pO-1pSgS/IND

tl: DICEN QUE LA VI A MARÍA

tree: <((SBAR,1 (LITERAL "DICEN") (LITERAL "QUE") (S,3 (VP,3 (VBAR,6 (CLITIC,4:0 "LA") (TENSEBAR,1 (V,4:1 "VI") ) ) (LITERAL "A") (NP,4 (NBAR,2 (N,2:5 "MARÍA") ) ) ) ) ) )>

9

Segmentación morfológica(programa desarrollado por Carlos Fasola)

((REPORTATIVE +)

(PERSON 1)

(NUMBER SG)

(MOOD IND)

(OBJECT

((PERSON 3))))

pe-rke-fi-ñ ver-REPORT-3O-1sS/IND

10

Gramática de transferencia (1)

• Formalismo desarrollado para manipular rasgos gramaticales (transferir, insertar, transformar).

• Itemes léxicos → constituyentes sintácticos.

• Constituyentes sintácticos → constituyentes sintácticos.

• Lengua fuente → lengua meta.

11

Ejemplo de regla:pl N con pluralizador pu (pu ruka::casas)

{NBar,1} ;;identificadorNBar::NBar : [PART N] -> [N] ;;especificación de

los ;;constituyentes( (X2::Y1) ;; alineación ((X1 number) =c pl) ;;restricción ((X0 number) = (X1 number)) ;; transferencia

((Y0 number) = (X0 number)) ;; de rasgos((Y1 number) = (Y0 number))((Y0 gender) = (Y1 gender)))

)

12

Representación arbórea

NBar(X0) NBar(Y0)

PART(X1) N(X2) N(Y1)

pu ruka casas

numnum

num

gen

13

Reglas que se aplican en perkefiñ

• Problemas a resolver:• 1. Concatenación de los sufijos • 2. Determinar el tiempo en mapudungún y

transferirlo al español• 3. Insertar el clítico en la lengua meta• 4. Insertar la preposición a en la lengua

meta• 5. Insertar el verbo modal y el

subordinante que en la lengua meta

14

Estructuras comparadas

O O

FV FV

V FN V O

pe-rke-fi-ñ Maria S VP

CL-V FP

P NP dicen que la vi a María

15

Concatenación de sufijos (1)

{VSuffG,1}VSuffG::VSuffG : [VSuff] -> [“ “]( (X0 = X1))

VSuffG

VSuff

-rke (+ reportativo)

rasgos

16

Concatenación de sufijos (2)

{VSuffG,2}VSuffG::VSuffG : [VSuffG VSuff] -> [""]( (X0 = X1) (X0 = X2)) VSuffG

VSuffG VSuff

-rke -fi (reportativo) (3pO)

rasgos rasgos

17

Concatenación de sufijos (3)

VSuffG

VSuffG VSuff

rke-fi- -ñ

(reportativo, 3pO) (1pSgS/ind)

18

El tiempo en mapudungún (1)

• Tiempo no marcado + aspecto léxico no marcado + aspecto externo no marcado

→ pasado (kellu-n::ayudé::(I)helped)

• Tiempo no marcado + aspecto léxico estativo

→ presente (niye-n::poseo::(I)own)

19

El tiempo en mapudungún (2)

• Tiempo no marcado + aspecto léxico no marcado + aspecto externo habitual → presente (kellu-ke-n::ayudo::(I)help)

• Tiempo marcado (pe-a-n::veré::(I)will see)

20

Tiempo pasado

{TenseBar,1}TenseBar::TenseBar : [V VSuffG] -> [V]( (X1::Y1) ((X2 tense) = *UNDEFINED*) ((X1 lexicalaspect) = *UNDEFINED*) ((X2 aspect) = (*NOT* habitual)) ((X0 tense) = past) (X0 = X1) (X0 = X2) (Y0 = Y1))

21

Inserción del tiempo

TenseBar

V VSuffG

tense

22

Inserción del clítico (1){VBar,6}VBar::VBar : [TenseBar] -> [CLITIC V]( (X1::Y2) ((X1 object person) =c 3) ((X0 person) = (X1 person)) ((X0 number) = (X1 number)) ((X0 object person) = (X1 object person)) ((X0 object number) = (X1 object number)) ((Y0 objmarker) = Y1) ((Y0 person) = (X0 person)) ((Y0 number) = (X0 number)) ((Y0 object person) = (X0 object person)) ((Y0 object number) = (X0 object number)) ((Y2 person) = (Y0 person)) ((Y2 number) = (Y0 number)) ((Y1 person) = (Y0 object person)) ((Y1 number) = (Y0 object number)) ((Y1 type) =c personal) ((Y1 case) =c acc))

23

Inserción del clítico (2)

VBar VBar

TenseBar CL V

la vi

V VSuffG

pe rke-fi-ñ

S AGRO AGR

S AGRO AGR

S AGRO AGR

S AGRO AGR

24

Inserción de la preposición (1)

; transitive VP (human object); pefiñ Maria::la vi a María

{VP,3}; transitive VP (human object)VP::VP [VBar NP] -> [VBar "a" NP]( (X1::Y1) (X2::Y3) ((X2 type) = (*NOT* personal)) ((X2 human) =c +) (X0 = X1) ((X0 object) = X2) (Y0 = X0) ((Y0 object) = (X0 object)) (Y1 = Y0) (Y3 = (Y0 object)) ((Y1 objmarker person) = (Y3 person)) ((Y1 objmarker number) = (Y3 number)) ((Y1 objmarker gender) = (Y3 gender)))

25

Inserción de la preposición (2)

VP VP

VBar NP VBar “a” NP

perkefiñ Maria la vi a María

agr

26

Inserción del verbo modal y el subordinante (1)

{Sbar,1}

Sbar::Sbar [S] -> ["Dicen" "que" S]

(

(X1::Y3)

((X1 reportative) =c +)

(X0 = X1)

(Y0 = Y3)

)

27

Inserción del verbo modal y el subordinante (2)

SBar SBar

S S

VP VP

VBar NP VBar “a” NP

perkefiñ Maria “dicen” “que” la vi a María

28

Generador morfológico español(Universidad Politécnica de Cataluña)

• Léxico de formas flexionadas del español con todos sus rasgos especificados

• POS, type, gender, number.

• Ejemplo:alto#AQ0FP0 altasalto#AQ0FS0 altaalto#AQ0MP0 altosalto#AQ0MS0 alto

29

Algunos problemas de traducción (1)

• Denominador común: construcciones sintéticas

vs. construcciones analíticas

• Concordancia inversa:

pe-e-n

ver-INV(2pSgO)-1pSg/IND

ME VISTE

30

Algunos problemas de traducción (2)

• Verbos deadjetivalesfey küme-nge-y

3sPRO bueno-VERB-3pSg/INDELLA ES BUENAÉL ES BUENO

• Voz pasivaKuan pe-nge-yJuan ver-PAS-3pSg/INDJUAN FUE VISTO

31

Algunos problemas de traducción (3)

• Aspecto progresivopetu pe-yuDUR ver-1pDual/INDESTAMOS VIENDO

• Negaciónpe-la-n

ver-NEG-1pSg/INDNO VI

32

Algunos problemas de traducción (4)

• Problemas adicionales:

• Verbos denominales, causativos, aplicativos, etc.

33

Un ejemplo: voz pasiva

VBar VBar

TenseBar V V

fue visto/a

V VSuffG

ayuda ngey

S AGR

S AGRtense

S AGRtense

S AGRtense

tense

34

Desarrollo de la gramática

• Aproximadamente 100 reglas.

• 60 sufijos en el léxico de transferencia.

• Traducción de palabras complejas, frases y oraciones declarativas simples.

35

Próximos pasos

• Desarrollar reglas para oraciones interrogativas.

• Testear la gramática con diálogos simples.

36

¿Preguntas?

37

Base de datos electrónica (1)

• Base de datos paralela en formato electrónico (200.000 palabras de texto y 120 horas de transcripción de conversación).

• Es una base de datos paralelos (en mapudungún y español).

• La base de datos textual está constituida por textos históricos y periodísticos actuales (periódico Nuestros Pueblos, CONADI, Chile).

38

Base de datos electrónica (2)

• Las conversaciones están limitadas al campo semántico de la salud primaria y preventiva.

• Las conversaciones reflejan distintos dialectos del mapudungún (lafkenche, nguluche, pewenche).

• Todos los participantes son hablantes nativos, de entre 21 y 75 años de edad.

39

Base de datos electrónica (3)

• Las grabaciones fueron convertidas en archivos wave.

• Convención ortográfica de 28 letras desarrollada por el IEI-UFRO (alfabeto es compatible con los símbolos disponibles en los teclados de computadora en español).

40

Base de datos electrónica (4)

Fragmento de una conversación:

I. Mantención de la salud y enfermedades

1. Chumkeymi tami külfünküleal. (Cómo hace para mantenerse as de bien.)

2. Rüfkünungey am tami amulngen kiñe machimew.

(Es verdad que el médico lo mandó donde una machi.)

41

Corrector ortográfico (1)

• Prototipo de corrector ortográfico para textos en mapudungún.

• Funciona en el entorno OpenOffice, un editor de texto de distribución gratuita disponible en internet (www.openoffice.org)

• Subraya los posibles errores y propone un menú de posibles alternativas. También permite incorporar nuevas palabras al diccionario.

42

Corrector ortográfico (2)

• El corrector funciona sobre la base de dos archivos:

a. Una lista de raíces (5.234) y palabras (53.094).

b. Una lista de grupos de sufijos (1.303)

(ejemplo: rke-fi-ñ /REPORT-3pO-1pSg/IND).

e

44

Diccionarios (1)

• Proyecto de diccionario on-line sobre la base de las palabras extraídas de la base de datos oral (IEI-UFRO).

• Palabras segmentadas en raíz-grupo de sufijos y con ejemplos de uso.

45

Diccionarios (2)

• Kelluaeteu: kellu-a-eteu.ayudar-futuro-a.mi / /. el que me va a ayudar Katripache tañi kimün tati, peñi, feynga puulu iñche, iñche tañi lipang, “iñche tañi kelluaeteu ta tüfa” pipingeynga (Es conocimiento de la gente de afuera pues, hermano, entonces cuando llegué yo, mi brazo, éste es el que me va a ayudar, decía y decía) nmlch-nmpll1_x_0033_nmpll_00. Ec/Rh/Fc. Ec/ Rh20-12-02.

46

Analizador morfológico (1)

• Desarrollado por Carlos Fasola

• El programa segmenta la raíz y el complejo de sufijos y obtiene la información gramatical relevante de cada morfema.

• El léxico morfológico contiene aproximadamente 1670 raíces y 105 sufijos.

47

Analizador morfológico (2)

Ejemplo:kofketulayay → kofketu-la-ya-y

negación = +tiempo = futuropersona = 3número = sgmodo = indicativo