Mixed-initiative Dialog Management

ReporterChun-Feng Liao

NCCU Department of Computer Science

Papers

Ramakrishnan, N., et al., “Mixed-Initiative Interaction = Mixed Computation”, Proc. ACM SIGPLAN Workshop PEPM’02, January 2002.

Eric Nyberg et al. "DialogXML: Extending VoiceXML for Dynamic Dialog Management“ Proceedings of the Human Language Technology Conference ,2002.

Agenda

Introduction Mixed-initiative interaction Partial Evaluation VoiceXML Dialog Management DialogXML Dialog Management Conclusion Future Work

Introduction

定義與說明 Mixed-initiative Dialog System 相關術語 .

說明 VoiceXML interpreter 中是使用 Partial Evaluation 技術來處理對話機制的 FIA 演算法 (Form Interpretation Algorithm) 。

以 DialogXML 來解決使用 VoiceXml難以處理複雜的對話機制的問題。

What is Mixed Initiative

老公 :Hi, 告訴你一個天大的消息… 老婆 : 我也有一個天大的消息要告訴你… 老公 : 那我們誰先講 ?

Initiative : 在此指對話狀態中的「主動權」。

以上的對話二人都嘗試拿到主動權，但若一方沒有讓出，對話無法進行，所以要商議誰先掌握主動。

Mixed Initiative (2)

傳統的語音系統設計模式中，對話完全由系統主導，所以是 System Initiative 。

假設 A 與系統進行對話，若 A 與系統輪流掌握對話主動權，就是 Mixed Initiative 。

System-initiative

System-initiative : 都是系統在主導對話。

Using Partial-evaluation method to Model Dialog

Systems Partial-evaluation 原本是程式語言領域中，用來做 Program 最佳化的技術。

假設一個 Function 有二個參數，而我們事先知道其中一個，利用已知的參數先執行程式的一部份。

假設 本論文所探討的 Dialog 形態限定如下 :

• Dialogs as task-oriented , to fill a set of slots.

• 共二位參與者，其中一個是電腦，另一個是人。

• Mix-initiative arises from unsolicited reporting .

( 紅色的 terms 下面幾張投影片會解釋 )

Software Models of Dialog-based

Interactive Systems [Allen 01]• Finite-state machines• Slot-and-filler• Frame-based• Planning• Agent-based programming

J. Allen, D. Byron, M. Dzikovska, G. Ferguson,L. Galescu, and A. Stent. “ Towards Conversational Human-Computer Interaction ” . AI Magazine, 2001.

Tiers of Mixed-initiative Interaction

[Allen 99] Four levels of mixed-initiative .• Unsolicited Reporting• Sub dialog initiation• Fixed subtask initiative• Negotiated mixed initiative

J.F. Allen, C.I. Guinn, and E. Horvitz. “Mixed-Initiative Interaction “.IEEE Intelligent Systems, Vol. 14(5):pages 14--23, Sep-Oct 1999.

Unsolicited Reporting

I – Initiative R – Response 小寫 s – System 小寫 c – Caller

客戶爭奪主導權

Unsolicited Reporting

客戶爭奪主導權

範例說明 某家的 pizza 的訂 pizza 語音系統，對話流程如下 :• 接通後先跟 caller 問好• 詢問 size 、 topping 與 crust• comfirm

Form

Partial Evaluation

其實系統的目的是得到這三個值。

前後次序及方式則不介意。

使用者可以一句填二個值，系統會再詢問未填的值。

如果是熟客的話可能一次三個值就全可填滿。

size

crusttopping

Dialog Analysis 整個對話流程可化成如下的狀態圖 問題變成 : 如何從 d1 走到 confirm ，並且每一個點恰好都經過一次 ?

如何寫程式處理 ?

將適合 PE的部份抽出

將 slot-filling 的部份抽出成 Partial evaluation layer 。

上層使用一般機制處理即可，下層使用PE 實作會更有效率。

使用 PE 技術

PE Programming Model

傳統做法 PE

VoiceXML Dialog Management Architecture

Vxml documents defines a finite state machine and describes a sequence of interactions .

Dialog in Vxml documents involves a sequence of forms and menus .

Forms specify a set of slots to be filled by user input .

VoiceXML Form-level Grammar

The core of interpreter is FIA (Form Interpretation Algorithm)

Programmer may provide form-level grammar to make mixed-initiative interaction .

All dialogs are Partially Evaluated .

VoiceXML FIA

VoiceXML Dialog 機制的問題 Dialog 彼此互相獨立，不保留上一 Dial

og 的狀態 (Stateless) ，在智慧型 Agent 的用途上，有些 Agent 需要 trace 之前的對話狀態。

需要使用大量的 Forms 來表達複雜的對話，對程式員來說很麻煩。

相較於 Philips SpeechMania HDDL等既存的 Dialog Modeling 語言，缺乏許多重要機制。 (to be found out…)

VoiceXML 缺乏 state機制 Natural dialog has a notion of state Dialog designers often think in term

s of state-transition networks. VoiceXML does not explicitly model

states and transitions among states .

VoiceXML 的 Form 無法輕易表達上面這個流程 !

使用 DialogXML加強 VoiceXML的 Dialog功能

DialogXML 將對話狀態以 state machine 的方式來表達，再自動轉成 VoiceXML 。

先寫好 DialogXML

將 state machine轉成數個複雜的VoiceXML Form

DialogXML System Architecture

Browser DialogXML文件

Vxml與 Dxml的比較 VoiceXML 有傳統程式語言 looping 與

conditional control 的特色。而 DialogXML 採用 Dialog 設計人員較習慣的「 declarative 」方式 ( 類似 XSLT)

Vxml 使用 FIA 來實作，而 Dxml 則是透過 Transform 機制實作。

Dxml 可將複雜的對話描述簡化。

Conclusion Mix-initiative provides a more natura

l and personalized mode of interaction.

Partial Evaluation can be usefully viewed as a programming model for realizing mixed-initiative dialogs.

VoiceXML is lack of some advance dialog functionalities , DialogXML slove this problem by programming transformation.

Future Work 原系統是使用 OpenVXI 來修改，目前只提供文字界面，未整合真正的語音 (Speech Recognition) 功能。

增加 information-seeking 功能

Q & A