| Popis: |
Les dialogueurs automatiques (Spoken Dialogue System (SDS)) sont des systèmes d'interaction avec des humains au moyen du langage parlé. On peut les retrouver dans des services comme la réservation de billets d'avion, opérations bancaires, données météorologiques... Ceux-ci offrent une interface nouvelle qui s'inscrit dans une évolution des Interfaces Homme-Machine (IHM) vers des interfaces plus naturelles qui nécessitent une nouvelle manière de penser leur évaluation. Dans le présent rapport de stage, nous commencerons par dresser un état de l'art de l'évaluation de ces systèmes en nous appuyant sur des ouvrages et articles de référence dans l'évaluation des IHM et plus particulièrement des SDS. Nous indiquerons les principales difficultés rencontrées et les directions suivies par la recherche et l'industrie des SDS. Cet état de l'art, les problématiques et le besoin de rationnalisation de l'évaluation que nous mettrons en évidence aboutissent au travail de stage de formalisation de l'évaluation des SDS. Nous proposerons donc un système formel dans lequel représenter certains éléments intervenant dans l'évaluation tels que les Key Performance Indicator (KPI) qui permettent d'évaluer les caractéristiques d'un système puis nous proposerons une représentation des différentes Communauté de Pratique (CdP) intervenant dans l'évaluation des SDS. Enfin, nous verrons comment cette modélisation nous permettra de mieux comprendre certains aspects de l'évaluation. Nous commencerons donc ce rapport par présenter les SDS, leur structure et leur fonctionnement. Nous détaillerons le contexte dans lequel ils évoluent, les IHM, pour aboutir sur la section 3 qui traite spécifiquement de l'évaluation des dialogueurs automatiques. Dans la section 3, nous traiterons des méthodes d'évaluation, les difficultés qui en ressortent et les efforts pour arriver à les résoudre. Nous rentrerons au coeur du travail de stage en introduisant le système formel dans la section 4 puis, à l'aide de ce nouveau mode de représentation, nous verrons en quoi il permet d'apporter des éléments de réponse au problème de la comparaison entre différentes évaluations. Enfin, nous discuterons dans la section 6 de l'importance des CdP dans l'évaluation et leur relation avec le système formel présenté. |
