Concevoir l'interaction pour la navigation dans des collections de contenu media (par similarité)

Autor: Frisson, Christian
Přispěvatelé: Institute for New Media Art Technology [Mons] (Numediart), Université de Mons (UMons), Université de Mons, Université de Mons, Belgique, Thierry Dutoit, Frisson, Christian
Jazyk: angličtina
Rok vydání: 2015
Předmět:
Tangible user interface TUI
Browsing
Multimedia information retrieval
[INFO.INFO-TS] Computer Science [cs]/Signal and Image Processing
Music information retrieval
[INFO] Computer Science [cs]
Information visualisation
Tangible user interfaces TUIs
Similarity
Retour d'effort
Information visualization
Visualisation d'information
[INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing
[INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG]
Tangible user interface
[INFO]Computer Science [cs]
[INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC]
Human computer interaction HCI
[SPI.ACOU]Engineering Sciences [physics]/Acoustics [physics.class-ph]
[INFO.INFO-MM] Computer Science [cs]/Multimedia [cs.MM]
[SPI.ACOU] Engineering Sciences [physics]/Acoustics [physics.class-ph]
[SHS.MUSIQ]Humanities and Social Sciences/Musicology and performing arts
Interaction tangible
[INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM]
Haptic UIs
Search user interfaces
[INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG]
[INFO.INFO-SD] Computer Science [cs]/Sound [cs.SD]
[SHS.MUSIQ] Humanities and Social Sciences/Musicology and performing arts
Glyph Design
[INFO.INFO-IR]Computer Science [cs]/Information Retrieval [cs.IR]
[INFO.INFO-SD]Computer Science [cs]/Sound [cs.SD]
Force-feedback
[INFO.INFO-IR] Computer Science [cs]/Information Retrieval [cs.IR]
[INFO.INFO-HC] Computer Science [cs]/Human-Computer Interaction [cs.HC]
Music information retrieval MIR
Interaction humain-machine IHM
Zdroj: Human-Computer Interaction [cs.HC]. Université de Mons; Université de Mons, Belgique, 2015. English
Popis: Sound designers source sounds in massive and heavily tagged collections. When searching for media content, once queries are filtered by keywords, hundreds of items are left to be reviewed. How can we present these results efficiently?This doctoral work aims at improving the usability of browsers of media collections by blending techniques from multimedia information retrieval (MIR) and human-computer interaction (HCI). We produced an in-depth state-of-the-art on media browsers. We overviewed HCI and MIR techniques that support our work: organization by content-based similarity (MIR), information visualization and gestural interaction (HCI). We developed the MediaCycle framework for organization by content-based similarity and the DeviceCycle toolbox for rapid prototyping of gestural interaction, both facilitated the design of several media browsers. We evaluated the usability of some of our media browsers.Our main contribution is AudioMetro, an interactive visualization of sound collections. Sounds are represented by content-based glyphs, mapping perceptual sharpness (audio) to brightness and contour (visual). These glyphs are positioned in a starfield display using Student t-distributed Stochastic Neighbor Embedding (tSNE) for dimension reduction, then a proximity grid optimized for preserving direct neighbors. Known-item search evaluation shows that our technique significantly outperforms a grid of sounds represented by dots and ordered by filename.
Les illustrateurs sonores puisent des sons dans de gigantesques collections annotées. Lors de la recherche de matériau sonore, quand les mots-clefs ne suffisent plus à affiner chaque requête, des centaines d'éléments restent à examiner. Comment présenter ces résultats efficacement?Cette recherche doctorale vise à améliorer l'utilisabilité d'outils de navigation dans des collections de contenu media en combinant des techniques issues de l'interaction humain-machine (IHM) et de fouille multimedia (MIR). Nous avons produit un état de l'art étendu des navigateurs de contenu media. Nous avons recensé les techniques d'IHM et MIR qui supportent méthodologiquement nos travaux. Nous avons développé MediaCycle pour l'organisation de contenu media par similarité basée sur le signal et DeviceCycle pour le prototypage rapide d'interaction gestuelle qui ont facilité la conception de navigateurs media. Nous avons évalué l'utilisabilité de certains de nos navigateurs media.Notre principale contribution est AudioMetro, une visualisation de collections de sons. Chaque son est représenté par un glyphe dont la luminosité et le contour sont associés à l'acuité acoustique. Ces glyphes sont positionnés dans une représentation 2D par réduction de dimension de caractéristiques du signal audio puis application d'une grille de proximité optimisée pour préserver les voisins directs. Une évaluation utilisateur par recherche de cibles connues a montré que notre technique est plus efficace qu'une grille de points agencés par ordre de lecture des noms de fichiers.
Databáze: OpenAIRE
Externí odkaz: