The Handbook of Multimodal-Multisensor Interfaces, Volume 2: Traitement du signal, architectures et détection de l'émotion et de la cognition - Broché

par Sharon Oviatt (Éditrice), Björn Schuller (Éditeur), Philip Cohen (Éditeur)

Le Manuel des interfaces multimodales-multicapteurs constitue la première ressource faisant autorité sur ce qui est devenu le paradigme dominant pour les nouvelles interfaces informatiques : l'entrée utilisateur impliquant de nouveaux médias (parole, multitouch, gestes des mains et du corps, expressions faciales, écriture) intégrés dans des interfaces multimodales-multicapteurs qui incluent souvent des biosignaux. Cette collection éditée est rédigée par des experts internationaux et des pionniers dans le domaine. Elle fournit un manuel, une référence et une feuille de route technologique pour les professionnels travaillant dans ce domaine et les domaines connexes. Ce deuxième volume du manuel commence par le traitement de signaux multimodaux, les architectures et l'apprentissage automatique. Il inclut les approches récentes d'apprentissage profond pour le traitement des données utilisateur et de l'interaction multisensorielles et multimodales, ainsi que la sensibilité au contexte. Un autre point fort est le traitement des informations sur les états et les traits des utilisateurs, une capacité émergente passionnante dans les interfaces utilisateur de nouvelle génération. Ces chapitres discutent de l'analyse multimodale en temps réel de l'émotion et des signaux sociaux à partir de diverses modalités, et de la perception de l'expression affective par les utilisateurs. D'autres chapitres discutent du traitement multimodal de l'état cognitif à l'aide de signaux comportementaux et physiologiques pour détecter la charge cognitive, l'expertise du domaine, la tromperie et la dépression. Cette collection de chapitres fournit des exemples détaillés de conception et de traitement de systèmes, des informations sur les outils et les ressources pratiques pour développer et évaluer de nouveaux systèmes, ainsi qu'une terminologie et un soutien didactique pour maîtriser ce domaine en expansion rapide. Dans la dernière section de ce volume, des experts échangent des points de vue sur le sujet stimulant et controversé de l'apprentissage profond multimodal. La discussion porte sur la manière dont les interfaces multimodales-multicapteurs sont les plus susceptibles d'améliorer les performances humaines au cours de la prochaine décennie.