Titel: Fusion for audio-visual laughter detection Instituut: University of Twente (HMI) Plaats: Enschede Land: Nederland Begindatum: 08-01-2007 Voltooid: Ja Verslag: http://hmi.ewi.utwente.nl/verslagen/afstudeer/ReuderinkBorisFinalThesis.pdf Begeleider: Maja Pantic Onderwerpen:

Beschrijving:

Mensen combineren moeiteloos audio-visuele informatie. Zowel de audio- als de videomodaliteit bevat informatie die de andere modaliteit kan aanvullen. Tijdens deze afstudeeropdracht onderzoek ik op welke manier audio en video gecombineerd kan worden om lachen te detecteren in de AMI Meeting corpus met machine-learning technieken. Het eerste deel van de opdracht omvat het kiezen en creëren van geschikte features voor de classificatie van een lach. Voor de audio-modaliteit zal gekozen worden voor feature-extractie analoog aan spraakherkenning. Voor de video-modaliteit zullen punten op het gezicht gevolgd worden met een puntentracker. Nadat de features zijn berekend zal de fusie en classificatie plaatsvinden. De fusie zal plaats vinden op drie niveaus: op keuzeniveau, op feature niveau, en op een tussenliggend niveau. Fusie op keuzeniveau (decision level) houdt in dat er een classificatie gemaakt wordt op basis van audio en een classificatie op basis van video. Op basis van deze twee voorspellingen wordt door een derde classificator een uiteindelijke voorspelling gedaan. Fusie op featureniveau houdt in dat alle features samengevoegd worden, en in een keer geclassificeerd. Bij mid-level fusie wordt gebruik gemaakt van representaties op een hoger niveau voor de gebeurtenissen in de modaliteiten. Dat kan door expliciet deze features vast te leggen, of impliciet. Deze niveaus voor het combineren van audio en video worden geëvalueerd met verschillende machine learning technieken. De resultaten kunnen gebruikt worden om modaliteiten in toekomstig werk effectief te combineren. Capita Selectaopdracht Titel: The Influence of Gaze and Head Tilt on the Impression of Listening Agents Instituut: University of Twente (HMI) Plaats: Enschede Land: Nederland Begindatum: 09-02-2006 Voltooid: Ja Verslag: http://hmi.ewi.utwente.nl/verslagen/capita-selecta/CS-Reuderink-Boris.pdf Begeleider: Dirk Heylen Onderwerpen: Multimodal Interactions, Animation Beschrijving: We conducted an experiment in which we measured the impressions of artificial listening agents. Two different listening characters were modeled, using effects of head tilt and gaze-behaviour found in previous work. The impressions of these two characters were rated by users. Most of the modeled effects, such as unfriendliness, dominance and liveliness were observed as modeled. Our study also indicates that the size of gaze-movements influences the impression the agents create.