|
Email:
Homepage: http://wwwhome.ewi.utwente.nl/~maatm Research themes: Multimodal Interactions, Intelligent Agents, Speech and Language Technology
|
|
| Description: |
Het doel van deze opdracht is om de virtuele dirigent uit te breiden met meer interactiemogelijkheden. Eerst wordt uitgezocht wat de rol van de dirigent moet zijn, wat voor takenpakket hij moet hebben en welke interactiemogelijkheden een dirigent kan gebruiken. Vervolgens wordt een deel van deze interactiemogelijkheden geïmplementeerd.
Bij het onderzoek zal vanuit twee richtingen worden gezocht. Ten eerste zal er vanuit een muzikale richting gekeken worden. Hierbij wordt gekeken naar echte dirigenten en wordt onderzocht wat een dirigent op muzikaal gebied allemaal wil overbrengen. Het gaat hierbij vooral om intenties van de dirigent en manieren om deze intenties over te brengen. Dit wordt onderzocht door verschillende dirigenten op te nemen terwijl ze aan het werk zijn, en deze filmpjes te annoteren. Deze annotaties geven aan wat de dirigent allemaal doet en wat de intenties van zijn acties zijn. Uiteindelijk worden de annotaties en de filmpjes met de dirigenten bekeken om de kwaliteit ervan te verbeteren.
Ten tweede zal er vanuit een conversationeel oogpunt gekeken worden. Hierbij zal gezocht worden naar elementen, theorieën en modellen die ook toegepast kunnen worden op de interactie tussen dirigent en orkest. Voorbeelden van dit soort metaforen zijn Grice’s Maxims, Mind Markers, tutoring systemen en het Supervisory control paradigma. Deze metaforen zullen eerst onderzocht worden op toepasbaarheid (hoe goed passen ze op de dirigent-orkest interactie) en nuttigheid (heeft het gebruik van de metafoor nut), en daarna worden de meest veelbelovende gekozen om verder mee te werken.
Vanuit deze twee perspectieven zal het takenpakket en de lijst met interactiemogelijkheden worden samengesteld
|
|
|
| Description: |
The basic goal of the internship is to help improve the naturalness and social influence of the rapport system. This involves extending its behavioral repertoire to include appropriately triggered facial expressions and to identify and correct any peculiarities of the current system. Peculiarities arise from improper feature detection, improper behavior mapping, and improper behavior display. These can be better identified by analyzing data on experimental runs and comparing it with data of the human listener, of human coders and with previously validated feature detection algorithms (for example, one could run some other (offline) disfluency detection algorithm and compare its results with the dysfluencies identified by Rapport.
|
|
|
| Description: |
|
Tutoring systems try to help students with certain topics, but unlike a normal teacher it is not very easy to notice when a student is distracted. It is possible to detect the gaze direction to detect a loss of attention, but this might not be enough. This paper describes all the parts needed for a detection system that uses the detection of facial expressions and gaze direction to recognize if a student is distracted, plus several actions that can be performed to get the student back. | |
