|
Description:
Dutch proficiency is required for this assignment.
Als we in een conversatie meerdere keren naar een bepaald object of persoon verwijzen, dan doen we dit niet elke keer op dezelfde manier. Zo zouden we het de eerste keer dat we een persoon proberen aan te duiden ("first reference") over de man links met de gekke hoed kunnen hebben maar de keren daarna ("repeated references") over de man met de hoed of zelfs alleen maar de man. In dialogen tussen mens en computer (bijv. in de vorm van een "virtual human") zou de computer ook dergelijke aangepaste repeated references moeten kunnen produceren. Dat is het einddoel van deze opdracht.
Om inzicht te krijgen in hoe first references verschillen van repeated references, is aan de Universiteit van Tilburg onlangs een experiment gedaan waarbij mensen gevraagd werd om beschrijvingen te geven van objecten in gegeven visuele scène, en wel op zo'n manier dat ze van de andere zichtbare objecten onderscheiden konden worden. In totaal hebben 48 sprekers in totaal 4 objecten 3 keer omschreven. Dit resulteerde in een verzameling van 192 (48 x 4) first references en 192 (48 x 4) third references. (De second references zijn niet in de verzameling opgenomen.) De objecten waarnaar werd verwezen zijn zogenaamde "Greebles": dit zijn abstracte figuurtjes die hun oorsprong vinden in psychologisch onderzoek naar gezichtsherkenning.
De Tilburgse verzameling first + third references kan gebruikt worden om aan een algoritme te "leren" hoe dergelijke objectverwijzingen automatisch gegenereerd kunnen worden. Als basis hiervoor kan een bestaand algoritme gebruikt worden, dat wel op diverse vlakken aangepast zal moeten worden. Ten eerste is het algoritme tot nu toe alleen gebruikt voor het produceren van first references, en ten tweede alleen voor beschrijvingen van veel simpelere objecten dan Greebles. Bovendien is het nog niet gebruikt voor generatie van Nederlandstalige beschrijvingen. (Zie ook deze gerelateerde Capita Selecta/Research Topic assignment.) Op deze punten liggen dus nog interessante onderzoeksvragen.
Evaluatie maakt een belangrijk deel uit van de opdracht. Er zijn automatische methoden om te meten in hoeverre door de computer gegenereerde uitdrukkingen lijken op de menselijke beschrijvingen van hetzelfde object. Maar misschien nog interessanter is het om door middel van een gebruikersexperiment te kijken of proefpersonen beter uit de voeten kunnen met de door de computer gegenereerde beschrijvingen, die mogelijk vloeiender zijn dan de nogal stroeve menselijke beschrijvingen van de Greebles. |
More information about this assignment? Contact:
Mariët Theune
University of Twente (HMI) is part of the location Twente |
