Description
The goal of this final project is to create software that extracts features of movements performed by a human in an exercise video and cluster these features based on spatio-temporal relationships. Either an unsupervised or supervised approach can be taken when clustering all the extracted features. This final project will allow for the exploration of multiple image representation and classification techniques. The resulting clusters will be evaluated based on the similarity of the features within each cluster.
On top of the results (clusters) gained through this final project, other useful topics can be explored, such as online motion analysis or automatic motion virtualization. For example, the clusters of features could be used by training support technology to generate instruction material using a virtual human or could be used as reference material for judging the performance of a trainee during online movement analysis.
Multiple exercise videos are available for this final project with increasing difficulty. The simplest video has a stable viewpoint, no zooming, stable background and trainers are shown with full body shots. This will be the first video to tackle and when successful a more difficult video can be chosen.
|
|
| Beschrijving: |
De Kinect maakt het mogelijk om op robuuste wijze aan gedetailleerde pose-informatie te komen. In een virtuele trainer applicatie, waarin een avatar oefeningen voordoet en feedback geeft op de uitvoering door een student, is deze pose informatie nodig om een bruikbaar oordeel te vellen over wat de student goed of fout doet.
De opdracht:
Werken aan technieken om *zinvolle* inhoudelijke feedback te leveren op de uitvoering van een beweging door de leerling.
Randvoorwaarden:
- Waarneming van de leerling gebeurt middels de Kinect.
- Zinvolle feedback is domeinspecifiek, en is bovendien afhankelijk van experts. Wij kiezen voor het werken aan een specifieke oefening uit het *schermen met de degen*. Daarvoor hebben we de beschikking over een gediplomeerd en ervaren trainer die graag meehelpt in alle fases van de opdracht. De gekozen oefening leent zich goed voor analyse en feedback op verschillende niveaus.
Aanpak:
VOORBEREIDING/DATA COLLECTIE
- Met de kinect een oefening opnemen die door de expert wordt voorgedaan
- Uitvoering van de oefening door de expert afbeelden op een avatar
- voor een grote verzameling proefpersonen: toon ze de avatar die de oefening voordoet; laat ze het nadoen en neem het resultaat op met de kinect
ANALYSE
- werken aan een analysemethode om de uitvoering door de leerling te vergelijken met de uitvoering door de expert.
- In overleg met de expert kijken hoe de resultaten van de pose-analyse samenhangt met de feedback die de expert geeft op de uitvoering door een leerling.
Deze analysefase kan naar believen uitgebreid worden met steeds complexere analyses, afhankelijk van hoe makkelijk of moeilijk het gaat.
|
|
