DIFFERENTIAL OUTCOME TRAINING AND HUMANOID ROBOT FEEDBACK ON A VISUOSPATIAL GAMIFIED TASK: An experimental study investigating learning, affective social engagement cues and cognitive learning strategies
DIFFERENTIAL OUTCOME TRAINING OCH FEEDBACK FRÅN EN HUMANOID ROBOT PÅ ETT VISUOSPATIALT KOGNITIVT SPEL En experimentiell studie som undersöker inlärning, affektivt socialt engagemang samt kognitiva inlärningsstrategier
Abstract
By combining Differential Outcome Training (DOT), the usage of unique stimulus-response pairings, and feedback from a humanoid simulated robot (SDK) this study aims to improve learning performance of subjects on a visuospatial gamified memory task. This is achieved by using the SDK as an interface for an algorithm that provides audiovisual, reinforcing feedback promoting engangement in a new dyadic setup for a gamified task. Additionally it enhances the differential outcome effect from the reward system of the gamified task that in turn improves learning. Learning performance was measured by percentage of correct responses on the gamified task ans iMotions software, eye-tracking and Self Assessment Manikin-scale revealed affective cues and cognitive strategies. A total of 60 subject participated in the experiment, and the results showed that subjects playing the gamified task in the DOT condition had significantly higher performance than those who did not. Qualitative analysis of the affective data revealed that participants assisted by the SDK had greater feeling of control and higher levels of valence when combined with DOT. The eye tracking revealed different cognitive strategies where a strategy that makes use of peripheral vision appeared to be most highly correlated with higher memory performance. The results imply that combining DOT with social robot feedback might be an effective way to improve learning, a finding of great significance for potential future clinical intervention of the setup in the context of memory training for patients with dementia and mild cognitive impairment.
Degree
Kandidatuppsats
Bachelor thesis
Other description
Genom att kombinera differential outcome training (DOT), användandet av unika stimulus-respons par, med feedback från en social humanoid simulerad robot (SDK) syftar denna studie till att förbättra inlärnings- och minnesförmåga på ett digitalt visuospatialt spel. Denna studie föreslår en ny dyadisk setup för en digital gamifierad minnesuppgift som inkluderar DOT och SDK-feedback och hypotiserar att denna kombination ökar engagemang, vilket i sin tur förbättrar minnesförmåga. Detta uppnås genom att använda SDK som ett gränssnitt för en algoritm som ger audiovisuell, betingande feedback för att främja engagemang. Dessutom förstärker feedbacken differential outcome effect från belöningssystemet i spelet, vilket i sin tur förbättrar inlärningen. Inlärning mättes i denna studie genom antal korrekta svar räknat i procent i det visuospatiala spelet. Vidare användes iMotions-programvaran, eye-tracking och en self-assessment manikin-skala för att analysera affektiva signaler och kognitiva strategier kvalitativt. Totalt deltog 60 försökspersoner i experimentet, varav resultaten visade att försökspersoner som spelade med DOT hade signifikant högre minnesförmåga än de som inte gjorde det. Vidare visade kvalitativ analys av affektiva data att deltagare som fick feedback av SDK hade större känsla av kontroll och kombinerat med DOT högre nivå av valens. Eye-tracking-data avslöjade flera kognitiva strategier där perifert seende tycks vara mer korrelerad med högre minnesförmåga. Resultaten antyder att kombinationen av DOT med social robot-feedback är ett effektivt sätt att förbättra inlärning, vilket är av stor betydelse för potentiella framtida kliniska versioner av setupen i samband med minnesträning för patienter med demens och mild kognitiv funktionsnedsättning.
View/ Open
Date
2023-02-01Author
Markelius, Alva
Sjöberg, Sofia
Keywords
Human-robot interaction
gamified memory task
dementia
differential outcome theory
Furhat
engagement
digitalised treatments
robot assistance
Series/Report no.
2022:091
Language
eng