Facial activity recognition as predictor for learner engagement of robot-lead language cafes
| Autor: | Ekman, Patrik, Hartmanis, Eric |
|---|---|
| Jazyk: | angličtina |
| Rok vydání: | 2019 |
| Předmět: | |
| Druh dokumentu: | Text |
| Popis: | Sweden is a country being extra exposed to immigration and, therefore, suffer from a shortage of teachers within second language learning (L2). Other L2 solutions have increased in popularity but require many volunteers. This fact motivated the project CORALL at KTH, Stockholm, which aims to use robot-assisted language learning (RALL) to simulate a language cafe setting. In order to learn, one has to be engaged. This study thereby aims to examine whether the engagement level of students being exposed to RALL can be classified. This is a contribution to the project’s long term goal of being able to automatically adapt the robot to the learners’ engagement levels. The study also aims to analyze the project’s current status, in order to evaluate its future, by examining teachers’ and the CORALL project leader’s responses to a survey, and then utilizing the SWOT framework to draw conclusions. The technical approach is to use the open source toolkit OpenFace to extract facial features from each frame of video recordings of RALL participants. By annotating each frame with one out of four engagement levels, supervised machine learning algorithms are then used to try and estimate students’ engagement. The results from the technical study are deemed inadequate. The models produced, however, were decent at classifying high engagement levels, which could be of use for further investigation. The results from the investigative survey and the SWOT analysis suggested that the internal and external views of RALL align well with the current focal points of the project. The matter of engagement tracking was deemed as an important factor by all parties. While other circumstances could have improved the technical results, important takeaways for future work were discovered. Sverige är ett land som är extra utsatt för invandring och lider därför av en brist på lärare inom svenska som andraspråk (L2). Andra L2lösningar har ökat i popularitet men kräver många volontärer. Detta faktum motiverade projektet CORALL på KTH i Stockholm, som syftar till att använda robotassisterad språkinlärning (RALL) föratt simulera en språkkafé-situation. För att kunna lära sig måste man vara engagerad. Denna studie syftar därmed till att undersöka huruvida engagemangsnivån för elever som exponeras för RALL kan klassificeras. Detta bidrar till projektets långsiktiga mål att automatiskt kunna anpassa roboten till elevers engagemangsnivå. Studien syftar också till att analysera projektets nuvarande status för att utvärdera dess framtid, genom att undersöka lärarnas och projektledarens svar på en enkät och sedan använda SWOT-ramverket för att dra slutsatser. Det tekniska tillvägagångssättet är att använda den öppna källkoden till verktyget OpenFace för att extrahera ansiktsattribut från varje bildruta av videoinspelningar på RALL-deltagare. Genom att märkavarje bildruta med en av fyra engagemangsnivåer används maskininlärningsalgoritmer för att försöka förutse studenternas engagemang. Resultaten från den tekniska studien anses vara otillräckliga. De modeller som producerades var dock hyfsade för att klassificera höga engagemangsnivåer, vilket skulle kunna användas för vidare utredning. Resultaten från enkäten och SWOT-analysen framhöll att de interna och externa vyerna av RALL går väl i linje med projektets aktuella fokus. Frågan om att utröna engagemangsnivåer ansågs vara en viktig faktor av samtliga parter. Medan andra omständigheter kunde ha förbättrat de tekniska resultaten, upptäcktes viktiga saker att ta med till framtida arbeten inom ämnet. |
| Databáze: | Networked Digital Library of Theses & Dissertations |
| Externí odkaz: |
|