En jämförande utvärdering av maskininlärningsmodeller för engagemangsklassificering under presentationer : En jämförelse av distans- och icke-distansbaserade maskininlärningsmodeller för presentationsklassificering och klasssannolikhetsuppskattning

Autor: Ali Omer Bajallan, Rebwar
Jazyk: angličtina
Rok vydání: 2022
Předmět:
Popis: In recent years, there has been a significant increase in the usage of audience engagement platforms, which have allowed for engaging interactions between presenters and their audiences. The increased popularity of the platforms comes from the fact that engaging and interactive presentations have been shown to improve learning outcomes and create positive presentation experiences. However, using the platforms does not guarantee that your audience is engaged and participating. Given that the added value of engaging presentations only applies if the audience is actually engaged, it increases the need to know if and how engaged your audience is. The usage of audience engagement platforms has allowed for new ways of engagement to be studied. By utilizing the data gathered from the interactive presentation sessions, engagement can be studied and quantified through the modeling of the data. As the usage of audience engagement platforms and the study of presentation engagement is relatively new, there exists a limited amount of labeled data quantifying the level of engagement during presentations. To model the data, machine learning models should therefore be trained to generalize by being exposed to a limited number of presentation samples. This technique of training machine learning models is also referred to as few-shot learning. Distance-based machine learning models are defined in this study as models that make classifications and inferences by calculating distances between observations or observation class representations. Distance-based models have previously shown relatively good performance in few-shot learning applications, and interest therefore lies in expanding their application areas. This study presents a comparative evaluation of distance- and non-distance-based machine learning models given the problem of classifying presentations as being engaged or non-engaged, and estimating presentation class likelihoods in a few-shot learning context. A presentation-level dataset was gathered from the interactive presentation sessions, and each presentation observation was labeled as being engaged or non-engaged. The machine learning models were then trained to model the data and evaluated in terms of how well they were able to generalize to unseen testing samples by being exposed to a limited number of training observations. In particular, their classification and class likelihood estimation performances were evaluated. The results conclude that the distance-based models outperformed the non-distance-based models artificial neural network and relevance-vector machine given the presentation class likelihood estimation problem. The metric learning nearest neighbor classifier was the only distance-based model that outperformed all the non-distance-based models given both the presentation classification and class likelihood estimation problems. Under de senaste åren har det skett en betydande ökning av användningen av plattformar för publikengagemang, vilket har möjliggjort engagerande interaktioner mellan presentatörer och deras publik. Plattformarnas ökade popularitet kommer från det faktum att engagerande och interaktiva presentationer har visat sig förbättra läranderesultat och skapa positiva presentationsupplevelser. Att använda plattformarna garanterar dock inte att din publik är engagerad och deltagande. Med tanke på att mervärdet av engagerande presentationer bara gäller om publiken faktiskt är engagerad, ökar det behovet av att veta om och hur engagerad din publik är. Användningen av plattformar för publikengagemang har gjort det möjligt att på nya sätt studera engagemang. Genom att använda data som samlats in från de interaktiva presentationssessionerna kan engagemang studeras och kvantifieras genom modellering av data. Eftersom användandet av plattformar för publikengagemang och studien av presentationsengagemang är relativt nytt, finns det en begränsad mängd märkt data som kvantifierar nivån av engagemang under presentationerna. För att modellera datan så bör maskininlärningsmodeller tränas att generalisera genom att utsättas för ett begränsad antal presentations observationer. Denna teknik för att träna inlärningsmodeller kallas också few-shot lärande. Distans-baserade maskininlärningsmodeller definieras i denna studie som modeller som gör klassificeringar genom att beräkna avstånd mellan observationer eller observationsklass representationer. Distans-baserade modeller har tidigare visat relativt goda resultat i few-shot inlärning problem, och intresset ligger därför i att utöka deras tillämpningsområden. Denna studie presenterar en jämförande utvärdering av distans- och icke-distans baserade maskininlärningsmodeller givet problemet med att klassificera presentationer som engagerade eller icke-engagerade, och uppskattning av presentation klasssannolikheter i ett few-shot inlärnings sammanhang. Ett dataset på presentationsnivå samlades in från de interaktiva presentationssessionerna, och varje presentation märktes som engagerad eller icke-engagerad. Maskininlärningsmodellerna tränades sedan för att modellera data och utvärderades i termer av hur väl de kunde generalisera till osedda testobservationer givet att de exponeras mot ett begränsat antal träningsobservationer. I synnerhet utvärderades deras klassificering och uppskattning av klasssannolikheter. Resultaten visade att alla distans-baserade modeller var bättre än de icke-distansbaserade modellerna artificial neural network och relevence-vector machine givet problemet med uppskattning av klasssannolikheter. Den distans-baserade metric learning nearest neighbor klassificeraren var den enda avståndsbaserade modellen som överträffade alla icke-distansbaserade modeller givet problemen med presentations klassificering och klasssannolikhets uppskattning.
Databáze: OpenAIRE
Externí odkaz: