Using Generalizability Theory to Examine Different Concept Map Scoring Methods

Autor: CETIN, Bayram, GULER, Nese, SARICA, Rabia
Jazyk: angličtina
Rok vydání: 2016
Předmět:
Zdroj: Volume: 16, Issue: 66 211-228
Eurasian Journal of Educational Research
ISSN: 2010-2011
1302-597X
2528-8911
Popis: Problem Durumu: 1970’lerdeortaya konan kavram haritaları, bilginin hiyerarşik bir düzen içerisindeşematize edilerek görselleştirilmesini sağlayan grafiksel araçlardır.Kavramharitaları eğitimde bir konudaki kavramlar arasındaki ilişkinin daha açık,anlamlı öğrenilmesini sağlamaya yardımcı olabilecek araçlardır. Novak (2001),kavram haritalarının öğretim amaçlı kullanılabildiği gibi değerlendirme amaçlıda kullanılabileceğini, çoktan seçmeli testlerin kullanılmasının bir zorunlulukolmadığını ve hatta zamanla ulusal başarı sınavlarında bu araçların etkili birdeğerlendirme aracı olarak kullanılabileceğini belirtmiştir (Akt: Kaya veKılıç, 2004). Kavram haritalarının eğitimde değerlendirme amaçlı olarakkullanılması, öğrencilerin konuyu anlayıp anlamadıklarını göstermesi ve öğrenmeile ilgili eksiklerini ortaya çıkarması açısından çok önemlidir. Kavramharitaları, öğrencinin bilgi yapısını, konuyla ilgili yanılgılarını ve yanlışanlamalarını belirlemede oldukça fonksiyonel bir işleve sahiptir (Şahin, 2002).Kavram haritalarının değerlendirme aracı olarak kullanılması bunlarınpuanlanması konusunu gündeme getirmiştir. Bu yöntemin değerlendirme amaçlıolarak kullanılabilmesi için öğretmenler tarafından puanlama yöntemlerinin çokiyi bilinmesi gerekmektedir. Farklı şekilde oluşturulan ve kullanılan haritalarfarklı yöntemlerle puanlanabilmektedir. Bu yöntemlerden iki tanesi bütüncül veilişkisel puanlama metotlarıdır. Bütüncülpuanlama yönteminde kavram haritaları bir bütün olarak ele alınır, öğrencilerinkavramlarla ilgili öğrenmelerini haritaya yansıtabilmeleri ve ilgilikavramların haritada yer alması göz önünde tutularak 1-10 arasında bir puanladeğerlendirilir. İlişkisel puanlama yöntemi önermelerin ayrı ayrı puanlanmasıtemeline dayanmaktadır. Önerme iki kavram arasındaki ilişkinin etiketlenmiş birok aracılığıyla gösterilmesi olarak tanımlanır. Haritanın toplam puanı, ayrıönermelerin her birine verilen puanların toplanmasıyla bulunmaktadır ve her birönerme doğru olup olmadıklarına göre 0-3 arasında bir puan almaktadır (McClure,Sonak ve Suen,1999). Kavram haritası,değerlendirme aracı olarak kullanıldığında teknik özellikleri kritik halegelmesine rağmen, elde edilen puanların güvenirlik ve geçerliliğinin nasıldeğerlendirileceği her zaman net değildir (Yin ve Shavelson, 2008).Genellenebilirlik (G) kuramı, temeli varyans analizine (ANOVA) dayanangüvenirliğin değerlendirilmesini sağlayan, Cronbach ve arkadaşları (1972)tarafından geliştirilen, güvenirlik kavramına farklı bir bakış açısı getirenistatistiksel bir kuramdır (Shavelson ve Webb, 1991 Akt; Deliceoğlu, 2009). Öğrencilerden birinin aldığı puan kavram haritasıpuanlarının evreninden bir örnek olarak düşünülürse (değişen bütün koşullaraltında örneğin; görev, cevap formatı ve puanlama metotları vb.) kavramharitalarının puanlanması G kuramı kapsamında incelenebilir. Ruiz-Primo veShavelson, (1996) kavram haritası puanlamasının; kavramlar, önermeler, görevtipi, cevaplama formatları, durumlar, puanlayıcılar ve puanlama yöntemleri gibifarklı hata kaynakları içerdiğinden, bu tür araştırmalarda G kuramınınkullanılmasının bilhassa uygun olduğunu belirtmiştir (Akt: Yin ve Shavelson,2008). AraştırmanınAmacı: Bu çalışmada, farklı öğretmenlertarafından puanlaması yapılan öğrencilerin oluşturduğu kavram haritalarınınpuanlarının güvenirlikleri G kuramı açısından ele alınacaktır. Bu araştırmakapsamında kavram haritası puanlama yöntemlerinden ikisi kullanılmıştır.Bunlar; bütünsel (holistik) puanlama ve ilişkisel puanlama yöntemleridir.Kavram haritalarının puanlanmasında sadece bu iki yöntemin kullanılabilmişolması araştırmanın sınırlılıklarından biri olarak görülebilir.AraştırmanınYöntemi: Araştırma, Osmaniye ili MerkezAtatürk İlköğretim okulunda 7.sınıfta öğrenim görmekte olan 15’i kız, 21’ierkek olmak üzere 36 öğrenci ile gerçekleştirilmiştir. Araştırma 2010-2011eğitim-öğretim yılı güz dönemi Aralık-Ocak ayları içerisindegerçekleştirilmiştir. Araştırma kapsamında öğrencilerin yapmış olduğu kavramharitalarını üç farklı öğretmen puanlamışlardır. Veriler, veri toplama aracıolarak kullanılan dört farklı kavram haritasından elde edilmiştir. Bu çalışmadakullanılan haritalar Kuvvet ve Hareket ünitesiyle ilgilidir. Araştırmanın Bulguları: Çalışmada36 öğrencinin dört kavram haritası oluşturabilme düzeyleri iki farklı puanlamayöntemiyle üç puanlayıcı tarafından puanlanmıştır. Her bir puanlama yönteminegöre elde edilen puanlar G kuramına göre ayrı ayrı analiz edilmiş ve eldeedilen sonuçlar yorumlanmıştır.Bütünsel puanlamada, çalışmada yer alan öğrenciler (s)ölçmenin objesi olup, diğer değişkenlik kaynakları olan kavram haritalarıgörevleri (t) ve puanlayıcılar (r) da çalışmanın yüzey (facet)lerinioluşturmaktadır. Bu çalışmada tüm öğrenciler tüm kavram haritalarınıoluşturmakla sorumlu olduklarından ve tüm puanlayıcılar tarafından bütünselpuanlama yöntemiyle puanlandıkları için çalışma tümüyle çaprazlanmış (s x t xr) desenden oluşmaktadır. Genellenebilirlik analiziyle elde edilen varyansbileşenlerine ilişkin sonuçlara göre,en büyük değişkenlik kaynaklarındanbirinin öğrenciler olduğu görülmüştür (gerçek varyans). Diğer ana etkiler olangörev, toplam varyansı açıklayan en büyük bileşenlerden biri olurken (yaklaşık%14), puanlayıcı bileşeni toplam varyansın açıklanmasına nerdeyse hiç birkatkıda bulunmamaktadır (%001). Etkileşimlere baktığımızda öğrenci-görevbileşeni toplam varyansın yaklaşık %35’ini açıklarken, görev-puanlayıcı etkileşimi toplam varyansınçok küçük bir kısmını açıklamaktadır (%034). Üçlü etkileşimin, bir başka deyişleartık etkisinin, toplam varyansdaki payıise %24’tür. G kuramına göre, artık etkisine ilişkin varyans değerininolabildiğince küçük olması istenir. Bu değer, puanlardaki değişimin çalışmadayer almayan farklı değişkenlik kaynaklarına bağlı ortaya çıkmış olabileceğininsinyalini vermektedir. G kuramında, klasik test kuramındaki güvenirlikkatsayısına karşılık gelebilecek G katsayısı hesaplanmaktadır. G kuramında,klasik test kuramından farklı olarak bir de mutlak değerlendirmenin söz konusuolduğu durumlar için ayrıca Phi katsayısı (reliability coefficient) dahesaplanabilmektedir. Yukarıdaki eşitliklere dayalı olarak, çalışmada yer alandört görev ve üç puanlayıcı üzerinden hesaplanan G ve Φ katsayısıları sırasıyla.63 ve .57 olarak bulunmuştur. İlişkisel puanlama yönteminde de aynı desen kullanılmışve yine en büyük değişkenlik kaynaklarından birinin öğrenciler olduğugörülmüştür (%10). Görev ana etki bileşeni, toplam varyansı açıklayan en büyükbileşen olurken (yaklaşık %56), puanlayıcı bileşenin toplam varyansınaçıklanmada bir payı bulunmamaktadır (%000). Diğer taraftan ikili etkileşimlerebakıldığında öğrenci-görev,öğrenci-puanlayıcı ve görev-puanlayıcı etkileşimleri sırasıyla yaklaşık%20, %0 ve %03 olarak elde edilmiştir. Buradan anlaşılacağı üzere, kavramharitalarında yer alan görevlerin zorluk düzeyleri öğrenciler için farklılıkgösterirken, öğrencilerin ve görevlerin puanlanması puanlayıcıdan puanlayıcıyafarklılık göstermemektedir. Üçlü etkileşimler artık etki olarak isimlendirilirve eğer çalışmada, ölçme sonuçları güvenilir ise artıklara ait olan bu değerinolabildiğince küçük olması istenir. İlişkisel puanlama yönteminin kullanılarakelde edilen puanlar üzerinden bulunan artık etki varyansı toplam varyansın%10’unu açıklamaktadır. Elde edilen buvaryans değeri, puanlardaki değişimin çalışmada yer almayan farklı değişkenlikkaynaklarına bağlı ortaya çıkmış olabileceğinin sinyalini vermektedir. Çalışmadayer alan dört görev ve üç puanlayıcı üzerinden ilişkisel puanlama yöntemi içinhesaplanan G ve Φ katsayısıları sırasıyla .63ve .34 olarak bulunmuştur. AraştırmanınSonuç ve Önerileri: Elde edilen sonuçlara göre, her ikpuanlama yöntemi için G katsayısı aynı bulunmuşken, Phi katsayısı bütünselpuanlama yönteminin kullanıldığı kavram haritası çalışmasında daha yüksek birdeğere sahiptir. Bu sonuçlara dayanarak mutlak kararkların alınması amaçalanankavram haritası çalışmalarında, bütünsel puanlama yöntemini kullanmakönerilebilir. İlişkisel puanlama yönteminin kullanılacağı durumlarda iseöğrencilerin kavram haritalarını oluşturmada daha fazla pratik yapması vepuanlayıcılara puanlama konusunda daha fazla açıklama yapılması ve puanlamaölçütlerinin daha ayrıntılı verilmesi önerilebilir. Ayrıca, her iki puanlamayöntemiyle elde edilen sonuçlara göre, artık varyansın yüksek çıkmasına dayalıolarak, öğrencilerin kavram haritası oluşturulmasında hata kaynağı olabilecekdiğer dış etkenlerin (ortam, ölçme aracı vb.) de dikkatlice kontrol altınaalınması gerektiği önerilmektedir. 
Problem Statement:In addition tobeing teachingtools, concept maps canbe used as effective assessment tools. The use of concept maps for assessmenthas raised the issue of scoring them. Concept maps generated and used indifferent ways can be scored via various methods. Holistic and relational scoring methods are two of them.Purpose of the Study:In this study, the reliability of theconcept map scores, which were made by the students and which werescored by different teachers using different scoring methods (holistic andrelational), will be discussed in terms of G theory.Methods: The research was performed during the fall semester of the 2010-2011academic year, between December and January.Concept maps created by thirty-six students were scored by threedifferent teachers who played roles as raters. Data were obtained from fourdifferent concept maps that were generated by each student.Findings and Results:In focusing on the size of the variance estimates according to holistic scoringmethods, while the student component (objects of measurement) accounts for oneof the largest percentages of the variance (20%), the main effects of the taskand the raters account for about 14% andalmost 0% of the total variance, respectively. The difficulty level of tasksdid not differ so much from student to student, and there is a scoringagreement among raters. Using the holistic scoring method, and coefficients were calculated as 0.63 and 0.57,respectively, depending upon the four tasks and three raters. In terms of relational scoring, the student component (object of measurement) accounts for10% of the variance, the main effect of the task accounts for a verysignificant percentage of the variance (56%), and the main effect of the ratersdoes not demonstrate any variance. G and Φ coefficients calculated over thefour tasks and three raters in the study were .63 and .34, respectively. Conclusions and Recommendations: According to the results of this study, Phicoefficient was higher in the concept map study in which the holistic scoringmethod was used. In this study, tasks represented a significant variancecomponent for both scoring methods. This may be interpreted to mean that thelevels of difficulty for the tasks differed according to the students usingboth methods. In each of the scoring methods, the variance related to theraters was found to be zero, which may result in the interpretation that ratersscored the maps consistently.
Databáze: OpenAIRE
Externí odkaz: