| Popis: |
In this research, the performance of top-down and bottom-up test assembly methods were compared according to the sample size, panel design and module length of the Adaptive Multistage Tests (MST). MSTs formed according to the both test assembly methods were also evaluated in terms of the classification test. Within the context of the research, data for PISA 2015 were utilized and a simulation study was conducted according to the parameters predicted based on these data. Item parameters calibrated according to the 2 PL model from the two-category data set obtained the PISA data applied in the year 2015 comprised the item pool of the research. Of the research variables, module length variables 6 and 12, panel design variable “1-2”, “1-2-2” and “1-2-3”, and the sample size variables 250 and 2000 were determined in the study. Analysis results for each condition were compared in terms of mean error, bias and classification accuracy. According to the results obtained from the MST simulation formed based on top-down test assembly method, it was determined that the mean error value decreased when the module length of MST applied to the small and large samples increased. The mean error values decreased in case of the transition from “1-2” panel design to panel design “1-2-2” and “1-2-3” took place. The increase in the sample size lead to a certain amount of decrease in the mean error values of “1-2” and “1-2-2” panel design in short and moderate module lengths. The increase in the module length lowered the bias values of the panel design in both sample types. The transition of panel design from “1-2” to “1-2-2” and “1-2-3” decreased the mean bias values in both sample sizes and module lengths. The increase in sample size also reduced the bias slightly for all conditions. Individuals who filled the MST were compared with the passing ratios 70%, 50% and 30% respectively and the high classification ratios and Cohen’s Kappa coefficient of agreement. According to the results obtained from the MST simulation constructed according to bottom-up test assembly method, the mean error value decreased as the module length and panel design in MSTs applied to small and large samples increased. The increase in the sample size lead to a decrease in the mean error values of “1-2” panel design in short and moderate module lengths, “1-2-2” panel design in short module length and “1-2-3” panel design in moderate module length. The increase in sample size and module length decreased the bias values of panel design “1-2”, “1-2-2” and “1-2-3” applied to the small and large samples. It was found that MSTs consisting of panel design “1-2”, “1-2-2” and “1-2-3” that contain short and moderate length modules applied to both samples classified the individuals at a high rate at 70%, 50% and 30% passing ratios. Öz ii Abstract iv Teşekkür vi Tablolar Dizini ix Şekiller Dizini x Simgeler ve Kısaltmalar Dizini xi Bölüm 1 Giriş 1 Problem Durumu 1 Araştırmanın Amacı ve Önemi 6 Araştırma Problemi 9 Sayıltılar 10 Sınırlılıklar 10 Tanımlar 10 Bölüm 2 Araştırmanın Kuramsal Temeli ve İlgili Araştırmalar 11 Madde Tepki Kuramı 11 Bireyselleştirilmiş Çok Aşamalı Test (BÇAT) 14 PISA (Program for International Student Assessment-Uluslararası Öğrenci Başarısını Belirleme Programı) 30 BÇAT ile ilgili çalışmalar 33 Otomatik Test Birleştirme İle İlgili Çalışmalar 38 İlgili Araştırmalar Özet 41 Bölüm 3 Yöntem 42 Araştırma Modeli 42 Çalışma Grubu 42 Verilerin Analizi 43 Verilerin Analizinin Birinci Aşaması 44 Verilerin Analizinin İkinci Aşaması 48 Bölüm 4 Bulgular 60 Bölüm 5 Tartışma, Sonuç ve Öneriler 75 Tartışma 75 Sonuç 80 Öneriler 82 Kaynaklar 84 EK-A: PISA 2015 Yılı Uygulamasına Ait Veri Setinin Faktör Yükleri 96 EK-B. PISA 2015 Yılı Uygulamasına Ait Veri Setinin 2 PL Modelde Kestirilen Madde Parametreleri 97 EK-C. Yukarıdan-aşağıya Test Birleştirme Yöntemine Göre Kestirilen Madde Ayırt Edicilik Parametrelerinin Ortalama ve Standart Sapma Değerleri 99 EK-Ç. Yukarıdan-aşağıya Test Birleştirme Yöntemine Göre Kestirilen Madde Güçlük Parametrelerinin Ortalama ve Standart Sapma Değerleri 101 EK-D. Aşağıdan-yukarıya Test Birleştirme Yöntemine Göre Kestirilen Madde Ayırt Edicilik Parametrelerinin Ortalama ve Standart Sapma Değerleri 103 EK-E. Aşağıdan-yukarıya Test Birleştirme Yöntemine Göre Kestirilen Madde Güçlük Parametrelerinin Ortalama ve Standart Sapma Değerleri 105 EK-F: Etik Komisyonu Onay Bildirimi 107 EK-G: Etik Beyanı 108 EK-Ğ: Doktora Tez Çalışması Orijinallik Raporu 109 EK-H: Dissertation Originality Report 110 EK-I: Yayımlama ve Fikrî Mülkiyet Hakları Beyanı 111 Bu araştırmada, bireyselleştirilmiş çok aşamalı testlerde (BÇAT) örneklem büyüklüğü, panel deseni ve modül uzunluğuna göre yukarıdan-aşağıya ve aşağıdan-yukarıya test birleştirme yöntemleri karşılaştırılmıştır. Her iki test birleştirme yöntemine göre oluşturulan BÇAT’lar sınıflandırma testi açısından da değerlendirilmiştir. Araştırma kapsamında PISA 2015 yılı uygulamasına ait veriler kullanılmış, bu verilerden kestirilen parametrelere göre simülasyon çalışması yapılmıştır. Madde havuzunu, 2015 yılında uygulanan PISA verilerinden elde edilen iki kategorili veri seti oluşturmuştur. Araştırma değişkenlerinden modül uzunluğu değişkeni 6 ve 12, panel deseni değişkeni “1-2”, “1-2-2” ve “1-2-3”, örneklem büyüklüğü değişkeni 250 ve 2000 olarak belirlenmiştir. Analiz sonuçları ortalama hata, yanlılık ve sınıflandırma doğruluğu değerleri açısından karşılaştırılmıştır. Araştırmanın yukarıdan-aşağıya test birleştirme yöntemine göre oluşturulan BÇAT simülasyonundan elde edilen sonuçlarına göre küçük ve büyük örnekleme uygulanan BÇAT’ın modül uzunluğu arttığında ve panel deseni “1-2”den “1-2-2” ve “1-2-3”e doğru geçtiğinde ortalama hata değerleri düşmüştür. Örneklem büyüklüğünün artması, “1-2” ve “1-2-2” panel desenlerinin kısa ve orta modül uzunluğunda ortalama hata değerlerinde bir miktar düşüş oluşturmuştur. Modül uzunluğunun artması her iki örneklem türünde panel desenlerinin yanlılığını azaltmıştır. Panel deseninin “1-2”den “1-2-2” ve “1-2-3”e doğru geçişi her iki örneklem büyüklüğü ve modül uzunluğunda ortalama yanlılık değerlerini düşürmüştür. Örneklem büyüklüğünün artması aynı şekilde tüm koşullar için yanlılığı küçük bir miktar azaltmıştır. BÇAT’ı yanıtlayan bireylerin %70, %50 ve %30 geçme oranlarında yüksek sınıflandırma oranları ve Kappa uyum katsayıları hesaplanmıştır. Araştırmanın aşağıdan-yukarıya test birleştirme yöntemine göre oluşturulan BÇAT simülasyonundan elde edilen sonuçlarına göre küçük ve büyük örnekleme uygulanan BÇAT’larda modül uzunluğu ve panel deseni arttıkça ortalama hata değeri azalmıştır. Örneklem büyüklüğünün ve modül uzunluğunun artması küçük ve büyük örnekleme uygulanan ”1-2”, “1-2-2” ve “1-2-3” panel desenlerinin yanlılığını azaltmıştır. Her iki örnekleme uygulanan kısa ve orta uzunlukta modülün olduğu “1-2”, “1-2-2” ve “1-2-3” panel desenlerinden oluşan BÇAT’ların; %70, %50 ve %30 geçme oranlarında oldukça yüksek düzeyde bireyleri doğru sınıflandırdığı sonucuna ulaşılmıştır. |
