Untersuchung von Methoden zur Überprüfbarkeit von Ergebnissen von Studienpopulationen auf Teilpopulationen

Autor: Beckmann, L, Grouven, U, Kieser, M, Sieben, W, Skipka, G, Bender, R
Jazyk: němčina
Rok vydání: 2018
Předmět:
Zdroj: GMS Medizinische Informatik, Biometrie und Epidemiologie, Vol 14, Iss 2, p Doc11 (2018)
GMS Medizinische Informatik, Biometrie und Epidemiologie; VOL: 14; DOC11 /20180830/
DOI: 10.3205/mibe000189
Popis: Background: When assessing the benefit of an intervention, the study population (SP) may consist of a relevant target population (ZP) and a non-relevant population (nZP). We consider the situation that a significant treatment effect is observed only in SP but not in ZP leading to the question if and how the effect in SP may be used for conclusions about the effect in ZP. Methods: We assessed three test procedures: the first increases the level of significance αZP for ZP (elevation rule, ER). The second procedure involves a permutation-based test for a qualitative interaction between ZP and nZP (extension rule, EWR). The third one is a modification of the EWR, which takes the relation between ZP and nZP into account. In a simulation study, we compared the empirical type 1 error and power for all three test procedures. Results: EWR unacceptably exceeds the significance level for some simulated parameter constellations (median 5.8%, maximum 15.9%). The modified version of EWR has a lower empirical type 1 error (median 5.5%, maximum 10.2%). But EWR has no advantages with respect to the empirical power and type 1 error compared to ER with an increased significance level of αZP=15%. Conclusion: ER, with an increased significance level of αZP=15%, is the appropriate procedure with respect to the empirical power, when accepting a slightly increased type 1 error (median 6.1%, maximum 10.9% over all simulated scenarios).
Hintergrund: In Nutzenbewertungen kann der Fall auftreten, dass sich die Studienpopulation (SP) aus einer relevanten Zielpopulation (ZP) und Nicht-ZP (nZP) zusammensetzt und ein nicht statistisch signifikanter Behandlungseffekt in ZP und ein statistisch signifikanter Behandlungseffekt in SP vorliegt. Es stellt sich hier die Frage unter welchen Umständen und mit welcher Methodik das Ergebnis in SP auf ZP übertragen werden kann. Methoden: Wir haben drei Testprozeduren untersucht: eine Anhebung des Signifikanzniveaus αZP für ZP (Anhebungsregel, AHR), eine Testprozedur, die auf einem permutationsbasierten Test auf qualitative Interaktion zwischen ZP und nZP beruht (Erweiterungsregel, EWR) sowie eine Modifikation derselben. Die Testprozeduren wurden in einer Simulationsstudie bzgl. des empirischen Fehlers 1. Art und der empirischen Power verglichen. Ergebnisse: Die EWR zeigte für einzelne Datenkonstellationen eine nicht akzeptable Niveauüberschreitung (Median 5,8%, Maximum 15,9%). Die modifizierte EWR unter Berücksichtigung der Relation der Stichprobengrößen in ZP und nZP führte zwar zu einer Reduktion des empirischen Fehlers 1. Art (Median 5,5%, Maximum 10,2%). Ein Vergleich bezüglich empirischer Power und Fehler 1. Art mit der AHR mit einer Erhöhung des Signifikanzniveaus auf αZP=15% ließ jedoch insgesamt keine Vorteile erkennen. Schlussfolgerung: Bei Inkaufnahme einer geringen Niveauüberschreitung (Median 6,1%, Maximum 10,9% in den untersuchten Datenkonstellationen) stellt die AHR mit bedingter Erhöhung des Signifikanzniveaus auf αZP=15% unter Berücksichtigung des Fehlers 1. Art und der Power das geeignetste Verfahren dar.
GMS Medizinische Informatik, Biometrie und Epidemiologie; 14(2):Doc11
Databáze: OpenAIRE
Externí odkaz:
Nepřihlášeným uživatelům se plný text nezobrazuje