Effectiveness of educational intervention on improving knowledge about systematic reviews

Autor: Krnić Martinić, Marina
Přispěvatelé: Puljak, Livia, Polašek, Ozren, Alfirević, Žarko, Roje, Damir
Jazyk: chorvatština
Rok vydání: 2021
Předmět:
Popis: Pozadina: Sustavni pregledi smatraju se najvišom razinom dokaza u medicini. No, konsenzus o definiciji sustavnih pregleda ne postoji, nepoznato je mijenjaju li se stavovi urednika o sustavnim pregledima i nepoznato je postoje li učinkovite intervencije za unaprjeđenje znanja o sustavnim pregledima. Cilj: Ova disertacija imala je tri osnovna cilja: 1) analizirati definicije sustavnih pregleda u zdravstvenoj literaturi, analizirati navedene elemente definicija i predložiti temelj za eksplicitnu, nedvosmislenu definiciju sustavnog pregleda; 2) provesti novu analizu stavova urednika o sustavnim pregledima kao originalnim istraživanjima te; 3) analizirati učinkovitost kratke edukacijske intervencije na unaprjeđenje znanja o sustavnim pregledima. Metode: U prvo istraživanje uključeni su pregledi sustavnih pregleda, meta-epidemiološka istraživanja i udžbenici iz epidemiologije. Prikupljene su definicije sustavnih pregleda kao i kriteriji uključivanja i isključivanja koji su upućivali na definiciju koji su autori koristili. Pojedinačni elementi definicija sustavnog pregleda su izdvojeni, kategorizirani i kvantificirani. U drugom su istraživanju, putem e-pošte, urednici biomedicinskih časopisa upitani smatraju li sustavne preglede originalnim istraživanjima, objavljuju li sustavne preglede u svojim časopisima te u kojim odjeljcima časopisa. Pretražen je PubMed u potrazi za sustavnim pregledima (ili metaanalizama) objavljenim u uključenim časopisima u 2017. godini. Ukoliko nisu pronađeni sustavni pregledi ili metaanalize, časopisi su ručno pretraženi. Urednici su pozvani na sudjelovanje u popratnom kvalitativnom istraživanju provedenom putem intervjua. U trećem istraživanju osmišljena je kratka edukacijska intervencija o sustavnim pregledima te je provedeno kvalitativno istraživanje putem intervjua među zdravstvenim radnicima o njihovom mišljenju o navedenoj edukaciji. Potom se proveo randomizirani kontrolirani pokus u kojem je uspoređena kratka edukacijska intervencija s kontrolnom intervencijom koja se sastojala od PRISMA popisa za provjeru. Ispitanici u pokusu bili su studenti zdravstvenih studija. Rezultati: U prvom istraživanju među 535 analiziranih izvora informacija, u 188 (35%) izvora pronađena je definicija sustavno pregleda. U definicijama sustavnih pregleda najčešće su pronađene reference na Cochrane i PRISMA izjavu. Pronađeno je 188 različitih elemenata sustavnih pregleda koji su kategorizirani u 14 kategorija. Najveći broj elemenata definicija sustavnih pregleda bilo je iz kategorija pretrage (N = 51), analize/sinteze (N = 23), općenito metoda (N = 22), kvalitete/pristranosti/procjene/valjanosti (N = 22) i cilja/istraživačkog pitanja (N = 13). Spomenutih pet kategorija bile su i najčešće korištena kombinacija kategorija pronađenih u definicijama sustavnih pregleda. U drugom istraživanju sudjelovala su 73 urednika, koji su predstavljali 72 (62%) uključenih časopisa. Pedeset i dva (80%) urednika smatralo je sustavne preglede originalnim istraživanjima ili same po sebi (65%) ili ukoliko sadrže metaanalizu (15%) te su gotovo svi urednici (91%) izjavili kako objavljuju sustavne preglede. U usporedbi s rezultatima istraživanja provedenog na ključnim kliničkim časopisima 2009. godine, sličan udio urednika smatralo je sustavne preglede originalnim istraživanjima (71%), prihvaćalo sustavne preglede kao originalna istraživanja pod određenim uvjetima poput sadržavanja metaanalize (14%) te je sličan udio objavljivao sustavne preglede (94%). Provedeni intervjui pokazali su kako su urednici koristili različite kriterije prilikom odlučivanja jesu li sustavni pregledi originalna istraživanja, uključujući korištenu metodologiju, ponovljivost, originalnost ideje i stupanj noviteta. U trećem istraživanju provedeno je 12 kvalitativnih intervjua o edukacijskoj intervenciji o sustavnim pregledima. Temeljem odgovora ispitanika, edukacija je prilagođena i pripremljena za randomizirani kontrolirani pokus. Randomizirano je 589 ispitanika koji su primili ili novu edukacijsku intervenciju ili PRISMA popis za provjeru. Intervencijska je skupina imala 23% više točnih odgovora nakon provedene intervencije u usporedbi s kontrolnom skupinom. Zaključak: Trenutno korištene definicije sustavnih pregleda su nejasne i dvosmislene, često koristeći izraze poput jasno, eksplicitno i sustavno, bez daljnjeg pojašnjavanja. Predlaže se specifičnija definicija sustavnog pregleda s konačnim ciljem motiviranja istraživačke zajednice na uspostavljanje jasne i nedvosmislene definicije ove vrste istraživanja. Većina urednika ključnih kliničkih časopisa smatralo je sustavne preglede originalnim istraživanjima. Nije postojao jedinstven pristup definiranju što čini sustavni pregled, ili bilo koje drugo istraživanje, originalnim. Novo osmišljena kratka edukacijska intervencija učinkovita je za kratkotrajno unaprjeđenje znanja o sustavnim pregledima te su potrebna daljnja istraživanja na tu temu.
Background: Systematic reviews (SRs) are considered the highest level of evidence in medicine. However, there is no consensus definition of SRs, it is unclear whether the attitudes of editors towards SRs are changing, and whether there are effective interventions for improving knowledge about SRs. Aim: This thesis had three aims: 1) to analyze the definition of a SR in health care literature, elements of the definitions that are used and to propose a starting point for an explicit and nonambiguous SR definition; 2) to conduct a new analysis about editors' opinion regarding SRs as original research; and 3) to analyze the effectiveness of a short educational intervention for improving knowledge about SRs. Methods: In the first study, we included overviews of systematic reviews (OSRs), metaepidemiological studies and epidemiology textbooks. We extracted the definitions of SRs, as well as the inclusion and exclusion criteria that could indicate which definition of a SR the authors used. We extracted individual elements of SR definitions, categorized and quantified them. In the second study, we contacted editors via email and asked them whether they considered SRs original research, whether they published SRs in the journal and, if yes, in which section. We searched PubMed for any SRs (or meta-analyses) published in the included journals in 2017; if we did not find any, we hand-searched these journals. Editors were invited to participate in a follow-up qualitative interview study. In the third study, we first created a short educational intervention about SRs and conducted qualitative interviews with health care workers to obtain their insights. Then, we conducted a randomized controlled trial (RCT) in which we compared the short educational intervention with the control intervention that consisted of a PRISMA checklist. The eligible participants were health sciences students. Results: In the first study, among the 535 analyzed sources of information, 188 (35%) provided a definition of a SR. The most commonly used reference points for the definitions of SRs were Cochrane and the PRISMA statement. We found 188 different elements of SR definitions and divided them into 14 categories. The highest number of SR definition elements was found in categories related to searching (N = 51), analysis/synthesis (N = 23), overall methods (N = 22), quality/bias/appraisal/validity (N = 22) and aim/question (N = 13). The same five categories were also the most commonly used combination of categories in the SR definitions. In the second study, 73 editors representing 72 (62%) journals were included. Fifty-two (80%) editors considered SRs original research, either for any type of SR (65%) or only for SRs with a meta-analysis (15%) and almost all (91%) of editors published SRs. Compared with the results of the 2009 study of Core Clinical Journals, a similar proportion of editors considered SRs to be original studies (71%), accepted SRs as original on certain condition such as presence of meta-analysis (14%) or published SRs (94%). Interviews with editors showed that they used various criteria to decide whether a SR is original research, including methodology, reproducibility, originality of idea and level of novelty. In the third study, 12 qualitative interviews were conducted regarding the educational intervention about SRs. Based on their feedback, the education was modified and prepared for the RCT. We randomized 589 participants, who received either our new educational intervention or a PRISMA checklist. The intervention group had 23% more correct answers after the intervention compared to the control group. Conclusion: Currently used definitions of SRs are vague and ambiguous, often using terms such as clear, explicit and systematic, without further elaboration. We proposed a more specific definition of a systematic review, with the ultimate aim of motivating the research community to establish a clear and unambiguous definition of this type of research. The majority of editors of core clinical journals considered that SRs are original research. There was no uniform approach to defining what makes a SR, or any study, original. Our newly designed short educational intervention is effective for improving short-term knowledge about SRs and should be further tested.
Databáze: OpenAIRE
Externí odkaz: