SCAS-Fuzzy: a semi-automatic strategy for the selection of primary studies in secundary studies

Autor: Octaviano, Fábio Roberto
Přispěvatelé: Fabbri, Sandra Camargo Pinto Ferraz
Jazyk: portugalština
Rok vydání: 2018
Předmět:
Zdroj: Repositório Institucional da UFSCAR
Universidade Federal de São Carlos (UFSCAR)
instacron:UFSCAR
Popis: Não recebi financiamento Context: Systematic review and systematic mapping are secondary studies used to identify and aggregate relevant literature evidence on a research question of interest. One of the activities associated with secondary studies is the selection of primary studies, which is a manual activity and may require great effort from the researchers. The quality of the selection of primary studies directly affects the overall quality of the secondary studies. Objective: To propose a strategy called SCAS-Fuzzy (Score Citation semi-Automatic Selection using Fuzzy set) to automate part of the activity of selection of primary studies, minimizing the effort required in this activity, but maintaining the quality of the selection. Methodology: it was proposed a semi-automatic strategy for the selection of primary studies based on two functionalities: the score and whether a study is cited or not, which was called SCAS. It was evaluated through a case study and an experiment, which showed promising results. Then, ways to improve it were investigated and a citation coefficient was created, which now considers the number of citations caught by a study and the year of its publication, besides using fuzzy logic for classification of studies, which is now based on their scores and citation coefficients. The improved strategy, called SCAS-Fuzzy, was evaluated through a case study. Results: the case study showed that, for the five systematic reviews considered, the general effort reduction applying the SCAS-Fuzzy strategy was 39.1% and the error percentage was 0.3% for automatically excluding studies and 3.3% for automatically including studies when compared to manual review, showing a substantial level of agreement with reviewers. Conclusion: based on the results it is possible to conclude that the SCAS-Fuzzy strategy provided satisfactory results to reduce the effort of the initial selection activity and with a very low amount of evidence loss, maintaining the quality of the secondary study, also presenting better results in general in relation to the original defined SCAS strategy. Contexto: revisão sistemática e mapeamento sistemático são estudos secundários utilizados para localizar e agregar evidências relevantes da literatura sobre uma questão de pesquisa de interesse. Uma das atividades associadas aos estudos secundários é a seleção de estudos primários, que é uma tarefa manual e que pode demandar grande esforço dos pesquisadores. A qualidade da seleção de estudos primários afeta diretamente a qualidade geral dos estudos secundários. Objetivo: propor uma estratégia denominada SCAS-Fuzzy (Score Citation semi-Automatic Selection using Fuzzy set) para automatizar parte da atividade de seleção de estudos primários, minimizando o esforço consumido nessa atividade, mas mantendo a qualidade da seleção. Metodologia: inicialmente foi definida a estratégia semiautomática SCAS para seleção de estudos primários com base em dois parâmetros: o score e a ocorrência ou não de citações para um estudo. Ela foi avaliada por meio de um estudo de caso e de um experimento, que mostraram resultados promissores que motivaram a investigação de formas de melhorá-la. Criou-se então um coeficiente de citação, que passou a considerar a quantidade de citações recebidas por um estudo e o ano de publicação do mesmo. Além disso, utilizou-se lógica fuzzy para classificação dos estudos, agora com base no score e no novo coeficiente de citação. A estratégia melhorada, denominada SCAS-Fuzzy foi avaliada por meio de um estudo de caso. Resultados: o estudo de caso mostrou que, para as cinco revisões sistemáticas consideradas, a redução média de esforço aplicando a estratégia SCAS-Fuzzy foi de 39,1% e o percentual de erro foi de 0,3% para erros de exclusão e 3,3% para erros de inclusão, quando comparada à revisão manual, mostrando um nível de concordância substancial para com os revisores. Em comparação à estratégia original SCAS, os resultados são mais consistentes também. Conclusão: com os resultados é possível concluir que a estratégia SCAS-Fuzzy proporcionou resultados satisfatórios para redução de esforço da atividade de seleção inicial e com baixíssima quantidade de perde de evidências, mantendo a qualidade do estudo secundário, apresentando ainda resultados melhores como um todo em relação à estratégia SCAS inicialmente definida.
Databáze: OpenAIRE
Externí odkaz: