Partitioning approaches using locality-sensitive hashing applied to heuristic retrieval in external plagiarism detection

Autor: Arruda, Michel Dias de
Přispěvatelé: Silva, Eduardo Bezerra da, Duarte, Fellipe Ribeiro, Silva, Geraldo Zimbrão da, Xexéo, Geraldo Bonorino
Jazyk: portugalština
Rok vydání: 2019
Předmět:
Zdroj: Repositório Institucional da UFRJ
Universidade Federal do Rio de Janeiro (UFRJ)
instacron:UFRJ
Popis: Submitted by Paloma Arruda (palomaoliiveira75@gmail.com) on 2021-02-22T22:09:34Z No. of bitstreams: 1 MichelDiasDeArruda.pdf: 2442028 bytes, checksum: ef6c82cbae8ac99f635a5f37071fbd1a (MD5) Approved for entry into archive by Moreno Barros (moreno@ct.ufrj.br) on 2021-04-05T02:24:54Z (GMT) No. of bitstreams: 1 MichelDiasDeArruda.pdf: 2442028 bytes, checksum: ef6c82cbae8ac99f635a5f37071fbd1a (MD5) Made available in DSpace on 2021-04-05T02:24:54Z (GMT). No. of bitstreams: 1 MichelDiasDeArruda.pdf: 2442028 bytes, checksum: ef6c82cbae8ac99f635a5f37071fbd1a (MD5) Previous issue date: 2019-09 [PT] A Detecção de Plágio em Linguagem Natural (NLPD) visa identificar a evidência textual que um documento contém plágio, para gerar uma lista de documentos que são plagiados para posterior avaliação humana. A detecção de plagio externo (EPD) é uma tarefa da NLPD, a qual um conjunto de documentos está disponível para consulta por plágio. EPD é formada de algumas etapas, dentre elas a Busca Heurística (HR), que é a etapa de EPD que visa recuperar um conjunto de documentos candidatos a plágio de um grande corpus, reduzindo o carga de trabalho das etapas posteriores do EPD. A etapa de Busca Heurística é uma tarefa de Recuperação de Informação (IR) e contém duas subtarefas: a indexação e a busca. Foram propostos dois métodos de particionamento, das permutações e do vocabulário, com o objetivo de tornar mais rápida a execução das subtarefas de IR. Ambos utilizam Locality-Sensitive Hashing (LSH) e são baseados no conceito matemático conhecido como partição de um conjunto. O particionamento de qualquer conjunto pode gerar resto, e a partir disso foram propostas as estratégias de tratamento Remainder at End (RaE), Remainder at Cell (RaC) e Distributed at Cell (DaC). Nos dois métodos de particionamento, RaE, RaC e DaC foram aproximadamente 101% mais rápidos que o estado da arte da IR na subtarefa de busca. Além disso, ambos alcançaram melhores resultados na indexação de documentos, extração de consultas e tempo de recuperação quando comparados com o baseline padrão do LSH, o MinMax. [EN] Natural Language Plagiarism Detection (NLPD) aims to seek textual evidence of plagiarism in documents, in order to generate a list of candidate documents of being plagiarized, to further be analysed by humans. External plagiarism detection (EPD) is a NLPD task in which a set of documents is available to be queried, seeking for plagiarism. DPE is comprised of a few steps, one of them being the Heuristic Search (HR), which is the EPD stage that retrieves a set of plagiarism candidate documents from a large corpus, reducing the workload of the later stages of the EPD. The HR stage is an Information Retrieval (IR) task, and comprises two subtasks, namely, Indexing and Source Retrieval. In order to speed up the execution of IR subtasks, two partitioning methods were proposed, the permutations and vocabulary partitioning. Both use Locality-Sensitive Hashing (LSH) and are based on the mathematical concept known as partition of a set. Partitioning any set can generate remainders, and to address this issue, the Remainder at End (RaE), Remainder at Cell (RaC) and Distributed at Cell (DaC) treatment strategies were proposed. Both partitioning methods were approximately 101% faster than the IR state of art. Moreover, RaE, RaC and DaC achieved better results in document indexing, query extraction and retrieval time in comparison to a standard LSH baseline, the Minmax.
Databáze: OpenAIRE
Externí odkaz: