A monitoring and threat detection system using stream processing as a virtual function for big data
| Autor: | Lopez, Martin Esteban Andreoni |
|---|---|
| Přispěvatelé: | Pujolle, Guy, Al Agha, Klaldoun, Nguyen, Thi-Mai-Trang, Fonseca, Mauro Sergio Pereira, Batista, Daniel Macêdo, Costa, Luís Henrique Maciel Kosmalski, Duarte, Otto Carlos Muniz Bandeira |
| Jazyk: | angličtina |
| Rok vydání: | 2018 |
| Předmět: | |
| Zdroj: | Repositório Institucional da UFRJ Universidade Federal do Rio de Janeiro (UFRJ) instacron:UFRJ |
| Popis: | Submitted by Aglair Aguiar (aglair@ct.ufrj.br) on 2020-03-22T16:03:32Z No. of bitstreams: 1 887778.pdf: 1618083 bytes, checksum: 42886c75790b2235d33d59e809024465 (MD5) Made available in DSpace on 2020-03-22T16:03:32Z (GMT). No. of bitstreams: 1 887778.pdf: 1618083 bytes, checksum: 42886c75790b2235d33d59e809024465 (MD5) Previous issue date: 2018-06 A detecção tardia de ameaças de segurança causa um significante aumento no risco de danos irreparáveis, impossibilitando qualquer tentativa de defesa. Como consequência, a detecção rápida de ameaças em tempo real é essencial para a administração de segurança. Além disso, A tecnologia de virtualização de funções de rede (Network Function Virtualization - NFV) oferece novas oportunidades para soluções de segurança eficazes e de baixo custo. Propomos um sistema de detecção de ameaças rápido e eficiente, baseado em algoritmos de processamento de fluxo e de aprendizado de máquina. As principais contribuições deste trabalho são: i) um novo sistema de monitoramento e detecção de ameaças baseado no processamento de fluxo; ii) dois conjuntos de dados, o primeiro ´e um conjunto de dados sintético de segurança contendo tráfego suspeito e malicioso, e o segundo corresponde a uma semana de tráfego real de um operador de telecomunicações no Rio de Janeiro, Brasil; iii) um algoritmo de pré-processamento de dados composto por um algoritmo de normalização e um algoritmo para seleção rápida de características com base na correlação entre variáveis; iv) uma função de rede virtualizada em uma plataforma de código aberto para fornecer um serviço de detecção de ameaças em tempo real; v) posicionamento quase perfeito de sensores através de uma heurística proposta para posicionamento estratégico de sensores na infraestrutura de rede, com um número mínimo de sensores; e, finalmente, vi) um algoritmo guloso que aloca sob demanda uma sequencia de funções de rede virtual. The late detection of security threats causes a significant increase in the risk of irreparable damages, disabling any defense attempt. As a consequence, fast realtime threat detection is mandatory for security guarantees. In addition, Network Function Virtualization (NFV) provides new opportunities for efficient and low-cost security solutions. We propose a fast and efficient threat detection system based on stream processing and machine learning algorithms. The main contributions of this work are i) a novel monitoring threat detection system based on stream processing; ii) two datasets, first a dataset of synthetic security data containing both legitimate and malicious traffic, and the second, a week of real traffic of a telecommunications operator in Rio de Janeiro, Brazil; iii) a data pre-processing algorithm, a normalizing algorithm and an algorithm for fast feature selection based on the correlation between variables; iv) a virtualized network function in an open-source platform for providing a real-time threat detection service; v) near-optimal placement of sensors through a proposed heuristic for strategically positioning sensors in the network infrastructure, with a minimum number of sensors; and, finally, vi) a greedy algorithm that allocates on demand a sequence of virtual network functions. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|