Dynamic decision trees in a distributed environment

Autor: Μουμουλιδου Ζαφειρια http://users.isc.tuc.gr/~zmoumoulidou, Moumoulidou Zafeiria http://users.isc.tuc.gr/~zmoumoulidou
Přispěvatelé: Γαροφαλακης Μινως, Garofalakis Minos, Σαμολαδας Βασιλης, Samoladas Vasilis, Δεληγιαννακης Αντωνιος, Deligiannakis Antonios, Επιβλέπων: Γαροφαλακης Μινως, Advisor: Garofalakis Minos, Μέλος επιτροπής: Σαμολαδας Βασιλης, Committee member: Samoladas Vasilis, Μέλος επιτροπής: Δεληγιαννακης Αντωνιος, Committee member: Deligiannakis Antonios
Jazyk: angličtina
Předmět:
Popis: Summarization: Decision trees is one the most popular methods in data mining since the intuition behind the models produced is close to human way of thinking. In particular, we focus on the stream processing model which belongs to one of the most realistic schemes since the volume and the production rate of data most of the time make the traditional processing methods ineffective. In this thesis we study the state-of-the-art Hoeffding Tree algorithm designed for building decision tree models over high speed data streams. More precisely, one of the most significant challenges in streaming decision trees, is that each instance of data is processed only once and it is not stored in memory. Thus, any decision regarding the growth of the tree should be made based only on a subset of the original data. In paraller, we study the geometric approach for monitoring threshold functions over distributed streams. In the aformentioned distributed setting, the data needed to compute the values of a function is split among diverse processing sites. So the authors design a monitoring scheme, where the sites do not need to send their data to a central node in order to detect whether the value of a function has crossed a threshold; as a result they manage to reduce the communication load. Finally, we propose a novel distributed algorithm for mining high-speed data streams, based on the state-of-the-art Hoeffding Tree algorithm and the ideas introduced in the geometric method. Περίληψη: Τα δένδρα απόφασης είναι μια από τις πιο διαδεδομένες τεχνικές ανάλυσης και εξόρυξης δεδομένων αφού τα μοντέλα τα οποία παράγουν συνάδουν με τον ανθρώπινο τρόπο αντίληψης. Ειδικότερα, επιλέγουμε να ασχοληθούμε με το μοντέλο ανάλυσης ροών δεδομένων δεδόμενου ότι αποτελεί ένα από τα πιο ρεαλιστικά σχήματα αφού ο όγκος και ο ρυθμός των δεδομένων στη γενική περίπτωση καθιστά τις κλασσικές μεθόδους επεξεργασίας μη αποδοτικές. Πιο συγκεκριμένα, μελετάμε τον state-of-the-art αλγόριθμο των Hoeffding Trees για την σχεδίαση δένδρων απόφασης. Για τα δένδρα απόφασης σε ροές δεδομένων μία από τις πιο σημαντικές προκλήσεις είναι ότι κάθε δεδομένο το βλέπουμε και το επεξεργαζόμαστε μόνο μία φορά χωρίς να έχουμε τη δυνατότητα να το αποθήκευσουμε στη μνήμη. Έτσι, οποιαδήποτε απόφαση σε σχέση με την ανάπτυξη του δένδρου πρέπει να ολοκληρωθεί βάσει ενός υποσυνόλου του αρχικού όγκου των δεδομένων. Παράλληλα, μελετάμε το σχήμα γεωμετρικής παρακολούθησης της τιμής μιας συνάρτησης πάνω σε κατανεμημένες ρόες δεδομένων. Σε αυτό θεωρούμε ότι τα δεδομένα που χρειάζονται για τον υπολογισμό της τιμής της συνάρτησης είναι διαμοιρασμένα σε διάφορους κόμβους επεξεργασίας. Στόχος λοιπόν είναι η σχεδίαση ενός σχήματος παρακολούθησης όπου οι κόμβοι δε χρειάζεται να επικοινώνουν με κάποιο κεντρικό για να εντοπιστεί αν η τιμή της συνάρτησης ξεπέρασε κάποια τιμή έτσι ώστε να μειωθεί ο φόρτος επικοινωνίας. Τέλος, προτείνουμε ένα νέο κατανεμημένο μοντέλο σχεδίασης δενδρικών μοντέλων απόφασης συνδιάζοντας κατάλληλα ιδέες από τις δύο δουλειές.
Databáze: OpenAIRE