Knowledge extraction from the learning of sequences in a long short term memory (LSTM) architecture

Autor: Ikram Chraibi Kaadoud, Nicolas P. Rougier, Frédéric Alexandre
Přispěvatelé: Mnemonic Synergy (Mnemosyne), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut des Maladies Neurodégénératives [Bordeaux] (IMN), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-Centre National de la Recherche Scientifique (CNRS), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2, Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université Sciences et Technologies - Bordeaux 1-Université Bordeaux Segalen - Bordeaux 2-Inria Bordeaux - Sud-Ouest, Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS), Institut des Maladies Neurodégénératives [Bordeaux] (IMN), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)
Jazyk: angličtina
Rok vydání: 2021
Předmět:
FOS: Computer and information sciences
Computer Science - Machine Learning
Information Systems and Management
Implicit learning
Computer science
media_common.quotation_subject
Machine Learning (stat.ML)
02 engineering and technology
[INFO.INFO-NE]Computer Science [cs]/Neural and Evolutionary Computing [cs.NE]
computer.software_genre
Sequence learning
Latent space
Management Information Systems
Machine Learning (cs.LG)
[INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]
[SCCO]Cognitive science
Knowledge extraction
Rule-based machine translation
[STAT.ML]Statistics [stat]/Machine Learning [stat.ML]
Artificial Intelligence
Statistics - Machine Learning
0202 electrical engineering
electronic engineering
information engineering
[INFO]Computer Science [cs]
Neural and Evolutionary Computing (cs.NE)
Cluster analysis
Recurrent Neural Networks
media_common
Interpretability
Grammar
business.industry
Computer Science - Neural and Evolutionary Computing
[SDV.NEU.SC]Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC]/Cognitive Sciences
020207 software engineering
Recurrent neural network
TheoryofComputation_MATHEMATICALLOGICANDFORMALLANGUAGES
020201 artificial intelligence & image processing
Artificial intelligence
business
computer
Long Short Term Memory
Software
Natural language processing
Computer Science::Formal Languages and Automata Theory
Zdroj: Knowledge-Based Systems
Knowledge-Based Systems, Elsevier, 2021, 235, pp.18. ⟨10.1016/j.knosys.2021.107657⟩
Knowledge-Based Systems, 2021, 235, pp.18. ⟨10.1016/j.knosys.2021.107657⟩
Knowledge-Based Systems, Elsevier, 2021, pp.107657. ⟨10.1016/j.knosys.2021.107657⟩
ISSN: 0950-7051
1872-7409
Popis: We introduce a general method to extract knowledge from a recurrent neural network (Long Short Term Memory) that has learnt to detect if a given input sequence is valid or not, according to an unknown generative automaton. Based on the clustering of the hidden states, we explain how to build and validate an automaton that corresponds to the underlying (unknown) automaton, and allows to predict if a given sequence is valid or not. The method is illustrated on artificial grammars (Reber's grammar variations) as well as on a real use-case whose underlying grammar is unknown.
18 pages, 17 figures
Databáze: OpenAIRE
Externí odkaz: