La CTC et son intrigant label 'blank'. Étude comparative de méthodes d’entraînement de réseaux de neurones pour la reconnaissance d’écriture

Autor: Bluche, Théodore, Kermorvant, Christopher, Ney, Hermann, Louradour, Jérôme
Rok vydání: 2016
DOI: 10.24348/sdnri.2016.cifed-20
Popis: RÉSUMÉ. Les systèmes de reconnaissance d’écriture vainqueurs d’évaluations internationales ces dernières années sont basés sur des réseaux de type LSTM, entraînés avec un critère de classification temporelle connexionniste (CTC). L’algorithme de la CTC est basé sur une procédure "forward-backward", sans segmentation de la séquence d’entrée avant l’entraînement. Les sorties du réseau sont les caractères à modéliser, auxquels on ajoute un label spécial, noncaractère, (blank). D’autre part, dans les systèmes hybrides réseaux de neurones / modèles de Markov cachés (MMCs), les réseaux sont entraînés au niveau trame à prédire des états de MMC. Dans cet article, nous montrons que la CTC est une forme dérivée de l’entraînement forward-backward de MMCs, et qu’elle peut donc être étendue à des topologies arbitraires de MMC. Nous appliquons cette méthode à des perceptrons multicouches et la comparons à l’entraînement au niveau trame dans diverses situations. Enfin, nous analysons le rôle intrigant de ce label spécial "blank".
Databáze: OpenAIRE