| Popis: |
Recurrent neural networks are powerful sequence learners. They are able to incorporate context information in a flexible way, and are robust to localised distortions of the input data. These properties make them well suited to sequence labelling, where input sequences are transcribed with streams of labels. The aim of this thesis is to advance the state-of-the-art in supervised sequence labelling with recurrent networks. Its two main contributions are (1) a new type of output layer that allows recurrent networks to be trained directly for sequence labelling tasks where the alignment between the inputs and the labels is unknown, and (2) an extension of the long short-term memory network architecture to multidimensional data, such as images and video sequences. Rekurrente Neuronale Netze (RNN) sind mächtige Sequenzlerner. Sie können flexibel mit zeitlich gedehnten Kontexten umgehen und sind robust gegenüber lokalen Eingabestörungen. Dies empfiehlt sie für Sequenzannotationsprobleme, bei denen Eingabeströme auf Reihen symbolischer Markierungen abzubilden sind. Das Ziel dieser Arbeit ist es, den aktuellen Stand der Forschung bei überwachter Sequenzannotation mit RNN voranzubringen. Die Arbeit liefert hierzu zwei wichtige Beiträge: (1) Durch die Einführung einer neuartigen Ausgabeschicht wird es möglich, RNN direkt daraufhin zu trainieren, Sequenzen zu annotieren, auch wenn nur die Reihenfolge, nicht jedoch die exakten Positionen der Markierungen bekannt sind. (2) Die "Long Short-Term Memory" Netzwerkarchitektur wird auf mehrdimensionale Daten wie Bilder und Videos erweitert. |
