A multi-directional approach for accelerating single-node image classification neural network training via pruning
| Autor: | Kummer, Lorenz |
|---|---|
| Jazyk: | angličtina |
| Rok vydání: | 2022 |
| DOI: | 10.25365/thesis.72034 |
| Popis: | Die kontinuierliche Zunahme der architektonischen Komplexität von Deep Neural Networks (DNNs) sowie der Druck auf DNN-Anwendungen, eine immer größere Datenmenge sowie immer komplexere Probleme zu bewältigen, hat zu einer Nachfrage nach Ansätzen geführt, welche die zeitliche und räumliche Komplexität solcher Netzwerke während Training und Inferenz reduzieren, insbesondere für Training unter Ressourcenbeschränkungen oder Inferenz unter Zeitbeschränkungen. Arbeiten auf dem Stand der Technik, die darauf abzielen, den DNN-Bedarf an Speicher und Rechenzeit während des Trainings und/oder der Inferenz zu reduzieren, können in Techniken kategorisiert werden, die Pruning, Quantisierung, neuronale Architektursuche (NAS), verteiltes Lernen oder eine Kombination davon anwenden. In dieser Arbeit liegt der Fokus auf dem Intra-Training-DNN-Pruning (d.h. dem Beschneiden des Netzwerks während und mit dem Ziel, das Training zu beschleunigen), für das neue Ansätze vorgestellt werden. Dies wird durch eine umfassende Literaturrecherche und eine eingehende Analyse des Stands der Technik auf dem Gebiet der DNN-Beschneidung während des Trainings erreicht, wobei aktuelle wissenschaftliche Lücken hervorgehoben und neuartige Lösungen für eine ausgewählte Teilmenge der identifizierten offenen Forschungsfragen synthetisiert und implementiert werden. Die in dieser Arbeit vorgeschlagenen Lösungen werden einer umfangreichen analytischen und empirischen Bewertung im Vergleich mit anderen Methoden des Standes der Technik unterzogen, um ihren wissenschaftlichen Beitrag zu demonstrieren. Deep neural networks (DNNs) continuously increase in architectural complexity and DNN applications are under pressure to handle an every-increasing amount of data as well as more and more complex problems. This has created demand for approaches reducing time and space complexity of such networks during training and inference, especially for training under resource constraints or inference under time constraints.} State-of-the-Art (SotA) works aimed at reducing DNNs' demand for memory and computation time during training and/or the inference can be categorized into techniques applying pruning, quantization, neural architecture search (NAS), distributed learning or a combination of these to the network. In this work, the focus lies on intra-training DNN pruning (i.e., pruning the network during and with the aim of accelerating training) for which new approaches are introduced. This is accomplished by an extensive literature survey and in-depth analysis of the State-of-the-Art in the field of intra training DNN pruning, highlighting current scientific gaps and synthesizing and implementing novel solutions to a selected subset of the identified open research questions. The proposed solutions in this thesis will be subjected to extensive analytical and empirical evaluation in comparison with other State-of-the-Art methods in order to demonstrate their scientific contribution. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|