| Popis: |
Aplicar pruning en una xarxa neuronal disminueix la complexitat de la representació interna, permetent així un augment de la velocitat d'entrenament i inferència. A més, en ser un model més senzill, pot millorar la seva capacitat de generalització, per això l'aplicació de tècniques de pruning en xarxes preentrenades pot ajudar a facilitar l'aplicació de transfer learning i aconseguir millors models. En reduir la complexitat del model, també reduïm la quantitat de paràmetres necessaris per entrenar en la nova tasca i, per tant, reduïm la capacitat computacional necessària, facilitant l'aplicació de transfer learning. El nostre treball es basarà a aplicar múltiples mètodes de pruning sobre models preentrenats per tal de conèixer com afecta posteriorment a l'aplicació de transfer learning. Applying pruning on a neural network decreases the complexity of the internal representation, allowing an increase in the speed of training and inference. In addition, producing a simpler model, it can improve its generalization capacity, which is why applying pruning techniques on pre-trained neural networks can help improve the application of transfer learning and achieve better models. By reducing the complexity of the model, we also reduce the number of parameters needed to train on the new task, therefore reducing the computational capacity required, and improving the application of transfer learning. Our work will be based on applying multiple pruning methods on pre-trained models in order to know how it affects the application of transfer learning. |
