Адаптивна гібридна функція активації для глибоких нейронних мереж
| Autor: | Serhii Kostiuk, Yevgeniy Bodyanskiy |
|---|---|
| Jazyk: | angličtina |
| Rok vydání: | 2022 |
| Předmět: |
004.032.26 [004.8]
Computational Theory and Mathematics double-stage parameter turning process deep neural networks Artificial Intelligence адаптивна гібридна функція активації Applied Mathematics adaptive hybrid activation function двоетапний процес налаштування параметрів глибокі нейронні мережі Theoretical Computer Science |
| Zdroj: | Системні дослідження та інформаційні технології : міжнародний науково-технічний журнал, № 1 |
| DOI: | 10.20535/SRIT.2308-8893.2022.1.07 |
| Popis: | Запропоновано адаптивну гібридну функцію активації (AHAF), що поєднує особливості випрямних блоків (rectifier units) та стискальних (squashing) функцій. Запропонована функція може бути використана як пряма заміна активаційних функцій ReLU, SiL і Swish для глибоких нейронних мереж, а та- кож набути форми однієї з цих функцій в процесі навчання. Ефективність функції досліджено на задачі класифікації зображень на наборах даних Fashion- MNIST і CIFAR-10. Результати дослідження показують, що нейронні мережі з активаційними функціями AHAF показують точність класифікації кращу, ніж їх базові реалізації на основі ReLU та SiL. Запропоновано двоетапний процес налаштування параметрів для навчання нейронних мереж з AHAF. Запропоно- ваний підхід достатньо простий в реалізації та забезпечує високу продуктив- ність у навчанні нейронної мережі. The adaptive hybrid activation function (AHAF) is proposed that combines the properties of the rectifier units and the squashing functions. The proposed function can be used as a drop-in replacement for ReLU, SiL and Swish activations for deep neural networks and can evolve to one of such functions during the training. The effectiveness of the function was evaluated on the image classification task using the Fashion-MNIST and CIFAR-10 datasets. The evaluation shows that the neural networks with AHAF activations achieve better classification accuracy comparing to their base implementations that use ReLU and SiL. A double-stage parameter tuning process for training the neural networks with AHAF is proposed. The proposed approach is sufficiently simple from the implementation standpoint and provides high performance for the neural network training process. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|