Výsledky vyhledávání

Report

Gaussian Stochastic Weight Averaging for Bayesian Low-Rank Adaptation of Large Language Models

Autor: Onal, Emre, Flöge, Klemens, Caldwell, Emma, Sheverdin, Arsen, Fortuin, Vincent

Fine-tuned Large Language Models (LLMs) often suffer from overconfidence and poor calibration, particularly when fine-tuned on small datasets. To address these challenges, we propose a simple combination of Low-Rank Adaptation (LoRA) with Gaussian St

Externí odkaz: http://arxiv.org/abs/2405.03425

Zobrazit plný text záznamu

Report

Neural Collapse in the Intermediate Hidden Layers of Classification Neural Networks

Autor: Parker, Liam, Onal, Emre, Stengel, Anton, Intrater, Jake

Neural Collapse (NC) gives a precise description of the representations of classes in the final hidden layer of classification neural networks. This description provides insights into how these networks learn features and generalize well when trained

Externí odkaz: http://arxiv.org/abs/2308.02760

Zobrazit plný text záznamu

Akademický článek

Tento výsledek nelze pro nepřihlášené uživatele zobrazit.
K zobrazení výsledku je třeba se přihlásit.

Vyhledávací nástroje:

Upřesnit hledání