| Popis: |
Bayesian Confidence Propagating Neural Networks (BCPNNs) are biologically inspired artificial neural networks. These networks have been modeled to account for brain-like aspects such as modular architecture, divisive normalization, sparse connectivity, and Hebbian learning. Recent research suggests that these networks have achieved high performance in classification-based tasks with additions such as structural plasticity. There is, however, scarce research on modeling BCPNN in regression-based tasks. In modeling these tasks, we aim to mimic continuous codes in the brain. Such codes have been shown to describe functions such as brain-motor activity. In this thesis, we conduct a systematic analysis to compare a baseline model with extensions of the BCPNN architecture that include two encoding techniques: Interval encoding and Gaussian Mixture Model (GMM) encoding. We also extend the model with a Ridge regressor. Our systematic analysis shows that this BCPNN model adapted with GMM encoding outperforms others. Moreover, the encodings also preserve sparse activity. Bayesian Confidence Propagating Neural Networks (BCPNN) är biologiskt inspirerade artificiella neurala nätverk. Dessa nätverk har modellerats för att ta hänsyn till hjärnliknande aspekter som modulär arkitektur, splittande normalisering, sparsam anslutning och hebbisk inlärning. Ny forskning tyder på att dessa nätverk har uppnått hög prestanda i klassificeringsbaserade uppgifter med tillägg som strukturell plasticitet. Det finns dock knappt forskning om modellering av BCPNN i regressionsbaserade uppgifter. Vid modellering av dessa uppgifter strävar vi efter att efterlikna kontinuerliga koder i hjärnan. Sådana koder har visat sig beskriva funktioner som hjärnmotorisk aktivitet. I detta examensarbete genomför vi en systematisk analys för att jämföra en baslinjemodell med utökningar av BCPNN-arkitekturen som inkluderar två kodningstekniker: Intervallkodning och Gaussisk blandningsmodell (GMM). Vi utökar även modellen med en Ridge-regressor. Vår systematiska analys visar att denna BCPNN-modell anpassad med GMM-kodning generellt sett överträffar andra. Dessutom bevarar kodningarna också sparsam aktivitet. |
