Towards the automatic design of the hidden layer of RBF networks: A Shapley value based approach (Inglês)

Autor: Sandes, Nelson Carvalho
Přispěvatelé: Coelho, Andre Luis Vasconcelos, Farias, Pedro Porfírio Muniz, Maia, José Everardo Bessa, Prudêncio, Ricardo Bastos Cavalcante
Jazyk: portugalština
Rok vydání: 2013
Předmět:
Zdroj: Biblioteca Digital de Teses e Dissertações da UNIFOR
Universidade de Fortaleza (UNIFOR)
instacron:UNIFOR
Popis: Made available in DSpace on 2022-06-22T23:27:40Z (GMT). No. of bitstreams: 0 Previous issue date: 2013-11-25 Radial basis function (RBF) neural networks are feedforward neural models that typically have three layers of neurons: an input layer, a hidden layer, and an output layer. These models are widely used due to their property of universal approximation. The neurons within the hidden layer are represented by radial basis functions, and the choice of the parameters (center and width) of each RBF might have a great impact on the accuracy of the model. Algorithms, such as the orthogonal least squares (OLS), fast recursive algorithm (FRA) and two-stage selection (TSS), have been developed to select the RBF centers automatically. This work also tackles the center selection problem, but cooperative game theory (CGT) concepts are used instead. The CGT investigates formal solutions to the problem of sharing resources between players who belong to a coalition. In our approach, the hidden layer of a RBF network is modeled as a coalition and the centers of the hidden neurons are treated as players of a cooperative game. The contribution of a center candidate to the networks it takes part in is measured by the Shapley value, which is one of the most investigated CGT solution concepts. Two algorithms were developed based on the Shapley value for ranking the centers, whereas the final RBF neural model selection is conducted based on this ranking and on the Akaike information criterion (AIC). The first ranking algorithm evaluates the quality of the center candidates in a single iteration, whereas the second algorithm, which is constructive, needs more than one iteration, and as such, the center recruited in iteration k influences the evaluation of the neurons in the next iterations. The proposed approach is applied in four benchmark regression problems and compared with OLS, FRA, and TSS algorithms. The results demonstrate that the proposed approach is effective, with the second algorithm, in particular, obtaining competitive results when compared to the state-of-the-art algorithms. On the other hand, the proposed algorithms have a higher computational cost compared to the others. Keywords: Radial Basis Functions, RBF Neural Networks, Center Selection, Cooperative Game Theory, Shapley Value, Regression. Redes neurais de função de base radial (redes RBF) são modelos neurais compostos de uma camada de entrada, uma camada escondida e uma camada de saída de neurônios. Por exibirem a propriedade de aproximação universal de funções contínuas, tais modelos são muito utilizados para resolver roblemas de regressão. A escolha do tipo e dos parâmetros (notadamente, centro e dispersão) das funções de base radial que compõem a camada oculta de uma rede RBF pode afetar sobremaneira a sua acurácia, sendo que algoritmos tais como orthogonal least squares (OLS), fast recursive algorithm (FRA) e two-stage selection (TSS), vêm sendo desenvolvidos para resolver essa tarefa de forma automática. Neste contexto, o presente trabalho também aborda o problema de seleção de centros de redes RBF, porém lançando mão de conceitos da área de teoria dos jogos cooperativos (TJC). Esse campo de pesquisa investiga soluções formais para o problema de se dividir a recompensa adquirida por uma coalizão de jogadores entre os seus membros, levando-se em consideração a contribuição de cada um deles. Em particular, na abordagem proposta aqui, a camada oculta de uma rede neural RBF é modelada como uma coalizão ao passo que os centros dos neurônios que a compõem são tratados como jogadores. A contribuição de cada candidato a centro aos desempenhos das redes em que ele participa é mensurada mediante o valor de Shapley, que é um dos conceitos de solução mais investigados na TJC, dadas as propriedades teóricas relevantes que ele apresenta. Dois algoritmos são propostos com base no valor de Shapley para ranquear os centros, sendo que a seleção da ordem do modelo final de rede RBF é feita com base nesse ranqueamento e adota o critério de informação de Akaike. Enquanto o primeiro algoritmo de ranqueamento avalia a qualidade dos centros em uma única iteração, o segundo algoritmo é de natureza construtiva, sendo que o centro recrutado na iteração k influencia nas avaliações dos demais neurônios nas próximas iterações. No estudo experimental realizado, o desempenho da nova abordagem foi avaliado com base em quatro problemas de regressão bem conhecidos, comparando-se a qualidade preditiva das redes RBF produzidas pelos dois algoritmos propostos com aquela gerada pela redes produzidas pelos algoritmos OLS, FRA e TSS. Os resultados obtidos mostram que a abordagem baseada na TJC é eficaz, considerando particularmente o algoritmo construtivo, que apresentou resultados competitivos aos algoritmos estado-da-arte. Por outro lado, os dois algoritmos propostos perdem no quesito eficiência, possuindo um custo computacional mais elevado. Palavras-chave: Redes Neurais RBF, Função de Base Radial, Seleção de Centros, Teoria dos Jogos Cooperativos, Valor de Shapley, Regressão.
Databáze: OpenAIRE
Externí odkaz: