Learning hard concepts through constructive induction: framework and rationale

Autor: Larry A. Rendell, Raj Seshu
Rok vydání: 1990
Předmět:
Zdroj: Computational Intelligence. 6:247-270
ISSN: 1467-8640
0824-7935
DOI: 10.1111/j.1467-8640.1990.tb00298.x
Popis: The intrinsic accuracy of an inductive problem is the accuracy achieved by exhaustive table look-up. Intrinsic accuracy is the upper bound for any inductive method. Hard concepts are concepts that have high intrinsic accuracy, but which cannot be learned effectively with traditional inductive methods. To learn hard concepts, we must use constructive induction - methods that create new features. We use measures of concept dispersion to explore (conceptually and empirically) the inherent weaknesses of traditional inductive approaches. These structural defects are buried in the design of the algorithms and prevent the learning of hard concepts. After studying some examples of successful and unsuccessful feature construction (“success” being defined here in terms of accuracy), we introduce a single measure of inductive difficulty that we call variation. We argue for a specific approach to constructive induction that reduces variation by incorporating various kinds of domain knowledge. All of these kinds of domain knowledge boil down to utility invariants, i.e., transformations that group together non-contiguous portions of feature space having similar class-membership values. Utility invariants manifest themselves in various ways: in some cases they exist in the user's stock of domain knowledge, in other cases they may be discovered via methods we describe. La precision intrinseque d'un probleme inductif est celle obtenue apres la consultation exhaustive de tables. Cette precision constitue la borne superieure de toute methode inductive. Les concepts difficiles sont ceux dotes d' une grande precision intrinseque, qui ne peuvent etre appris efficacement a l' aide des methodes inductives traditionnelles. Pour apprendre des concepts difficiles, nous devons utiliser les methodes d' induction constructive qui creent des traits distinctifs. Nous utilisons les mesures de dispersion des concepts pour explorer (de maniere conceptuelle et empirique) les faiblesses inherentes des methodes inductives traditionnelles. Ces defauts sont enfouis dans la conception des algorithmes et empěchent I'apprentissage des concepts difficiles. Apres l' etude de quelques exemples de construction de traits distinctifs reussie ou ratee (la reussite etant definie en termes de precision), les auteurs presentent une mesure simple de dif-ficulte inductive appelee variation. lis proposent une approche specifique a l'induction constructive qui limite la variation en integrant divers types de connaissances du domaine. Tous ces types de connaissances du domaine conduisent a des invariants utilitaires, c'est-a-dire des transformations qui regroupent des portions non contigues d'espace ayant des valeurs semblables. Les invariants se manifestent de diverses facons: dans certains cas, ils existent dans Ie stock de connaissances du domaine de Putilisateur, alors que dans d' autres cas, ils peuvent etre decouverts a l''aide des methodes decrites par les auteurs.
Databáze: OpenAIRE
Externí odkaz: