Assessing the reliability of predictions of ensemble methods

Autor: ARHAR, ANŽE
Přispěvatelé: Bosnić, Zoran
Jazyk: slovinština
Rok vydání: 2023
Předmět:
Popis: V diplomski nalogi smo se ukvarjali s področjem izboljšanja točnosti napovedi. Izkoriščali smo pojav spreminjanja variance občutljivostnih napovedi ansambelskih metod ob dodajanju spremenjenih primerov v učno množico. Za vsak testni primer smo izdelali večje število ansamblov, ki pri gradnji modelov uporabljajo naključnost vzorčenja iz učne množice, kot sta metoda bagging in naključni gozdovi. Z dodajanjem spremenjenih testnih primerov smo pridobili občutljivostne napovedi za vsak ansambel. Na podlagi variance občutljivostnih napovedi smo iskali spremembo prvotne napovedi, ki povzroči najboljše ujemanje z ansamblom (varianca napovedi je najmanjša). Preizkusili smo več različnih ansambelskih metod in več metod iskanja minimuma variance napovedi. Eksperimentalno smo dokazali, da pri parametrih, ki smo jih izbrali za evalvacijo, ne obstaja statistična razlika med prvotnimi in popravljenimi napovedmi. S popravljenimi napovedmi nam je uspelo zmanjšati interval zaupanja napovedi za 13 %. In the diploma thesis, we dealt with the area of improving prediction accuracy. We took advantage of the phenomenon of changing variance of sensitivity predictions when adding modified examples to the training set of ensemble methods. For each test case, we created a larger number of ensembles that use random sampling from the training set, such as random forest and bagging methods to build models. By adding modified test cases we obtained sensitivity predictions for each ensemble. Based on the variance of the sensitivity predictions, we searched for a change to the original prediction that would result in the best match with the ensemble (the variance of the predictions would be the lowest). We tested several different ensemble methods and methods for finding the minimal prediction variance. We experimentally proved that no statistical difference exists between the original and corrected predictions for the parameters we chose for evaluation. We also managed to reduce the confidence interval of the prediction by 13 % with the revised predictions.
Databáze: OpenAIRE