Expanding Paintings Data for Object Classification via Style Transfer

Autor: Lindelöf, Anna
Jazyk: angličtina
Rok vydání: 2019
Předmět:
Druh dokumentu: Text
Popis: Advances within computer vision are being propelled forward by deep convolutional networks and large publicly available datasets. However, for the task of object classification, the accessible datasets usually consist of natural images. Thus, when training networks for classifying objects in paintings, in-domain data is usually limited and natural images are frequently used as a substitute. This often results in lower classification scores due to the domain shift between the training data and the target data domains. In this thesis, we investigated the potential of using the neural artistic style transfer algorithm to create synthetic paintings in order to increase the amount of training data. We collected a dataset of over 14,500 paintings for the purpose of the experiments. A pretrained convolutional neural network was used to extract features from the images. A simple classifier was then trained on a training set of paintings to which different percentages of synthetic images were added. For comparison, the same experiment wasrepeated when natural images were added.We found that adding either synthetic images or natural images to the training data can improve object classification in paintings. Although our results do not support a general preference for synthetic images over natural images, we show that under certain conditions, i.e. for certain classes, adding synthetic images to the training data generated the largest improvement to classification. Finally, we also discuss two main obstacles in using the artistic style transfer algorithm for synthesis of paintings. The first obstacle is the transfer of noise to the synthetic images. The second obstacle is the algorithm’s failure to address aspects of depiction such as the object’s size, the image’s composition, and the change in the object’s appearance over time. This was considered a relevant issue in this thesis as we found that the natural images and the paintings notably differed in these aspects of depiction and in their extracted high-level features.
Djupa faltningsnätverk och stora, offentligt tillgängliga dataset bidrar till stora framsteg inom datorseende. För klassificering av objekt består dom tillgängliga datamängderna oftast av fotografier. När man tränar nätverk för att klassificera objekt i målningar är tillgången till data från samma domän därför oftast begränsad och fotografier används vanligen istället. Detta resulterar dock ofta i ett lägre klassificeringsresultat på grund av domänskiftet mellan träningsdata och måldata.I detta examensarbete undersöker vi möjligheten att använda den neurala stilöverföringsalgoritmen för att skapa syntetiska målningar som kan användas för att öka mängden av träningsdata. Inför våra experiment sammanställde vi ett dataset av över 14 500 målningar. Särdragsrepresentationer extraherades från bilderna med hjälp av ett förtränat faltningsnätverk. En enkel klassificerare tränades sedan på en mängd träningsdata bestående av målningar, till vilket olika procent av syntetiska målningar adderades.Samma experiment upprepades när fotografier adderades.Vi fann att resultatet av klassificeringen kan förbättras genom att öka mängden träningsdata med hjälp av antingen syntetiska målningar eller fotografier. Vårt resultat styrker inte en generell preferens för syntetiska målningar över fotografier. Dock visar vi att under vissa förutsättningar, så som för vissa objektklasser, ger användandet av syntetiska målningar den största förbättringen i klassificering. Slutligen identifierar vi två huvudsakliga problemområden då den neurala stilöverföringsalgoritmen används för att skapa syntetiska målningar för ändamålet att öka mängden av träningsdata. Det första problemet är överföringen av brus till det syntetiska målningarna. Det andra problemet är att algoritmen endast överför målningens stil och därför ignorerar andra skillnader mellan fotografier och målningar i hur objekten skildras så som objektets storlek, bildens sammansättning och hur objektets utseende ändras över tid. Detta ansågs vara ett relevant problem då vi fann att fotografierna och målningarna skiljde sig åt i dessa avseenden samt i deras extraherade särdragsrepresentationer.
Databáze: Networked Digital Library of Theses & Dissertations
Externí odkaz: