KLASIFIKACIJA OBJEKATA I ODREĐIVANJE KORESPONDENCIJA DIJELOVA UNUTAR KLASA OBJEKATA NA DUBINSKIM SLIKAMA U SVRHU ROBOTSKE MANIPULACIJE

Autor: Đurović, Petra
Přispěvatelé: Cupec, Robert
Jazyk: chorvatština
Rok vydání: 2020
Předmět:
Popis: Motivacija za istrazivanje predstavljeno u ovoj disertaciji jest razvoj inteligentnih robota koji djeluju u nestrukturiranim unutarnjim prostorima, poput kucanstava, bolnica ili skola. Pri tome, takvi roboti rukuju predmetima koje prethodno nisu vidjeli. Za takvo autonomno kretanje i manipulaciju, robotskom je sustavu potreban odgovarajuci percepcijski senzor. Uporaba RGB-D kamere u ulozi senzora pruza trodimenzionalnu informaciju o okolini robotskog manipulatora. Iz slike snimljene RGB-D kamerom mogu se dobiti informacije o obliku i velicini predmeta na sceni, korisne u algoritmima za prepoznavanje i klasikaciju prvi puta videnih predmeta, kao i u algoritmima semanticke segmentacije. Segmentacija objekta na semanticke dijelove korisna je za odredivanje dijela objekta koji je zbog svoje svrhe ili geometrijskih svojstava, prikladan za razlicite radne operacije. RGB-D kamera daje i informacije o polozaju predmeta i njegovih dijelova na sceni, koje se, zajedno s vizualnim obiljezjima robotske ruke, mogu upotrijebiti u vizualnom vodenju i planiranju radnih operacija. Cilj istrazivanja opisanog u ovoj disertaciji je razvoj metoda za klasikaciju objekata na sceni snimljenoj RGB-D kamerom, metode za semanticku segmentaciju objekata i metode vizualnog vodenja. Namjena ovih metoda je integracija u autonomni robotski sustav s rukom i kamerom koji prepoznaje i manipulira prvi puta videnim objektima. Istrazivanje opisano u ovoj disertaciji nastoji upotpuniti nedostatke postojecih metoda. Najcesci je nedostatak metoda klasikacije objekata sto ne estimiraju polozaj objekata potreban za primjene u robotskoj manipulaciji. Nadalje, problem segmentacije na dijelove i odredivanje korespondencija izmedu dijelova objekata iste klase u svrhu robotske manipulacije je relativno neistrazen, a izvodenje automatiziranih postupaka semantickog oznacavanja velikih skupova objekata zahtijeva ljudske i vremenske resurse. Naposljetku, nedostatak su i dugotrajne metode umjeravanja robotske ruke i kamere koje je tesko prilagoditi za automatizirani rad u stvarnom vremenu kao i nedovoljan broj prikladnih metoda za vizualno 107 Sazetak vodenje cjenovno dostupnih robota. Nabrojeni nedostatci dovode do potrebe za razvojem novih metoda. Tijekom istrazivanja razvijene su cetiri nove metode: 1. Metoda vizualnog vodenja za SCARA robote koji koriste dubinsku kameru u boji kao jedini senzor. Metoda koristi marker pricvrscen blizu alata robota, koji omogucuje odredivanje trenutne pozicije alata pomocu RGB-D kamere te informaciju o dominantnoj ravnini u radnom prostoru robota dobivenu iz RGB-D slike. Umjeravanje sustava robot-kamera se izvodi jednim pokretom robotske ruke. 2. Metoda klasikacije objekata na dubinskim slikama zasnovana na poravnanju konveksne ljuske. Za dani objekt prikazan na RGB-D slici, metoda odreduje najslicnijeg pripadnika odredene klase objekata. Metoda omogucuje odredivanje polozaja objekta na sceni u odnosu na referentni objekt dane klase. Ucenje se provodi na bazi 3D modela objekata razvrstanih u nekoliko klasa. 3. Metoda klasikacije objekata na dubinskim slikama zasnovana na poliedar- skim modelima klasa oblika. Za dani objekt, metoda odreduje parametre najslicnijeg pripadnika odredene klase oblika. Ucenje se provodi na bazi 3D modela objekata razvrstanih u nekoliko klasa. Metoda omogucuje odredivanje polozaja objekta te korespondencija izmedu dijelova povrsine objekata iste klase. 4. Metoda odredivanja korespondencija dijelova unutar klasa objekata zasnovana na poliedarskim modelima klasa oblika. Metoda pridruzuje segmentima razmatranih objekata semanticku oznaku na temelju malog broja anotiranih reprezentativnih objekata i omogucuje prosirenje baze objekata u stvarnom vremenu. Razvijena metoda vizualnog vodenja eksperimentalno je ispitana nizom pokusa navodenja robota iznad zeljene pozicije i hvatanjem jednostavnih predmeta. Uspjesnost metoda klasi- kacije objekata na dubinskim slikama i odredivanja dijelova na referentnim skupovima 3D objekata usporedene su s drugim referentnim metodama te je u disertaciji opisana analaiza rezultata usporedbe. Abstract Object classication and intra-class part correspondence determination in depth images for robot manipulation The motivation for the research presented in this dissertation is development of intelligent robots capable of operating in unstructured environment such as houses, hospitals and schools. Such robots are expected to manipulate with previously unseen objects. In order to facilitate autonomous locomotion and manipulation, a robot system requires an appropriate perception sensor. RGB-D camera as a sensor provides 3D information about the robot's environment. The information about the shape and size of objects on a scene, obtained by the RGB-D camera, is useful in object recognition and classication algorithms, as well as in algorithms for semantic segmentation. Segmentation of objects into semantic parts is required in order to identify the object parts, relevant for dierent robot operations. Furthermore, RGB-D cameras provide information about the object pose and the pose of its parts, which is, along with the robot arm visual features, utilized in visual servoing and robot operation planning. The goal of the research presented in this dissertation, was to develop methods for object classication in RGB-D scenes, semantic object segmentation and visual servoing. The purpose of these methods is integration in an autonomous robot system with an arm and a camera, capable of recognizing and manipulating with previously unseen objects. The research presented in this thesis attempts to overcome the existing methods limitations. A common drawback of the existing object classication methods is not estimating the object's pose required for application in robot manipulation. Furthermore, there is a relatively small number of research regarding semantic part segmentation and part correspondence determination for robot manipulation tasks, while the part annotation of large object datasets is labour-intensive. Finally, the lack of hand-eye calibration methods suitable for real time recalibration as well as visual servoing methods suitable for low cost robots 109 Abstract are common aws of the state-of-the-art approaches. The mentioned drawbacks encourage the development of novel approaches. During the research, four novel methods are developed: 1. A visual servoing method for SCARA robots using an RGB-D camera as the only sensor. This method utilizes a marker, placed at the robot end eector, which determines the current robot tool position, and dominant plane information obtained by the RGB-D camera. Hand-eye calibration is performed by a single robot arm movement. 2. A method for object classication in depth images based on convex hull alignment. For a given object in an RGB-D image, this method determines the most similar object belonging to a particular class. The method estimates the object position with respect to the referent object from the same class. The learning is based on a 3D model database, sorted into classes. 3. A method for object classication in depth images based on polyhedral shape class models. For a given object, this method determines the parameters of the most similar object belonging to the particular class. Analogously to the previous proposed object classication method, the learning is based on a 3D model database, sorted into classes. This method estimates the pose of the object and the correspondences between intra-class object surfaces. 4. A method for determination of part correspondences within object classes based on polyhedral shape class models. This method assigns the semantic labels to the considered objects' segments, based on a small number of annotated representative objects and enables real time database expansion. The developed visual servoing approach is experimentally tested by performing positioning and simple objects' grasping experiments. The accuracy of the proposed classication methods are experimentally evaluated and compered to several state-of-the-art approaches using a publicaly available benchmark dataset. The accuracy of the part association method is evaluated using a set of 3D object models of several classes.
Databáze: OpenAIRE
Externí odkaz: