| Popis: |
Learning complex manipulation skills with robotic arms is a challenging problem in Reinforcement Learning. Training policies from scratch is often timeconsuming and normally infeasible when using real robots. Existing techniques solve this issue by leveraging human priors in the form of shaped rewards or demonstrations, but most ignore the potential of using other robots as demonstrators. In this work, we attempt to transfer complex manipulation skills between robots with different morphologies, so that knowledge that has already been acquired can be leveraged to achieve new tasks. We use a recently proposed method to learn a shared feature space between states of the different robots, and then exploit this representation to transfer skills. For this purpose, we introduce a new technique we call Translated Behavior Cloning, which combines Transfer Learning methods with model-free RL. The results show that transferring manipulation skills between a single arm manipulator and a dual-arm robot, despite the large differences between them, is indeed possible, although further research is needed to make the training process more data efficient for real systems. Att lära komplexa manipuleringsfärdigheter för robotarmar är ett utmanande problem inom Reinforcement Learning. Att träna en policy från grunden på en riktig robot är ofta tidskrävande och vanligtvis orimligt. Existerande tekniker löser detta genom mänskliga förkunskaper som utformade belöningar eller demonstrationer, men de flesta ignorerar potentialen i att använda andra robotar som demonstratörer. I detta arbete försöker vi överföra komplexa fingerfärdighetsförmågor mellan robotar med olika morfologier, så att kunskapen som redan har förskaffats kan användas för att uppnå nya uppgifter. Vi använder en nyligen föreslagen metod för att lära en delad attributrymd (feature space) mellan tillstånd av de olika robotarna, och utnyttjar denna representation för att överföra förmågor. För detta syfte introducerar vi en ny teknik som vi kallar Translated Behavior Cloning, som kombinerar lärandeöverföring (transfer learning) med model-free Reinforcement Learning. Resultaten visar att överföring av manipuleringsförmågor mellan en enarmad och tvåarmad robot, trots stora skillnader mellan dem, är möjlig även om ytterligare forskning behövs för att göra träningsprocessen mer data-effektiv för verkliga system. |
