Kalbinės bendravimo sąsajos InMoov robotui sukūrimas ir tyrimas
| Autor: | Saikevičius, Linas |
|---|---|
| Přispěvatelé: | Dervinis, Gintaras |
| Jazyk: | litevština |
| Rok vydání: | 2022 |
| Předmět: | |
| Popis: | Šis tyrimas skirtas sukurti pokalbių sistemą atvirojo kodo humanoidiniam robotui InMoov, paremtą šiai dienai laisvai ar dalinai laisvai prieinamomis technologijomis, kuri galėtų būti panaudota kaip mechanizmų ar įrenginių „smegenys“ bendravimui su žmonėmis natūralia kalba. Tyrimo tikslas sukurti interaktyvią, žmogaus bendravimą, imituojančią sistemą. Tokios sistemos panaudojimas gana platus, tiek kaip asistentas ar pagalbininkas, tiek sumažinti atskirtį vienišiems žmonėms. Darbe apžvelgiami populiariausi humanoidiniai robotai. Nagrinėjamas lietuvių šnekos atpažinimas naudojantis debesijos paslaugomis, lietuvių kalbos sintezavimas naudojant Raštija.lt Liepa TTS bei Mbrola variklį. GPT-3 modelių naudojimą bendraujant su pašnekovais lietuvių kalba. InMoov robotui sukurta pokalbių sistema paremta GPT-3 technologija leidžianti bendrauti generuojant artimą ar būdingą žmogaus pokalbį. Sistema realizuota Nvidia Jetson Xavier NX mini-kompiuteriui ir ištestuota bendravimui lietuvių bei anglų kalbomis, tekstiniu ir balsiniu režimais. Sukurtas modelis išbandytas ir su kitomis atviro kodo platformomis, tokiomis kaip Anki Cozmo. Sistemos kūrimui buvo panaudoti inovatyvūs, dar tik kuriami ar dalinai veikiantys įrankiai. This research is aimed at creating a conversation system for the open-source humanoid robot InMoov, based on today's freely or partially freely available technologies, which could be used as the "brain" of mechanisms or devices for communicating with people in natural language. The goal of the research is to create an interactive, human-like communication system. Such systems have a wide range of applications, both as an assistant or helper, and to reduce the isolation of lonely people. The most popular humanoid robots are reviewed. The Lithuanian speech recognition using cloud services, Lithuanian speech synthesis using Raštija.lt Liepa TTS and Mbrola engine are discussed. The use of GPT-3 models in communication with Lithuanian speakers. The conversation system for InMoov robot, based on GPT-3 technology, is presented which allows to communicate by generating similar or characteristic human conversation. The system is implemented on Nvidia Jetson Xavier NX mini-computer and tested in Lithuanian and English, text and voice modes. The created model is tested with other open-source platforms, such as Anki Cozmo. Innovative, still developing or partially functional tools were used for system creation. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|