ScenARy: Scene Awareness in HMD-assisted Multi-Machine Scenarios

Autor: Steiner, Andreas
Jazyk: angličtina
Rok vydání: 2023
Předmět:
DOI: 10.34726/hss.2023.99142
Popis: Der weltweite Wettbewerb in der Fertigungsindustrie zwingt heutzutage immer mehr Unternehmen dazu, moderne, innovative Technologien in ihre Fabriken zu implementieren. Technologien wie Augmentet Reality (AR) beispielsweise werden immer präsenter, weil sie die menschliche Arbeitskraft bei ihren täglichen Aufgaben unterstützen können. Da sich der Arbeitsablauf eines Mitarbeiters in den letzten Jahren in Richtung kürzerer Arbeitszyklen und flexibleren Tätigkeitsbereichen verändert hat, sind auch deren Leistungsanforderungen deutlich gestiegen. Mitarbeiter*innen sind nun für einen größeren Arbeitsbereich verantwortlich und gezwungen, zum Teil gleichzeitig, an mehreren Arbeitsplätzen tätig zu sein. Dieser sogenannte Mehrmaschinenbetrieb kann aufgrund der wechselnden Arbeitsumgebung mithilfe von AR noch nicht in idealer Weise unterstützt werden, da die derzeitigen Technologien noch nicht vollständig ausgereift sind. Eine bessere Unterstützung wäre dann gewährleistet, wenn automatisch erkannt würde, um welche Maschine es sich handelt. Eingesetzt in Mehrmaschinenbetrieben könnte AR in diesem Fall arbeitsplatzspezifische Anweisungen bereitstellen. Deep Learning (DL) ermöglicht dabei eine Kontextsensitivität – also ein automatisches Erkennen – für mit AR ausgestattete Geräte. Ein auf AR und DL basierendes Assistenzssystem wäre daher in der Lage, die menschliche Entscheidungsfindung und den Arbeitsalltag zu erleichtern. Diese Arbeit bietet einen ersten Entwurf am Weg zu einem vollständig entwickelten Assistenzsystem zur Entlastung von Mitarbeiter*innen in Mehrmaschinenbetrieben durch die Fähigkeit des Systems zur Kontextwahrnehmung. Die beiden Hauptbestandteile dieser Arbeit sind zum Einen die Erstellung eines neuen Datensatz mit der Bezeichnung „Assembly Factory Workplaces “ – bestehend aus 4695 Bilder, 6 Arbeitsplatzkategorien und 4 speziellen Kategorien für Übergänge – und zum Anderen die Entwicklung eines neuen neuronalen Netzwerkes, basierend auf einer modifizierten ResNet-50 Architektur, welches zunächst auf den Places365 Datensatz vortrainiert und schließlich mit dem selbstentwickelten Datensatz abgestimmt wurde. Dieses final trainierte neuronale Netzwerk weist eine Validität von 77% in Bezug auf den selbst erstellten Datensatz auf. Der im Zuge dieser Arbeit in der TU-Wien Pilot-Fabrik durchgeführte Testlauf konnte zeigen, dass es möglich ist, ein neuronales Netzwerk auf einem HMD-Gerät, beispielsweise der Microsoft HoloLens 1, zu installieren, um dadurch kontextsensible AR-Geräte zu schaffen. Des Weiteren konnte im Zuge des Testlaufes gezeigt werden, dass die Klassifizierung der Haupt- und Spezialkategorien unter Testbedingungen sowohl genau als auch ausreichend schnell funktioniert. Auf dem Konzept dieser Arbeit könnte in Zukunft aufgebaut werden, indem der erstellte Datensatz vergrößert, das System auf anderen Augmentet-Reality Headsets oder Smartglasses eingesetzt wird oder neue neuronale Netzwerkstrukturen ausprobiert werden.
Global competition within the manufacturing sector nowadays is forcing more and more companies to implement modern, innovative technologies into their factories. Technologies such as Augmentet Reality (AR), are becoming more and more present since they can support human workers in their daily tasks. As an employee’s workflow has changed in recent years towards shorter work cycles and more flexible job roles, their performance requirements have also increased significantly. Employees are now responsible for a larger work area and forced to work at several workstations, sometimes simultaneously. Due to the changing work environment, this so-called multi-machine operation cannot yet be accomplished in an ideal way with the help of AR, as the current technologies are limited to a single workstation. Better support would be ensured if it was possible to automatically recognize which machine is in usage. Used in multi-machine operations, in this case AR could provide workstation-specific instructions. Furthermore, Deep Learning (DL) enables context sensitivity - automated recognition - for AR-equipped devices. An assistance system based on AR and DL would therefore be able to support human decision-making in everyday work. This thesis is a proof of concept on the way to a fully developed assistance system to ease the workload of employees in multimachine operations by giving the system the ability of context-awareness. The main contributions of this thesis are twofold - the creation of a new dataset called “Assembly Factory Workplaces”, consisting of 4695 images, 6 workplace categories and 4 special categories for transitions – and the development of a new neural network, based on a modified ResNet-50 architecture, which was first pre-trained on the Places365 dataset and finally tuned with the self-developed dataset. This neural network shows an overall validation accuracy of 77% on the Assembly Factory Workplaces dataset. The performed use case, conducted at the TU Wien pilot factory, demonstrates that it is possible to install a neural network on a head mounted display (HMD) device (i.e., Microsoft HoloLens 1 ) and enable context awareness for AR devices. Furthermore, the observations within the test run have shown that the classification of main and special categories works both accurately and sufficiently fast under test conditions. This thesis provides a proof of concept that can be extended in the future by increasing the Assembly Factory Workplaces dataset to be more diverse, deploying the system on other augmented reality headsets or smartglasses, or try other neural network architectures.
Databáze: OpenAIRE
Externí odkaz: