Umsetzung einer VR-Applikation in Unity - Virtuelle Schreinerausbildung

Projektdurchführung

Lena Jäger
Forschungsgruppe Internet of Things (IoT), Institut für Digitalen Wandel (IDW)

Einführung

• In Zeiten der Covid-19 Pandemie wurde insbesondere im Bereich der Ausbildung das Lernen in Gruppen durch die Kontaktbeschränkungen maßgeblich eingeschränkt.
• In Zusammenarbeit mit dem Fachbereich Soziale Arbeit entstand die Idee, Ausbildungsinhalte aus dem Schreinerhandwerk mittels Virtual Reality zu digitalisieren.

Zielsetzung 

• Umsetzungsmöglichkeiten prüfen: In wiefern lassen sich Ausbildungsinhalte zielführend virtuell vermitteln?
• Erarbeitung virtueller Darstellung ausgewählter Ausbildungsinhalte:
  a.) Arbeitssicherheitsunterweisung
  b.) Basis-Theorie (Holzarten, Messtechniken, etc.)
  c.) Praktisches Üben (Virtuelles Sägen eines Bretts)
• Konkrete Umsetzung o.g. Ziele mittels Unity und C#

Methodik

Erarbeitung eines Konzepts für die Applikation

• Unity Szene in der der/die Spieler*in sich frei bewegen kann -> spielerisches Erkunden von Fachwissen
• Vermeidung von Motion-Sickness (Übelkeit beim Spiel) durch Integration von Bewegung durch Teleportation
• Entwicklung von drei Spielbereichen als Beispiele für die Möglichkeiten, Ausbildungsinhalte virtuell darzustellen:
  AREA 01: Sicherheit am Arbeitsplatz
  AREA 02: Basis Theorie Schreinerhandwerk
  AREA 03: Praktisches Arbeiten an der Werkbank

Erstellung und Beschaffung benötigter Assets

• Assets sind alle Objekte die benötigt werden, um die Realität bestmöglich virtuell darzustellen. Dazu gehören 3D Modelle sowie die Materialien und Texturen aus welchen die 3D Modelle bestehen. Aber auch Grafiken, Soundeffekte, Videos zählen zu den Assets in einem Unity Projekt.
• Für die Projektarbeit wurden zahlreiche 3D Modelle inkl. Texturierungen/Materialien selbst erstellt.
• Beschaffte Modelle bspw. Werkzeug/Werkbank wurden farblich/physikalisch so modifiziert, dass Interaktion möglich ist.

UI/UX-Design

• Der/die Spieler*in befindet sich zu Beginn im Innenhof des virtuellen LAB4DTE Gebäudes. Von dort kann er/sie sich frei in den Räumlichkeiten bewegen und viele Informationen an Infotafeln/Videoscreens sammeln.
• Über den linken Controller kann jederzeit ein Menü zum Beenden der Applikation geöffnet werden.

Ergebnis

Bereiche für Wissensvermittlung - von Arbeitssicherheit bis hin zur Praxis

    

 

Startposition: Innenhof des virtuellen LAB4DTE

User Interface für Menü und Info-Screens

 

Ausblick

Möglichkeiten zur Erweiterung der Applikation

• Integration von Partikel-Systemen bzw. speziellen Shadern zum Darstellen der Sägespähne/Staub
• Technische Zeichnungen als Vorlage für ein zu erstellendes Objekt, z.B. Regal
• In-Game Multiple Choice Fragebogen um z.B. abzufragen, ob Wissen nachhaltig vermittelt wurde.
• Mehrspieler-Modus: Auszubildende sammeln sich alle gleichzeitig in virtueller Lehrwerkstatt
• Barrierefreiheit: Sprachausgabe aller Texte sowie Untertitel bei Videosequenzen integrieren
• Haptisches Feedback für Arbeit mit unterschiedlichen Werkstücken bzw. Werkzeugen
   

Zusammenfassung

• Die Game-Engine Unity mit integrierter Physik-Engine ermöglicht es, Abläufe im Handwerk sehr realistisch virtuell darzustellen
• Größte Herausforderung: Beschaffung der 3D Modelle von Maschinen, Werkzeug inkl. Texturierung. CAD-Modelle gängiger Tools wie Kreissägen/Hobel etc. sind nicht frei zugänglich
• Folge: Schulung im Umgang mit komplexen Maschinen lässt sich nur mit viel Aufwand und Kosten darstellen