KI basierter digitaler Zwilling (KIDZ)

Projekt-Highlights

In Bezug auf die grundlegende Zielsetzung des Projekts, einen KI-basierten und selbstlernenden digitalen Zwilling für Produktionsanlagen zu konzipieren und zu erproben, ist festzuhalten, dass mit Verfahren des maschinellen Lernens in allen drei Anwendungsszenarien das Systemverhalten bzw. Fehlerfälle hinreichend präzise vorhergesagt werden konnten, was das Potential von KI in der Produktion allgemein und im Bereich Predictive Maintenance im Speziellen unterstreicht. Gleichzeitig ist jeder Anwendungsfall jedoch speziell und weder die konkrete Vorgehensweise noch die Erkenntnisse lassen sich direkt verallgemeinern. Eine weitere Herausforderung liegt aktuell noch in der Verfügbarkeit der Daten. Nicht alle und insb. ältere Maschinen sind mit Sensoren ausgestattet und protokollieren alle notwendigen Daten für einen umfassenden Einsatz von Methoden der KI.

Ein besonderes Forschungsergebnis ist die in den drei Anwendungsszenarien erprobte Methodik zur durchgängigen, semantisch reichhaltigen und konsistenten Modellierung vom Produkt bis zur Montageanlage, als Basis für tiefgreifende Machine-Learning-Anwendungen. Die innovative Methode ermöglicht die nahtlose Transformation zwischen Domänen, etwa von der Prozessplanung zur Verhaltensbeschreibung, und schafft damit die Basis für leistungsfähige ML-Verfahren. Im Unterschied zum aktuellen Stand der Technik integriert sie alle relevanten Informationen und sorgt dafür, dass jede Entscheidung transparent und nachvollziehbar bleibt. Ingenieurswissen wird so vollständig und erklärbar abgebildet.

Als zweites wichtiges Forschungsergebnis ist der dynamische XAI-Agent zur natürlichsprachlichen Erklärung von KI-Modellen hervorzuheben. Anstelle eines statischen Ansatzes für den Zugriff auf den zentralen Knowledge Graph ist es gelungen, einen dynamischen Ansatz zur Extraktion relevanter Informationen umzusetzen. Dem Large Language Modell (LLM) werden zunächst sowohl die Datenstrukturen im Knowledge Graph als auch die Syntax für den Zugriff auf diese Daten beigebracht. Anschließend wird das LLM aufgefordert, selbständig und sukzessiv relevante Information zu extrahieren. Dieser Ansatz unterstreicht eindrucksvoll die Leistungsfähigkeit und Flexibilität von LLMs und KI-Agenten zur selbständigen Durchführung von Aufgabenstellungen.

Ein drittes wichtiges Forschungsergebnis ist die erfolgreiche Implementierung der vollständigen Pipeline zur Generierung synthetischer Bilddaten als Basis für die Objekt/Anomalie-Erkennung. Diese Pipeline kann mittels CycleGANS fotorealistische Bilddaten erzeugen und dabei domänenspezifische Bildeigenschaften von mit einer Kamera aufgenommenen Bildern in synthetisch generierte Blender-Bilder übertragen. Die Pipeline wurde erprobt in dem Anwendungsszenario Fertigungszelle mit Roboterarm zur Identifikation von Bauteilen sowie im Anwendungsszenario FESTO-Produktionsanalage zur Erkennung von Bauteilanomalien. Das zweite Anwendungsszenario unterstreicht die Leistungsfähigkeit der Objekt/Anomalie-Erkennung mittels Bilddaten durch die Möglichkeit der flexiblen und nachträglichen Ausrüstung von Produktionsanlagen mit optischen Sensoren (d.h. Kameras).

Projektergebnisse

Zentrales Ergebnis des Projekts ist ein innovatives Framework zur Umsetzung eines solchen KI-basierten, digitalen Zwillings mit den Kernkomponenten eines ausdruckstarken Modellierungsansatzes, einer zentralen Wissensbasis, sowie einer KI-basierten Simulationsarchitektur zur Erklärung des Systemverhaltens. Abb. 1 zeigt die im Rahmen des Projekts umgesetzte technische Gesamtarchitektur. Das semantisch reichhaltige Modell als zentrales Element der Architektur wird technisch umgesetzt als Knowledge Graph (KG), persistiert in der graph-basierten Datenbank GraphDB. Das Produkt- und Produktionsdesign erfolgt mittels des Design Cockpit 43® (Zech et al. 2018). Die Produkt- und Produktionsmodelle sowie die Simulations- und Verhaltensmodelle werden in den OWL-Strukturen des GraphDB-basierten KG abgelegt. Die Ausführungs- und Leistungsdaten, generiert aus konkreten Produktionsläufen, werden in den durch obige Modelle definierten Strukturen im Knowledge Graph abgelegt. Diese Ausführungs- und Leistungsdaten, aber auch die semantisch reichhaltigen Produkt- und Produktionsmodelle, dienen als Input für das automatische Erlernen des Systemverhaltens mittels Verfahren des maschinellen Lernens (ML). Die gewonnenen Erkenntnisse, d.h. konkret die ML-Modelle und Erklärungen, werden wiederum im KG abgelegt im Sinne einer sukzessiven Anreicherung der Wissensbasis. Alle relevanten Aspekte der Produkt- und Produktionsmodelle sowie auch die ML-Modelle und Erklärungen werden schließlich der Co-Simulation übergeben.
 

Im Rahmen des Projekts wurden drei Vertiefungsaspekte wissenschaftlich behandelt: die Modellierungsmethodik und Entwurfsarchitektur, ein XAI-Agent zur Erklärung von KI-Modellen, sowie die Generierung synthetischer Bilddaten für die Anomalie-Erkennung. Diese Ansätze und deren Ergebnisse werden im Folgenden genauer betrachtet.

Im Bereich der Modellierungsmethodik und Entwurfsarchitektur wurde eine Entwurfsarchitektur entwickelt, welche eine semantisch reichhaltige, konsistente und maschinell ausführbare Modellierung von Montagesystemen und Anlagen ermöglicht. Die Realisierung erfolgt durch eine systemische Anreicherung und Transformation des Knowledge Graphen. Ein regelbasierter Ansatz ermöglicht die Nachvollziehbarkeit kausaler Ketten. Zudem werden alle relevanten Informationen im zentralen Datenmodell, dem sogenannten Knowledge Graph, gespeichert. Dieser bildet die Grundlage für weitere KI-Verfahren, die in den anderen Komponenten zum Einsatz kommen. 

Im Rahmen der Forschung wurde eine Architektur und Methodik entwickelt, die es ermöglicht, einen Anlagenentwurf automatisiert zu generieren und zu entwerfen. Dieser Ansatz umfasst die Prozessplanung, die Taktzeitabschätzung, das 2D Layout, das 3D Package der Montageanlage inklusive CAD-Geometrie, die Verhaltensbeschreibung der Montageanlage und die virtuelle Inbetriebnahme.

Die vorliegende Herausforderung bestand darin, die unterschiedlichen Domänen miteinander zu verknüpfen und kausale Ketten zu identifizieren und abzubilden. Die vorliegende Montageplanung ist als ein Multidomänenproblem zu betrachten, das mit unterschiedlichen Anforderungen und Konventionen einhergeht. Der Ausgangspunkt ist das fertige Produkt aus der Produktentwicklung. Von zentraler Relevanz ist in diesem Zusammenhang die Modellierung der Datenstruktur. Aufbauend auf den Produktmodellen erfolgt die Transformation in ein montagefähiges Modell. Die Modellierung kann dabei je nach Komplexität der Problemstellung einfach oder komplex ausfallen. Für diesen Zweck wurde eine angepasste Breitensuche verwendet, die das Erkennen und Zusammenfassen von ähnlichen Vorgängen gewährleistet. In der Folge bestand die Herausforderung darin, die Ableitung der Montageprozesse auf Grundlage des Produkts und dessen Fügeinformationen zu ermöglichen und daraus eine Abschätzung der Taktzeit zu generieren. Für diesen Zweck wurden mehrere Heuristiken konzipiert, welche die Methode unabhängig von firmenspezifischen Erfahrungswerten machen. Diese Abschätzung bildet auch die Basis für eine Verhaltensmodellierung und kann für die Optimierung der Anlage verwendet werden. Abbildung 2 zeigt eine Zusammenfassung der erarbeiteten Ergebnisse; alle Informationen im Knowledge Graph stehen strukturiert für KI Analyse und Synthese zur Verfügung.
 

In der aktuellen Zeit ist die Relevanz dieser Arbeit besonders hoch, da sie eine bedeutende Verbindung zwischen den Ingenieurswissenschaften und dem zunehmend essenziellen Gebiet der maschinellen Lernverfahren (ML) herstellt. Der hier beschriebene regelbasierte Ansatz und das daraus resultierende zentrale Datenmodell bilden die Grundlage für weitere Machine-Learning-Anwendungen. Dies ist darauf zurückzuführen, dass alle Informationen der Anlage in einem semantisch reichhaltigen zentralen Datenmodell vorliegen und somit alle relevanten Informationen über die Anlage sowie alle kausalen Zusammenhänge enthalten sind. Die KI verfügt somit über das gesamte ingenieurwissenschaftliche Wissen der Anlage und ist in der Lage, qualitativ hochwertige und nachvollziehbare Aussagen zu treffen, wie die weiteren Vertiefungsansätze aufzeigen.

Der Vertiefungsaspekt XAI-Agent zur Erklärung von KI-Modellen befasste sich mit dem Einsatz von Verfahren des maschinellen Lernens (ML) und eXplainable AI (XAI) zur Erklärung des Systemverhaltens und insb. einem RAG-basierten KI-Agenten zur Generierung natürlichsprachlicher Erklärungen. Als Grundlage hierfür wurde zunächst eine spezifische Ontologie entwickelt, die eine Ablage der ML- und XAI-Modelle im zentralen Knowledge Graph ermöglicht. Die Ergebnisse unterschiedlicher ML-Verfahren, wie beispielsweise Entscheidungsbäume oder neuronale Netze, sowie von XAI-Verfahren, hier insb. SHAP-Werte, können so zentral abgelegt und weiteren Komponenten wie der Simulation oder dem KI-Agenten bereitgestellt werden. Mittels eines Large Language Modells (konkret ChatGPT) ermöglicht nun der KI-Agent die Generierung natürlichsprachlicher Erklärungen der KI-Modelle und der erkannten Zusammenhänge. Basierend auf dem Konzept des Retrieval Augmented Generation (RAG) wurde ein spezifischer Ansatz entwickelt, aus dem Knowledge Graph die zur Beantwortung einer konkreten Nutzerfrage notwendigen Informationen zu extrahieren. Im Sinne eines autonomen Agenten wurde diese Informationsextraktion ebenfalls mittels eines LLMs durchgeführt, d.h. das LLM wurde antrainiert, sukzessiv relevante Informationen aus dem Knowledge Graph zu beschaffen. Auf Basis eines literaturgestützten Fragebogens wurden schließlich die generierten Antworten auf faktische Korrektheit und Antwortqualität geprüft. Hierbei konnte nachgewiesen werden, dass alle Informationen (Fakten) korrekt aus dem Knowledge Graph extrahiert wurden und auch die Qualität der Antworten ein zufriedenstellendes Niveau erreichte. Abb. 3 zeigt exemplarisch die sukzessive Extraktion relevanter Informationen durch das LLM (d.h. ChatGPT). ChatGPT generiert Anfragen an einen Retriever, welcher die zur Anfrage passenden Informationen aus dem Knowledge Graph zurückliefert (linke Seite). Auf Basis der zurückgelieferten Informationen traversiert das LLM sukzessive durch den Knowledge Graph zur Extraktion aller relevanten Informationen (rechte Seite).
 

In der industriellen Automatisierung mittels Methoden der KI, und insb. im Bereich der bildbasierten Erkennung von Fehlerzuständen und Anomalien, stellt das Sammeln und Annotieren großer Mengen realer Bilddaten für das Training bildbasierter tiefer neuronaler Netze einen erheblichen Engpass dar, insbesondere in flexiblen Fertigungssystemen und der Einzelstückfertigung, wo die Komponentenvariation hoch ist. Im Vertiefungsaspekt Generierung synthetischer Bilddaten für die Anomalie-Erkennung wurde eine Pipeline zur Erzeugung fotorealistischer synthetischer Bilder bereitgestellt, um tiefer neuronaler Netze zur Anomalieerkennung und Qualitätsprüfung zu trainieren (Abb. 4). Die Domänenübertragungs-Pipeline nutzt Cycle-Consistent Adversarial Networks, um den gerenderten synthetischen Datensatz zu verbessern, indem Pixel-Level-Merkmale aus realen, mit einer Kamera aufgenommenen Bildern übertragen werden. Der Ansatz wird in zwei Fällen evaluiert: Domänenübertragung zwischen Bildern mit ähnlichen Objekten, um den bestehenden Datensatz zu erweitern, und zwischen Bildern mit unterschiedlichen Objekten, um Teilebilder noch vor der physischen Produktion synthetisch zu generieren. Im ersten Fall erreichte ein YOLOv7-Objekterkennungsmodell, das mit 400 von CycleGAN generierten Bildern trainiert wurde, eine mittlere Genauigkeit von 90,4 %, verglichen mit 98,3 % bei echten Daten. Im zweiten Fall stufte ein MobileNetV2-Klassifikator 67 % der generierten Bilder als echt ein, was auf einen guten Grad an Realismus hindeutet. Obwohl die synthetischen Bilder den realen Daten sehr nahe kommen, sind wesentliche Einschränkungen wie Überanpassung, Objekthalluzinationen und geometrische Verzerrungen häufig und unzureichende Beleuchtung und Tiefenwahrnehmung sind besonders ausgeprägt bei Domänenübertragungen mit unterschiedlichen Objekten. Die Anwendungsfälle mit dem Niryo-Roboter zur Objekterkennung und der FESTO-Maschine zur Anomalieerkennung zeigen, dass domänenübertragene synthetische Bilder eine vielversprechende Ergänzung zu realen Daten für automatisierte visuelle Inspektionsaufgaben in industriellen Umgebungen darstellen.
 

Die Validierung des vorgestellten Gesamt-Frameworks erfolgte durch eine prototypische Umsetzung für drei ausgewählte Anwendungsszenarien. Die FESTO-Produktionsanlage verfügt über 8 Module mit unterschiedlichen Produktionsschritten und jeweils einer Ansteuerung durch ein SPS-Modul. Auch wenn die FESTO-Anlage keine im Realeinsatz befindliche Produktionsanlage darstellt, so repräsentiert sie doch einen realitätsnahen Anwendungsfall für klassische Produktionsstraßen. Die gesamte Anlage wurde in Functional Mockup Units (FMUs) zerlegt, gemäß dem Prinzip der Co-Simulation, und für ausgewählte FMUs erfolgte eine Erprobung des Gesamtansatzes. Für eine Bauteilrutsche konnte exemplarisch gezeigt werden, dass mittels Verfahren der KI das Rutschverhalten unterschiedlicher Bauteil präzise vorhergesagt und mittels des XAI-Agenten erklärt werden kann. Als zweites Anwendungsszenario wurde ein klassischer Pick-and-Place Ablauf mittels einer Roboterarm-Fertigungszelle betrachtet. Hier konnte der Erfolg des Vorgangs in Abhängigkeit konkreter Eigenschaften der zu platzierenden Objekte vorhergesagt und erklärt werden. Die KI-basierte Adaptierung des Ablaufs zeigte die Möglichkeit eines direkten Rückflusses der KI-Ergebnisse in die reale Anlage zur Vermeidung von Fehlerfällen. Der dritte Anwendungsfall schließlich untersuchte die Anwendbarkeit des Frameworks auf den Fall synthetisch generierter Ausführungsdaten. Hier konnte gezeigt werden, dass der KI-basierte Zwilling im Rahmen der virtuellen Inbetriebnahme die zeitaufwendige Durchführung einer Vielzahl an Simulationsläufen ersetzen kann und darüber hinaus die Erklärung der Einflussfaktoren auf das Ergebnis ermöglicht. Abb. 5 zeigt beispielhaft für den Anwendungsfall FESTO-Produktionsanlage das Simulations-Cockpit mit dem KI-Agent zur natürlichsprachlichen Erklärung (links) sowie die graphische Simulation des betrachteten Moduls Bauteilrutsche (rechts).
 

Abschließend betrachtet, konnte das Projekt seine eingangs definierten Ziele erreichen. Aufgrund einer großen Zahl an Publikationen und Präsentationen auf Konferenzen und Workshops wurde eine sehr gute Sichtbarkeit der Projektergebnisse erreicht.

Videos zu den Showcases des KIDZ Projekt

Showcase FESTO Anlage: 
https://youtu.be/hvyCmsAGM5g

Showcase Mehrkörperkinematik:
https://youtu.be/-Zvb5nxKTMA

Showcase Roboterarm Niryo:
https://youtu.be/qZdB1M41n6Q

• Arff, B., Haasis, J., Thomas, J., Bonenberger, C., Höpken, W., Stetter, R. (2023). Analysis and Visualization of Production Bottlenecks as Part of a Digital Twin in Industrial IoT. Applied Sciences, 13, 3525.
  https://doi.org/10.3390/app13063525
   
• Grüble, T., Stetter, R., Schuchter, T., Till, M., Rudolph, S. (2023). Graph-based Design Languages for the Development of a Robotic Cell with Compliant Grippers. 56th International Symposium on Robotics (ISR Europe) | September 26-27.
  https://www.vde-verlag.de/proceedings-en/456140038.html
   
• Nandakumar, N., Eberhardt, J. (2023). Overview of Synthetic Data Generation for Computer Vision in Industry. 8th International Conference on Mechanical Engineering and Robotics Research (ICMERR). IEEE.
  https://doi.org/10.1109/ICMERR59784.2023.10380151
   
• Stetter, R. (2023). Resilient Design of Product Service Systems with Automated Guided Vehicles. Vehicles, 5(3):780-801.
  https://doi.org/10.3390/vehicles5030043
   
• Daniker, D., Michelberger, B. (2023). Unraveling Information Logistics: A Comprehensive Literature Survey. 8th International Conference on Information Systems Engineering (ICISE'23), ACM, pp. 157-164.
  https://doi.org/10.1145/3641032.3641052
   
• Saft, P., Pfeil, M., Stetter, R., Till, M., Rudolph, S. (2024). Integration of geometry modelling and behaviour simulation based on graph-based design languages and functional mockup units. Procedia CIRP 2024, 128, pp. 310-315.
  https://doi.org/10.1016/j.procir.2024.06.025
   
• Stetter, R.; Grüble, T.; Till, M.: Geometric and kinetic digital twin of a body-in-white assembly system for virtual commissioning, Procedia CIRP, 119, 2023, pp. 109-114.
  https://doi.org/10.1016/j.procir.2022.12.001
   
• Grüble, T., Stetter, R., Schuchter, T., Till, M., Rudolph, S. (2024). Combined Geometric and Kinetic Data Model in Model-Based Systems Engineering of Robotic Cells. Procedia CIRP 2024, 128, pp. 156-161.
  https://doi.org/10.1016/j.procir.2024.03.005
   
• Stetter, R., Pulm, U. (2024): Strategies and Methods for the Fault-Tolerant Function Development of Multi-Domain Systems. Applied Sciences, 14(24):11646.
  https://doi.org/10.3390/app142411646
   
• Stetter, R., Till, M. (2024). A Concept for an Integrated Framework for Abstract Physics Modelling (IF4APM). Procedia CIRP 2024 128, pp. 168-173.
  https://doi.org/10.1016/j.procir.2024.03.006
   
• Stetter, R. (2024): Innovative Vehicle Design Processes Based on the Integrated Framework for Abstract Physics Modeling (IF4APM). Vehicles, 6(3):1345-1363.
  https://doi.org/10.3390/vehicles6030064
   
• Pulm, U., Stetter, R. (2025): Function-oriented system design for resilience and sustainability. Proceedings of the Design Society 2025, 5:1923-1932.
  https://doi.org/10.1017/pds.2025.10206
   
• Höpken, W., Stetter, R., Pfeil, M., Bayer, T., Michelberger, B., Schuchter, T., Lohr, A. (2025): Digitaler Zwilling mittels semantischer Modellierung und KI. Industry 4.0 Science, 41. Jg., Nr. 2, S.30-36.
  https://doi.org/10.30844/I4SD.25.2.30
   
• Schuchter, T., Saft, P., Stetter, R., Pfeil, M., Höpken, W., Till, M., Rudolph, S. (2025): Application of artificial intelligence in model-based systems engineering of automated production systems. Procedia CIRP, 136, pp. 61-66, ISSN 2212-8271.
  https://doi.org/10.1016/j.procir.2025.08.013
   
• Schuchter, T., Till, M., Stetter, R., Rudolph, S. (2025): Digital Integrated Design and Assembly Planning Processes for Sports Vehicles Using the Example of a Skateboard. Vehicles, 7(1), 22.
  https://doi.org/10.3390/vehicles7010022
   
• Nandakumar, N., & Eberhardt, J. (2025). A Synthetic Image Generation Pipeline for Vision-Based AI in Industrial Applications. Applied Sciences, 15(23), 12600. 
  https://doi.org/10.3390/app152312600 
   
• Schuchter, T., Breckle, T., Till, M., Stetter, R., Rudolph, S., Derksen, P. (2025): Conception of an automated graph-based assembly system development process for a balancing scooter. Proceedings of the 10th Conference on Changeable, Agile, Reconfigurable, and Virtual Production (CARV), Siegen, Germany, 9-12 September, 2025.
   
• Nandakumar, N., Eberhardt, J. (eingereicht): A Synthetic Image Generation Pipeline for Vision-Based AI in Industrial Applications. Appl. Sci.
   

• Lohr, A., Michelberger, B., Bayer, T., Höpken, W. (in Arbeit): Explaining Knowledge Graphs with Large Language Models. BIS 2026.