Im Rahmen des Projekts XforgeBW haben das Fraunhofer IPA und Kinemic einen Software-Service entwickelt, der durch den Einsatz von KI und Signalverarbeitung Aktivitäten von Fachkräften in der Produktion erkennen und für die weitere Nutzung bereitstellen kann. Nach dem Erkennen sind die Aktivitäten einzelnen Prozessschritten zuordenbar. Daraus lassen sich Schlüsse beispielsweise über eine korrekte Aufgabenausführung, besonders zeitintensive Aktivitäten und Optimierungspotenziale ziehen.
Erfassen der Arbeitsabläufe
Bei der Entwicklung der Software waren einige Herausforderungen zu meistern. So muss die Aktivitätserkennung mit komplexen Umgebungen und mehreren Arbeitsabläufen zurechtkommen. Um eine möglichst robuste Erkennung zu gewährleisten, werden Daten aus unterschiedlichen Quellen wie Kameras und Bewegungssensoren fusioniert.
Dazu nehmen Kinemic Wearables, die ähnlich einer Smartwatch ohne Display gestaltet sind und an beiden Armen getragen werden, 50-mal pro Sekunde 6D-Beschleunigungsdaten auf. Eine Kamera mit Weitwinkelobjektiv wird wiederum so platziert, dass sie den gesamten Arbeitsplatz erfasst und ca. 30 Bilder pro Sekunde aufnimmt. Der beschriebene Aufbau erfasst die unterschiedlichen Arbeitsabläufe und schafft dadurch die Datengrundlage für das Training einer KI-basierten Aktivitätserkennung.
Für diese Datenakquise wurden spezielle Tools entwickelt, beispielsweise ein Aufnahmeprogramm, das die Synchronisierung der Wearable- und Kameradaten ermöglicht, sowie ein Annotationstool für Aktivitäten zum effizienten Hinzufügen von Anmerkungen zu den aufgenommenen Daten. Dieses Tool ist mit Hilfe von interaktivem, maschinellem Lernen (iML) erweiterbar. So können auch Fachkräfte ohne KI-Expertenwissen schnell Anmerkungen hinzufügen und die KI-Modelle der Aktivitätserkennung interaktiv verbessern. So lassen sich zudem bestehende Aktivitäten feinjustieren oder neue Aktivitäten und Ablaufe hinzufügen. Zum Beispiel könnte in einer neuen Produktrevision ein zusätzlicher Arbeitsschritt während der Montage, wie das Fügen mit Klebstoff zweier Teile, hinzukommen. Für diesen neuen Schritt ist es dann möglich, Referenzdaten (Kamera- und Wearable-Daten) aufzunehmen und der Nutzer weist diese der neuen Aktivität zu. Im Hintergrund wird dann ein angepasstes Modell trainiert und für die Anwendung eingesetzt.
Bewegungsdaten werden anonymisiert und gefiltert
Die KI-Architektur ist so gestaltet, dass zunächst aus den Kamerabildern die Gelenkposen der aufgenommenen Person geschätzt werden. Durch diese Posendaten werden die Haltung und Bewegung der Person deutlich und die Datenmenge wird signifikant reduziert. Dies erleichtert dem Aktivitätserkennungs-KI-Modell das Lernen aus den Daten, da unwichtige Daten bereits herausgefiltert sind. Diese gefilterten Daten werden dann mit den Bewegungsdaten der Wearables fusioniert, über einen längeren Zeitraum akkumuliert und für die Vorhersage der Aktivität genutzt. Ein Vorteil der Nutzung von Posendaten ist außerdem, dass diese anonym sind und keine personenbezogenen Daten beinhalten.
Sollen besonders komplexe Aktivitäten robust erkannt werden, können manchmal auch Bilddaten oder -merkmale relevant sein, beispielsweise wenn sich viele Aktivitäten ähneln, aber mehrere unterschiedliche Werkzeuge eingesetzt werden, wie mehrere Varianten von Schraubendrehern. Um diese Bilddaten nutzen zu können, werden aufgenommene Personen direkt nach der Kameraaufnahme automatisch anonymisiert. Dazu kommt ein separates KI-Modul zum Einsatz, das entweder das Gesicht oder den gesamten Körper erkennt und anonymisiert bzw. unkenntlich macht. Dieses Modul ist auch unabhängig von der Aktivitätserkennung zum Beispiel für Videos einsetzbar. Hierbei können auch KI-Modelle genutzt werden, die eine nichtexistierende, generierte, photorealistische Person anstatt der ursprünglichen Person in das jeweilige Bild einbetten. So entfällt das Unkenntlich-Machen und die Daten lassen sich nach der Anonymisierung auch für zukünftige KI-Trainings anderer Anwendungsfälle verwenden.
Weiterhin ist es möglich, die gesamte Aktivitätserkennungs-Pipeline inklusive Anonymisierung auf lokalen Edge-Devices live auszuführen mit einer Leistungsaufnahme von weniger als 50W. Nicht zuletzt lässt sich die Software in eine serviceorientierte Prozesslandschaft integrieren. Das bedeutet, dass sie Teil eines Messaging- oder Eventsystems sein kann. Im Projekt wurde sie als eine von vier Komponenten in einen Demonstrator zur ‚Auftragsverfolgung as a Service‘ integriert.
Vier Angebote rund um XaaS
Unter dem Motto Hersteller werden zu Dienstleistern wurden in dem Forschungsprojekt Xforge BW Software-Tools entwickelt, die vier Angebote rund um Something as a service (XaaS) abbilden: Operations as a Service, Process as a Service, Sub-Process as a Service und Tasks as a Service. Dabei ging es darum zu erarbeiten, wie XaaS-Dienste für die produzierende Industrie geschäftsmodellseitig, technisch und prozessual gestaltet sein müssen, damit sie Unternehmen zu mehr Wettbewerbsfähigkeit verhelfen. Im Fokus standen neben fertigenden Unternehmen allgemein insbesondere die Metall- und Holzverarbeitung.
Ganz unabhängig vom Projekt kann die Aktivitätserkennung für bestehende Produktionssysteme eingesetzt und angepasst werden, um beispielsweise in der Montage typische Aktivitäten zu erkennen und zu monitoren. Basierend darauf können Prozessabläufe verbessert und Probleme identifiziert werden. Das Entwicklerteam bietet umfangreiche Beratungsdienstleistungen und Machbarkeitsanalysen an. Auch neue Ideen für den Software-Einsatz sind willkommen. Die bisherige prototypische Umsetzung konnte bereits vielversprechende Ergebnisse erzielen und in verschiedenen Produktionsszenarien getestet werden. Aktuell wird die Aktivitätserkennung außerdem im KMU-innovativ-Projekt Wispe weiter ausgebaut und für das Szenario der geführten Maschinenbedienung optimiert. Am Fraunhofer IPA in Stuttgart steht außerdem ein Demonstrator für Aktivitätserkennung, der im Rahmen von Führungen oder bei individuell vereinbarten Terminen besichtigt und getestet werden kann.
