Semi-autonome Teleimpedanzregelung auf Basis visueller Erkennung von Objektgeometrie, -material und Umgebungsbezug
Georg Siegemund, Alejandro Díaz Rosales, Arne Glodde, Franz Dietrich, Luka Peternel
Technische Universität Delft (Cognitive Robotics); Technische Universität Berlin (Handhabungs- und Montagetechnik); CERN
IEEE-RAS 23rd International Conference on Humanoid Robots (Humanoids 2024) — IEEE · 2024

Überblick
Teleoperation erlaubt es einer Bedienperson, einen Roboter in komplexen oder unstrukturierten Umgebungen zu steuern. Sobald jedoch physischer Kontakt im Spiel ist, muss die Bedienperson nicht nur die Position vorgeben, sondern auch dafür sorgen, dass die mechanische Interaktion mit der Umgebung angemessen ist.
Diese Forschungsarbeit untersucht einen Shared-Control-Ansatz, bei dem die Bedienperson weiterhin für die Bewegung verantwortlich bleibt, während der Roboter seine Impedanz vor und während der Interaktion autonom anpasst.
Auf einen Blick
Roboterbewegung und Interaktionssteifigkeit gleichzeitig zu steuern erhöht die Arbeitslast der Bedienperson und kann riskant werden, wenn die Eigenschaften der entfernten Umgebung unbekannt sind.
Ein RGB-D-Vision-System erkennt Objektgeometrie, -material und den Bezug des Objekts zu seiner Umgebung. Diese Information wird in eine geeignete Robotersteifigkeit übersetzt, während die Bedienperson die Position des Endeffektors steuert.
Das System passte die Steifigkeit bei Verschraubungs- und Polieraufgaben erfolgreich an. Die Objekt- und Materialerkennung erreichte in den berichteten Experimenten eine Präzision von über 80 %.
Geteilte Steuerung für physische Interaktion
Die Verantwortung ist aufgeteilt: Die Bedienperson steuert die gewünschte Roboterposition, während das autonome System abschätzt, wie steif der Roboter bei der Interaktion mit dem erkannten Objekt sein sollte.
Diese Aufteilung reduziert die Anzahl der Variablen, die die Bedienperson bei einer physischen Interaktionsaufgabe aktiv steuern muss.
Das Objekt vor dem Kontakt verstehen
Die passende Steifigkeit hängt nicht allein vom Material ab: Eine dünne oder unzureichend abgestützte Metallplatte kann eine schonendere Interaktion erfordern als ein dickeres oder besser gestütztes Bauteil aus einem anderen Material.
Die Methode berücksichtigt daher Objektidentität, Material, Geometrie, den Bezug des Objekts zu seiner Umgebungsstützung sowie die aktuelle Interaktionsposition.
Visionsbasierte Objekterkennung
RGB-D-Daten dienen der Objekt- und Materialerkennung, während eine Punktwolkenverarbeitung die Geometrie des Objekts sowie dessen Bezug zur umgebenden Umgebung extrahiert.
Geometriebewusste Steifigkeit
Die erkannten Stützbedingungen werden genutzt, um zu bestimmen, wo ein Objekt mechanisch stärker oder schwächer ist.
Die autonome Regelung kann die Steifigkeit dadurch in mechanisch empfindlichen Bereichen reduzieren, während sie dort höher bleibt, wo das Objekt eine stärkere Interaktion sicher toleriert.
Experimentelle Validierung
Der zentrale Versuchsaufbau kombinierte einen KUKA-LBR-iiwa-Roboter, ein haptisches Force-Dimension-Sigma.7-Gerät und eine Intel-RealSense-D455-RGB-D-Kamera. Untersucht wurden zwei praxisnahe Aufgabentypen: das Eindrehen von Schrauben auf einer Platte und das Polieren einer Fläche.
Die Experimente zeigten eine reibungslose Steifigkeitsanpassung, während die Bedienperson die Kontrolle über die Endeffektorposition behielt. In einem Vergleich an einem unabgestützten Bereich einer Metallplatte reduzierte die geometriebewusste Methode die Durchbiegung am freien Ende von 6,12 mm auf 2,20 mm gegenüber einer rein materialbasierten Steifigkeitsstrategie.
Warum das relevant ist
Semi-autonome Impedanzanpassung kann die Arbeitslast der Bedienperson verringern und die physische Interaktion mit entfernten Umgebungen verbessern — insbesondere, wenn die Bedienperson nur unvollständige Informationen über Objektgeometrie oder mechanische Stützung hat.
Wesentliche Punkte
- Die Bedienperson gibt nur die Endeffektorposition vor; der Roboter stellt seine Steifigkeit selbstständig anhand von erkannter Objektgeometrie, Material und Auflagesituation ein.
- Die Schätzung erfolgt vor dem Kontakt, der Roboter handelt also vorausschauend, statt nach der Berührung auf Kräfte zu reagieren.
- Die Objekt- und Materialerkennung erreichte in allen durchgeführten Experimenten eine Präzision von über 80 %.
- Am nicht abgestützten Ende einer Metallplatte verbog die geometriebewusste Methode die Platte um 2,20 mm statt um 6,12 mm bei einer rein materialbasierten Methode.
Methodik
- Aufbau: Ein Force-Dimension-Sigma.7-Haptikgerät steuert einen KUKA LBR iiwa, und eine Intel-RealSense-D455-RGB-D-Kamera nahe am Endeffektor erfasst die Szene aus verschiedenen Perspektiven. Eine Arbeitsraum-Reindizierung gleicht den kleineren Arbeitsraum des Haptikgeräts aus.
- Objekterkennung: ein YOLOv8-Modell, trainiert mit selbst aufgenommenen, annotierten Bildern (80 % Training, 10 % Test, 10 % Validierung) unter verschiedenen Lichtbedingungen.
- Materialerkennung: ein Vision Transformer, trainiert mit Ausschnitten aus der Materials-in-Context-Datenbank (135.000 Holz- und 150.000 Metallausschnitte von 40 × 40 px). Das erkannte Material liefert einen Elastizitätsmodul; zusammen mit einer in Vorversuchen bestimmten Durchbiegungsgrenze legt er die minimal und maximal zulässige Steifigkeit fest.
- Geometrieerkennung: Das RGB-D-Bild wird zu einer Punktwolke, die nach Abstand gefiltert, mit DBSCAN geclustert, entrauscht und mit RANSAC segmentiert wird, um Position, Breite, Länge und Höhe zu bestimmen. Die Auflagesituation wird visuell als Kante zwischen Objekt und Umgebung erkannt.
- Impedanzschätzung: Die Steifigkeit ändert sich linear mit dem Abstand vom schwächsten Punkt. Bei beidseitiger Auflage ist sie in der Mitte am niedrigsten und steigt zu den Auflagen hin; bei einseitiger Auflage ist sie am freien Ende am niedrigsten.
- Impedanzvorgabe: Eine Integrationsfunktion erster Ordnung glättet Steifigkeitsänderungen, damit die Bedienperson nicht gestört wird. Die Dämpfung folgt der aktuellen Steifigkeit mit einem Dämpfungsgrad von 0,7, und die Steifigkeitsmatrix wird in das Roboterbasiskoordinatensystem gedreht.
- Aufgaben: Einpressen von Schrauben in eine 500 × 300 mm große, an den beiden kürzeren Seiten aufgelegte Platte aus Holz und aus Metall sowie das Polieren eines einseitig eingespannten Streifens von 200 × 50 mm. Die Steifigkeitsgrenzen wurden bestimmt, indem die Steifigkeit erhöht wurde, bis eine maximal zulässige Durchbiegung überschritten wurde, und gesenkt wurde, bis die Aufgabe nicht mehr ausführbar war.
Ergebnisse
- Schraubenaufgabe: Die Steifigkeit in z-Richtung fiel nahezu auf das Minimum, wenn die Bedienperson sich der Plattenmitte als schwächstem Punkt näherte, und stieg zu Schrauben näher an den Auflagen hin an. Für die Metallplatte wurde eine höhere Steifigkeit vorgegeben als für die Holzplatte.
- Polieren: Für den Metallstreifen wurde die maximale Steifigkeit auf 700 N/m (Holz: 500 N/m) und die minimale auf 150 N/m gesetzt. Die z-Steifigkeit war am freien Ende am niedrigsten und stieg zur Einspannung hin; die x- und y-Achse passten sich an, wenn die Bedienperson die Polierrichtung wechselte.
- Vergleich mit einer rein materialbasierten Methode an einer Metallplatte von 200 × 50 × 5 mm: Eine rein materialbasierte Methode würde einheitlich 425 N/m vorgeben, den Mittelwert der geometriebewussten Grenzen. Bei einer Sollposition 20 mm unter der Platte betrug die Kraft mit dieser Methode an beiden Punkten 85 N, mit der geometriebewussten Methode am freien Ende 30 N und in der Mitte 73 N.
- Resultierende Durchbiegung: am nicht abgestützten Ende 6,12 mm bei der rein materialbasierten Methode gegenüber 2,20 mm bei der geometriebewussten Methode. In der Mitte waren beide ähnlich (0,67 mm gegenüber 0,78 mm).
- Die Objekt- und Materialerkennung erreichte in allen Experimenten eine Präzision von über 80 %, und die Steifigkeitsübergänge waren sanft genug, um die Bewegungssteuerung der Bedienperson nicht zu stören.
Abbildungen


Einschränkungen
- Die Materialerkennung wurde nur mit zwei Materialien trainiert, Holz und Metall. Bei Objekten aus mehreren Materialien oder lackierten und beschichteten Oberflächen kann sie Schwierigkeiten haben.
- Es wird angenommen, dass sich die Steifigkeit linear mit dem Abstand vom schwächsten Punkt ändert und die Materialsteifigkeit gleichmäßig ist.
- Die Experimente sind Proof-of-Concept-Versuche an Platten und Streifen mit einem einzigen Roboteraufbau.
- Die Methode ist bewusst rechenarm für den Echtzeitbetrieb ausgelegt; eine genauere Schätzung ginge auf Kosten der Echtzeitfähigkeit. Nichtlineare Impedanzschätzung und die Kombination mit Imitationslernen werden als künftige Arbeit genannt.
Zitation
Siegemund, G., Díaz Rosales, A., Glodde, A., Dietrich, F., & Peternel, L. (2024). Semi-autonomous Teleimpedance Based on Visual Detection of Object Geometry and Material and its Relation to Environment. 2024 IEEE-RAS 23rd International Conference on Humanoid Robots (Humanoids), pp. 779–786. IEEE.
Interesse an einer Forschungskooperation?
Kontaktieren Sie uns, um gemeinsame Forschung, Datenerhebung oder die angewandte Bewertung neuer Methoden zu besprechen.