Im Zeitalter von Digitalisierung und Künstlicher Intelligenz nimmt die Gestaltung der Schnittstelle zwischen Mensch und Maschine eine Schlüsselrolle ein. Neuroadaptive Technologien versprechen große Potenziale sowohl für die Wissenschaft als auch für die Praxis. Im NeuroLab des Fraunhofer IAO arbeiten die Wissenschaftler*innen an der Schnittstelle zwischen kognitiver Neurowissenschaft, positiver Psychologie und künstlicher Intelligenz. Unser Ziel ist es, die zunehmende Intelligenz und den steigenden Grad an Autonomie technischer Systeme konsequent auf die Fähigkeiten und Bedürfnisse des Menschen auszurichten.
Die beispiellosen Fortschritte in der Künstlichen Intelligenz (KI) haben nicht nur neue Maßstäbe in der Sprachverarbeitung, Übersetzung und Bilderkennung gesetzt. Sie eröffnen einen völlig neuen Horizont für die Mensch-Maschine-Interaktion. Wir sehen eine zunehmend symbiotische Beziehung zwischen Mensch und Maschine, eine neue Phase der Interaktion zeichnet sich ab – symbiotische Intelligenz. Man stelle sich beispielsweise Kollaborative Roboter vor, die sensibel auf die Absichten, Emotionen und Aufmerksamkeitsstufen der Benutzenden reagieren. Oder intelligente Flugzeuge und Fahrzeuge, die den Automatisierungs- und Assistenzgrad dynamisch an die aktuelle Aufmerksamkeit, die kognitive Belastung oder den affektiven Zustand des Piloten oder der Fahrerin anpassen. Dadurch werden hochgradig personalisierte und kontextbewusste, adaptiver Assistenzsysteme zur Unterstützung der Nutzerinnen und Nutzer in unterschiedlichen Situationen möglich.
Brain-Computer Interfaces (BCI) verwandeln diese Fantasie in Realität, indem sie eine direkte Schnittstelle zwischen Mensch und Technik darstellen und Robotern die Möglichkeit bieten, aus menschlichem Feedback zu lernen. Welche Auswirkungen könnten BCI-Technologien haben, wenn sie das Training von Robotersystemen durch direktes menschliches Feedback beschleunigen? Könnten Sie sich vorstellen, wie diese Technologie in Ihrem Fachbereich eingesetzt wird, um Effizienz und Personalisierung von KI-Systemen zu verbessern?
Die technologische Brücke bauen – von der Theorie zur Praxis
Durch BCI-Technologien eröffnen sich faszinierende Perspektiven, die über die traditionelle Robotik hinausgehen. Ein Beispiel wäre die Steuerung von Smart-Home-Systemen, indem BCI-Befehle zur Interaktion verwendet werden, was die Zugänglichkeit und Benutzerfreundlichkeit erhöhen würden. Diese Entwicklungen versprechen, nicht nur die Effizienz, sondern auch die Intuition in die Robotik einzuführen, einem Bereich, der traditionell von strikten Programmiercodes und Algorithmen dominiert wird. Das Training durch Reinforcement Learning (RL) ist eine gängige Methode, wobei richtiges Verhalten belohnt und falsches bestraft wird. Dieses Verfahren ist jedoch daten- und kostenintensiv und erfolgt oft isoliert von menschlicher Interaktion. Dadurch fehlt es an direktem Feedback durch die Expertinnen und Experten im Lernprozess. Wenn doch Feedback eingeholt wird, dann geschieht dies umständlich über Sprach- oder Gesteninteraktion, was Trainingssituationen unnatürlich macht und regelmäßige Unterbrechungen im Ablauf erfordert. BCIs bieten eine Lösung, indem sie direktes Feedback vom menschlichen Gehirn erfassen, wodurch eine effizientere und intuitivere Trainingsmethode ermöglicht wird. Mit der Integration von BCI-Technologien stehen wir an der Schwelle zu revolutionären Interaktionsformen zwischen Mensch und Maschine, die das Potenzial haben, unsere Vorstellung von Kooperation und intelligentem Assistenzverhalten grundlegend zu verändern.
Der Schlüssel zum Erfolg – Lernen von menschlichem Feedback durch ein BCI
Wir haben einen neuen Ansatz entwickelt, indem Feedback für RL, implizit (automatisch) durch eine BCI-Technologie abgeleitet werden kann, d. h. ohne jeglichen Mehraufwand für den Menschen. Dazu nutzt man das sog. Fehlersignal im Gehirn: eine essenzielle Ableitung von Gehirnströmen, die u. a. beim Wahrnehmen von Fehlern auftritt. Das Signal kann verwendet werden, um autonomen KI-Systemen sofort mitzuteilen, ob sie richtig oder falsch gehandelt haben. Da Menschen dazu neigen, eine allgemeine Vorstellung davon zu haben, wie bestimmte Aufgaben ausgeführt werden sollten, und gut darin sind, Vorhersagen über zukünftige Konsequenzen von Aktionen zu antizipieren, bietet das implizite BCI-Feedback ein nützliches Signal zum Trainieren von RL-Agenten. Die implizite, beiläufige Erfassung der Hirnsignale hat den Vorteil, dass die Experten und Expertinnen nicht in ihrer Tätigkeit gestört werden und trotzdem Rückmeldung geben können. Eine geeignete Methode zur Messung des impliziten Feedbacks ist die Elektroenzephalographie (EEG). Die nachfolgende Abbildung zeigt exemplarisch den interaktiven BCI-basierten Ansatz für die Zusammenarbeit zwischen einem Menschen und einem autonom agierenden System (hier: Industrieroboter). In unserem neuesten Paper mit dem Titel »Combining brain-computer interfaces with deep reinforcement learning for robot training: a feasibility study in a simulation environment« (siehe Leselinks) erforschten wir diesen Ansatz in einer realistischen 3-D-Simulationsumgebung. Dazu verglichen wir in einer empirischen Studie den impliziten BCI-gesteuerten RL-Trainingsansatz mit explizitem menschlichem Feedback. Die Ergebnisse heben das Potenzial unseres Ansatzes hervor, das Erlernen komplexer Roboteraufgaben durch ein BCI zu beschleunigen.
Vereinfachter exemplarischer Ablauf des Lernens aus menschlichem Feedback durch ein EEG-basiertes BCI. Für interessierte Lesende sei auf unser aktuelles Paper verwiesen, welches den innovativen Ansatz im Detail darstellt. © Fraunhofer IAO
Ausblick: Wie BCI und Deep Reinforcement Learning die Robotik und weitere Branchen revolutionieren kann
Die Kombination von BCI- und KI-Technologien birgt das Versprechen einer nahtloseren, intuitiven und effizienteren Art des Robotiktrainings. Dies könnte nicht nur die Trainingszeiten verkürzen, sondern auch die Entwicklung adaptiver und empathischer Maschinen beschleunigen, die in komplexen, sich ständig ändernden Umgebungen arbeiten können. Der Ansatz adressiert effektiv zwei wichtige gesellschaftliche Herausforderungen: die Notwendigkeit menschenzentrierter Interaktion mit fortschrittlichen KI-Anwendungen und das Füllen der Lücke an skalierbaren, effektiven Interaktionsmethoden mit diesen Systemen.
Vorstellbar ist auch der Transfer in weiteren Domänen, wie der Integration von menschlichem Feedback in große Sprachmodelle (LLMs). Eine dringende Notwendigkeit für deren Akzeptanz besteht darin, die Ausrichtung auf menschliche Werte und Prinzipien sicherzustellen (sog. alignment problem). Da der Einsatz von LLMs im Alltag und in industriellen Anwendungen zunimmt, besteht die Herausforderung darin, Benutzenden Möglichkeiten zur Überwachung und Kontrolle der Genauigkeit solcher Systeme zur Verfügung zu stellen. Der implizite BCI-Ansatz ermöglicht eine präzisere Anpassung von LLMs an spezifische Aufgaben und Nutzerpräferenzen, indem er effizient individuelle Bedürfnisse und Werte berücksichtigen kann.
Aus meiner Sicht bietet sich das größte Potenzial in der Entwicklung der nächsten Generation von kognitiven Robotern, die den Menschen situationsadaptiert und individuell unterstützen, so wie ein menschlicher Assistent. Unser BCI-basierter Ansatz kann die Robotik revolutionieren mit dem Ziel »wirklich« rücksichtsvolle und einfach bedienbare Robotersysteme zu entwickeln, die eine schnellere und breitere gesellschaftliche Akzeptanz haben werden, um so dem fortschreitenden Fachkräftemangel und Demographie entgegenzuwirken. Ich bin davon überzeugt, dass durch das BCI wichtige Lernsignale für die Echtzeit-Anpassung und Personalisierung des Roboterverhaltens vermittelt werden können. Langfristig können annotierte Daten während der Interaktion effizient über das BCI gesammelt werden. Die nachträgliche, zeitaufwändige und komplexe manuelle Annotation würde damit eingespart werden. So lassen sich Belohnungsfunktionen in der Regel zunächst in der Simulation menschzentriert trainieren und danach auf reale Roboter übertragen. Dies ermöglicht einen effizienten Sim-to-Real-Transfer von Lernfunktionen, was die Interaktion verbessert und die Akzeptanz von kollaborativen Robotern fördert.
Die Vision einer Zukunft, in der Mensch und Roboter in einer symbiotischen Beziehung stehen, ist faszinierend was weitreichende Anwendungen findet. Es ist ein Schritt hin zu einer Zukunft, in der Technologie unsere menschlichen Fähigkeiten erweitert. Doch mit großem Potenzial kommt auch große Verantwortung. Es gilt, ethische Richtlinien zu entwickeln, und Standards für eine menschzentrierte Entwicklung sicherzustellen. Die Möglichkeiten sind so grenzenlos wie unsere Vorstellungskraft, und es liegt an uns, diese zum Vorteil und Wohle der Gesellschaft und des Menschen zu gestalten.
Leselinks:
- Aktuelles Paper zum Blogbeitrag
- NeuroLab des Fraunhofer IAO
- Neurowissenschaften für eine bessere UX
- Veranstaltungsseite: Sustainable Work and Life 2024
- Weitere Leistungen des Teams: Burnout im Berufsalltag vorbeugen – mit Neurowissenschaft
- Weitere Leistungen des Teams: Consumer Neuroergonomics – Was denken Ihre Kund*innen wirklich über Ihre Produkte?
- Feinfühlige Technik: Blogreihe des Teams »Applied Neurocognitive Systems«
