Die Welt ist voller guter Ideen. Trotzdem scheitern viele Innovationen bei der Markteinführung. Grund dafür ist häufig, dass die Anwenderinnen und Anwender der Services nicht rechtzeitig eingebunden werden. Wenn deren Akzeptanz erst am Ende eines Entwicklungsprojekts getestet wird, ist ein Misserfolg wahrscheinlich – und teuer. Gerade mit dem Aufstieg KI-basierter Services scheint das Problem präsenter denn je. Ein Verfahren könnte helfen, die wahrgenommene Qualität dieser sogenannten Smart Services zu testen, bevor diese eingesetzt werden.
Die Entwicklung von smarten Services ist nicht so leicht, wie es scheint. Smart Services basieren auf dem Einsatz von intelligenter Technik, die bspw. mittels Sensorik Daten über die Nutzung erfasst. Anhand dieser Daten werden auf Kunden zugeschnittene Kombinationen aus digitalen und persönlich erbrachten Dienstleistungen angeboten. Ein Smart Service ist beispielsweise ein vernetztes Fitnessarmband, das kontinuierlich Gesundheitsdaten wie Herzfrequenz und Bewegung misst. Es wertet die Daten aus und gibt dem Nutzer oder der Nutzerin personalisierte Tipps oder Warnungen in Echtzeit.
Erfolgskritisch für die Entwicklung ist jedoch weniger die Technologie, sondern die Akzeptanz durch die späteren Nutzerinnen und Nutzer – und die kann durch Tests ermittelt werden, bevor viel Zeit und Geld in die finale Umsetzung gesteckt wird.
Ohne Testen tappt man nur im Dunkeln
Wie lässt sich die Qualität von datenbasierten Dienstleistungen am besten testen? Hier kann ein Rahmenkonzept helfen, das alle Leistungsbestandteile eines Smart Services vereint.
Grundsätzlich lassen sich Services in drei Dimensionen einteilen. Am Anfang stehen bestimmte Ressourcen und Personen zur Verfügung. Diese werden als Teil eines Prozesses miteinander kombiniert, verbraucht oder mit Kunden verbunden, um am Ende einen bestimmten, meistens immateriellen Nutzen zu erzeugen.
Dieser Prozess findet bei Smart Services auf vier verschiedenen Ebenen statt. Die unterste Ebene betrifft alles, was die zugrundeliegende Technologie wie Maschinen und Sensoren umfasst, und wie Daten gewonnen werden. Auf der zweiten Ebene werden diese Daten als Teil eines digitalen Services gespeichert, verarbeitet und ausgewertet. Auf der dritten Ebene werden die ausgewerteten Daten genutzt, um in der physischen Welt einen persönlichen Service zu erbringen. Die vierte und oberste Ebene beschreibt, wie die verschiedenen Ebenen in einer Gesamtleistung koordiniert werden und welcher Gesamtnutzen dabei herauskommt.
Kombiniert man beide Betrachtungsweisen ergeben sich 12 Felder von Smart Services, wie in der Abbildung veranschaulicht. Das Rahmenkonzept überführt diese Felder mit zunehmendem Detaillierungsgrad stufenartig von den eigentlichen Objekten und Prozessen über deren besondere Qualitäten in spezifische Indikatoren, mithilfe derer Probanden befragt werden können.
Abbildung 1: Rahmenkonzept für Smart Services.
Das Rahmenkonzept dient als Grundlage für das Testen der wahrgenommenen Service-Qualität. In dem Testverfahren wird der Prozess, wie ein Smart Service zu testen ist, ausführlich und übersichtlich beschrieben. In einem ersten Schritt legen die Testenden die Ziele des Tests fest, sammeln die vorhandenen Informationen und etablieren eine Projektsteuerung. Als Nächstes werden die Zielgruppen und der aktuelle Entwicklungsstand genauestens untersucht und entschieden, welcher Fokus für die Untersuchung gelegt werden soll. Daraus kann der konkrete Test entworfen werden, der in weiteren Schritten vorbereitet und schließlich mit Probanden durchgeführt wird. Zum Abschluss hält das Testteam seine Erkenntnisse fest, bewertet das Vorgehen und zieht Schlüsse für die Zukunft.
Das Verfahren bewährt sich in der Praxis: KI-Services bei Audi
Im Rahmen der Automotive Initiative 2025, kurz AI25, die das Fraunhofer IAO über fünf Jahre hinweg mit Audi gemeinsam betreibt, testeten wir die wahrgenommene Qualität des neu entwickelten »Supply Chain Chatbot« mit seinen Mitarbeitenden. Der »Supply Chain Chatbot«, der sich zum Testzeitpunkt noch in einem frühen Entwicklungsstadium befindet, soll später den Mitarbeitenden der Supply Chain Abteilung mithilfe von RAG-Technologie bei Fragestellungen zur Seite stehen. RAG steht für eine Methode namens »Retrieval-Augmented Generation«, die Informationen aus einem Datenbestand abruft und nutzt, um präzise und informationsreiche Texte zu generieren.
Audi entschied sich dafür, mit uns gemeinsam das oben beschriebene Verfahren zum Testen der wahrgenommenen Qualität von Smart Services anzuwenden und den »Supply Chain Chatbot« zu untersuchen, um den Nutzen des Chatbots für seine Mitarbeitenden zu optimieren. Durch die frühzeitige Einbindung seiner Nutzerinnen und Nutzer minimiert Audi deutlich das Risiko, dass der Chatbot nach seiner Einführung scheitert.
In den letzten Wochen und Monaten machten wir uns hierfür schrittweise mit den internen Abläufen, Zielen, und Informationen bei Audi vertraut. Dann setzten wir uns mit den Verantwortlichen aus Planung, Disposition und Managementauseinander, für die der Chatbot am Ende entwickelt wird. Wir untersuchten, wie die Nutzung des Chatbots im Normalfall aussehen würde, welches Aussehen er annehmen wird und welche Outputs dabei generiert werden. Nun haben wir mithilfe des Rahmenkonzepts einen an den Use Case angepassten Fragebogen entwickelt.
Mit Hilfe des Rahmenkonzepts konnten wir feststellen, dass sich der Supply Chain Chatbot, abgesehen von der Datenbasis, hauptsächlich im digitalen Bereich bewegt. Schritt für Schritt grenzten wir unsere Untersuchungsobjekte weiter ein, bis wir am Ende messbare Indikatoren gesammelt und in einen Fragebogen verpackt hatten. Mit diesem Fragebogen wurden im November 2024 knapp 30 Mitarbeitende aus allen Standorten befragt. Dabei bearbeiteten sie verschiedene Problemstellungen mithilfe des Chatbots und gaben anschließend ihr Feedback zu seinem aktuellen Entwicklungsstand. Unsere Ergebnisse und Erfahrungen hielten wir als Teil eines Leitfadens für Audi fest, mit dem sich unsere Vorgehensweise in zukünftigen Entwicklungsprojekten wiederholen lässt.
Wenn Sie weiteres Interesse an unserem Rahmenkonzept haben, melden Sie sich bei gerne bei uns!
Leselinks:
Kategorien: Künstliche Intelligenz
Tags: KI, RAG, SmartService
Hinterlasse einen Kommentar