Wiedner Gürtel 12 / 3 Stock / 11a, 1040 Wien

Status Quo – Chatbots

Status Quo – Chatbots

Bewertung: 0 / 5

Stern inaktivStern inaktivStern inaktivStern inaktivStern inaktiv
 

Sind selbstlernende Chatbots schon weit genug entwickelt, um Vorteile gegenüber regelbasierten Chatbots zu bieten?

Chatbots sind ein viel diskutiertes Trendthema und Gegenstand einer Vielzahl an Veranstaltungen in den unterschiedlichsten Branchen.

Unser Gastautor Philipp Rosenberger ist Dozent an der FH Campus Wien im Master Technisches Management. Er hat sich mit dem Thema ausführlich beschäftigt und zeigt uns in diesem Beitrag die Ergebnisse seiner Recherche.

 

Zu Beginn wird kurz erklärt was Chatbots sind und warum Chatbots in „intelligente“ und „regelbasierte“ Bots unterschieden werden.

Chatbots sind eine neue Form der Interaktion mit Kunden und Nutzern von Systemen, die intuitiver und persönlicher wirken soll. Statt klassischer Navigation durch Menüs und Systemfunktionen, passiert die Interaktion mit einem Chatbot wie bei einer Konversation mittels sozialer Medien wie Facebook Chat oder Whatsapp. Der Chat stellt Fragen, der Kunde antwortet mittels Textnachricht und wird in dieser Art und Weise bis zur Problemlösung begleitet. Diese Begleitung kann durch einen Mitarbeiter einer Kundenserviceabteilung persönlich passieren, oder eben durch einen automatisierten Chatbot. Im Falle des Chatbots, wertet der Bot, also ein Softwareprogramm, Textantworten des Kunden aus, interpretiert diese.

Diese Interpretation kann durchaus sehr herausfordernd sein. Tippfehler der Kunden müssen erkannt werden, besondere und seltene Anfragen sollten durch den Chatbot genauso beantwortbar sein wie Standard-Anfragen.

Die erste Generation von Chatbots begleitete die Kunden mittels vorher definierter Regeln. Sprich ein Programmierer hat sich genau überlegt welche Fragen gestellt werden sollen, welche Antworten erwartet werden, und wie mit diesen Antwortmöglichkeiten umgegangen wird. Bei einfachen Problemen kann das sehr gut funktionieren. Mit zunehmender Komplexität der Probleme und Vielfalt der Anfragen, stoßen aber auch die Programmierer an die Grenzen der Überschaubarkeit des Regelwerks. Chatbots die nach solchen vordefinierten Regeln arbeiten nennt man regelbasierte Chatbots.

Die folgende Grafik verdeutlicht ein Beispiel einer einfachen Chatbot Kommunikationsstruktur eines implementierten regelbasierten Human-Resource Chatbots:

chatbots 1

 

Für den Benutzer präsentiert sich solch eine Kommunikationsstruktur folgendermaßen:

chatbots 2

chatbots 3

 

Seit dem Aufkommen von Artificial Intelligence (AI) Assistenten wie Cortana, Siri und OK-Google finden jedoch auch Chatbots Anwendung, die ohne penibel vordefinierten Regelwerk auskommen. Diese Chatbots treffen, basierend auf Algorithmen künstlicher Intelligenz, wie Erkennung von Mustern,  und einem Pool an Erfahrungswerten Annahmen und lernen ob diese Annahmen zum Erfolg geführt haben oder nicht. So können für Kunden Lösungswege entstehen, an die ein Programmierer eines regelbasierten Chatbots nie gedacht hätte. Vorteil solch selbstlernender Chatbots liegt in der Flexibilität und der geringeren Notwendigkeit von Pflege des Regelwerks. Nachteil der Chatbots liegt in der aufwendigen Trainingsphase und der noch sehr jungen Technologie von Artificial Intelligence. Denn zu Beginn der Lernphase des Chatbots, weiß der Bot so gut wie nichts. Erst durch viel Versuch und Irrtum wird der Chatbot erfolgreich.

Beispiele solcher Bot-Frameworks für AI-Chatbots:

  • IBM Watson
  • Wit.ai
  • Microsoft Bot-Framework
  • Digiflow (api.ai)

Das schon gezeigte Beispiel des Human Resource Chatbots implementiert als AI-Chatbot präsentiert die Kommunikationsstruktur ungeordnet:

chatbots 4

 

Der Nutzer wird also nicht durch einen vorbestimmten Weg geleitet, sondern fragt zu Beginn offen nach dem Kundenanliegen und versucht flexibel und selbstlernend auf den Kunden einzugehen.

Die Interaktion mit dem Kunden könnte folgendermaßen ablaufen:

chatbots 5

chatbots 6

  

Nachdem nun ein Grundverständnis zu den beiden Technologien geschaffen wurde, stellt sich die Frage, ob Chatbots basierend auf künstlicher Intelligenz schon weit genug entwickelt sind um Vorteile gegenüber regelbasierten Chatbots bieten zu können?

Zur Beantwortung dieser Frage haben die Autoren dieses Beitrags  Christoph Wanjura MSc., Student, und DI Philipp Rosenberger, Dozent an der FH Campus Wien im berufsbegleitenden Masterstudiengang Technisches Management in der Vertiefung IT (siehe https://www.fh-campuswien.ac.at/studium/studien-und-weiterbildungsangebot ) beide Varianten der Chatbot-Technologien für das Beratungsunternehmen Softcom Consulting umgesetzt und danach 150 Chatbot User in einer Online-Umfrage nach deren Eindrücken befragt.

Dabei wurde besonderes Augenmerk auf den Funktionsumfang und den empfundenen Mehrwert des jeweiligen Chatbots gelegt.

Die nun folgenden Diagramme beschreiben besonders relevante Ergebnisse der Umfrage.

Hinweis: Alle Details zur Umfrage können in Christoph Wanjuras Masterarbeit „Regelbasierte Chatbots vs. „intelligente“ Chatbots“ nachgelesen werden.

Der durchschnittliche User war männlich, 31,57 Jahre alt, hat eine Matura, ist nicht beschäftigt bzw. arbeitssuchend, hat  den  Chatbot  über  die  Webseite  der  Softcom  Consulting  aufgerufen  und  für  die Kommunikation  mit  dem  Bot  den  PC  oder  ein  Notebook  verwendet.  Dabei  hat  der durchschnittliche User nach Informationen über das Unternehmen sowie über freie Stellen gesucht und sich für eine der freien Stellen beworben.

Wie erfolgreich war die Erreichung Ihres Ziels mit dem Chatbot?

  • Die durchschnittliche Note von 75 Bewertungen liegt bei 1,53 beim regelbasierten Chatbot.
  • Die durchschnittliche Note von 75 Bewertungen liegt bei 2,55 beim intelligenten Chatbot.

chatbots 7

  

Wie zufrieden waren Sie mit Benutzung des Chatbots?

  • Die durchschnittliche Note von 75 Bewertungen liegt bei 1,56 beim regelbasierten Chatbot.
  • Die durchschnittliche  Note  von  75  Bewertungen  liegt  bei  2,8  beim  intelligenten Chatbot.

chatbots 8

  

Wie  anstrengend  fanden  Sie  die  Verwendung  des  Chatbots  im  Vergleich  zu  einem Telefonanruf z. B.:

  • Die durchschnittliche Note von 75 Bewertungen liegt bei 1,72 beim regelbasierten Chatbot.
  • Die durchschnittliche Note von 75 Bewertungen liegt bei 2,64 beim intelligenten Chatbot.

chatbots 9

 

Wie würden Sie den Nutzen des Chatbots bewerten?

  • Die durchschnittliche Note von 75 Bewertungen liegt bei 1,54 beim regelbasierten Chatbot.
  • Die durchschnittliche  Note  von  75  Bewertungen  liegt  bei  2,8  beim  intelligenten Chatbot.

chatbots 10

 

Würden Sie den Chatbot erneut verwenden, um Informationen zu erhalten bzw. sich zu bewerben?

chatbots 11

 

Konnte  der  Chatbot  alle  Ihre  Fragen  beantworten  bzw.  haben  Sie  alle  gewünschten Informationen vom Chatbot erhalten?

chatbots 12

 

Haben  Sie  das  Gefühl,  dass  Sie  der  Bot  verstanden  hat  und  Ihnen  dadurch  die gewünschten Informationen zur Verfügung stellen konnte?

chatbots 13

 

Haben  Sie  die  Konversation  mit  dem  Bot  aufgrund  eines  Fehlers  abgebrochen  oder neugestartet?

chatbots 14

 

Sind Sie trotz eines Fehlers in der Kommunikation mit dem Bot an Ihr Ziel gekommen?

chatbots 15

 

Wie  zufrieden  waren  Sie  mit  dem  Zeitaufwand,  den  es  benötigt  hat,  bis  sie  an  Ihr  Ziel kamen?

  • Die durchschnittliche Note von 75 Bewertungen liegt bei 1,44 beim regelbasierten Chatbot.
  • Die durchschnittliche Note von 75 Bewertungen liegt bei 2,67 beim intelligenten Chatbot.

chatbots 16

 

Wie zufrieden waren Sie mit der Qualität der Gesprächsführung?

  • Die durchschnittliche Note von 75 Bewertungen liegt bei 1,52 beim regelbasierten Chatbot.
  • Die durchschnittliche Note von 75 Bewertungen liegt bei 2,88 beim intelligenten Chatbot.

chatbots 17

 

Wie verständlich waren die Antworten bzw. Anweisungen für Sie, welche Ihnen der Chatbot gegeben hat?

  • Die durchschnittliche Note von 75 Bewertungen liegt bei 1,48 beim regelbasierten Chatbot.
  • Die durchschnittliche Note von 75 Bewertungen liegt bei 2,79 beim intelligenten Chatbot.

chatbots 18

 

Hatten Sie Spaß oder waren Sie frustriert bei der Nutzung des Chatbots?

  • Die durchschnittliche Note von 75 Bewertungen liegt bei 1,73 beim regelbasierten Chatbot.
  • Die durchschnittliche Note von 75 Bewertungen liegt bei 2,76 beim intelligenten Chatbot.

chatbots 19

 

Würden  Sie  sich  in  Zukunft  noch  mehr  Funktionen  bzw.  Informationen  vom  Chatbot wünschen?

chatbots 20

 

Zusammenfassung der Ergebnisse:

Der Chatbot mit den definierten Use Cases war grundsätzlich sehr erfolgreich. Von 150 Usern  würden  76  %  den  Chatbot  in  Zukunft  wiederverwenden,  um  Informationen  zu erhalten  bzw.  sich  zu  bewerben.  Zwischen  dem  intelligenten  und  dem  regelbasierten Chatbot  gibt  es  jedoch  deutliche  Unterschiede.  71  von  75  Personen  würden  den regelbasierten  erneut  verwenden,  jedoch  nur  43  von  75  Personen  den  intelligenten Chatbot. Einen ähnlichen Unterschied gibt es auch bei den Fragen zum Funktionsumfang sowie dem Mehrwert der Chatbots. Aber auch bei den Fragen zur Interpretation der vom User gestellten Fragen oder Antworten, zum effektiven Ablauf der Konversation und das subjektive emotionale Ansprechen des Users. In all diesen Kategorien hat der intelligente Chatbot  deutlich  schlechter  abgeschnitten  als  der  regelbasierte  Chatbot.  Die durchschnittliche Bewertung nach Schulnotensystem lag beim regelbasierten Chatbot bei 1,56 und beim intelligenten Chatbot bei 2,63.

  

Schlussfolgerung aus den Ergebnissen:

Aus der durchgeführten Umsetzung des Chatbots und der anschließenden Befragung der User lässt sich ableiten, dass Artificial Intelligence weit genug ist, um in Chatbots eingesetzt zu  werden  und  regelbasierte  Chatbots  abzulösen.  Dies  mag  beim  ersten  Blick  auf  die Ergebnisse der Befragung durchaus anders aussehen, jedoch wird bei einer genaueren Sicht auf die Ergebnisse klar, dass der intelligente Bot bei den Usern nicht aufgrund der fehlenden  oder  schlechten  Intelligenz  gescheitert  ist,  sondern  aufgrund  der  fehlenden Konversationsstruktur. Chatbots sind eine neue Technologie, welche noch nicht alltäglich ist, daher wissen viele User noch nicht, wie sie mit einem Chatbot kommunizieren müssen. Der  regelbasierte  Chatbot  gibt  durch  die  festgelegte  Struktur  der  Konversation  einen gewissen roten Faden vor, an welchem sich der User orientieren kann und dieser macht es dem unerfahrenen User auch leichter, möglichst effizient an sein Ziel zu kommen. Der intelligente Chatbot hingegen wartet immer auf die Befehle des Users und gibt dann auf Basis des Befehls die Antwort. Es hat sich gezeigt, dass die User teilweise nicht wussten, was  bzw.  in  welcher  Form  sie  den  intelligenten  Chatbot  fragen  sollten,  um  zu  einem Ergebnis  kommen  –  obwohl  beim  intelligenten  Chatbot  sogar  eine  Hilfefunktion programmiert wurde, welche dem User Tipps gibt, was er fragen kann. Wird die technische Komponente  Artificial  Intelligence  in  Verbindung mit  dem  Chatbot  betrachtet,  dann  war auch der intelligente Chatbot ein Erfolg, denn der Chatbot konnte 43 von 75 Usern die gewünschten  Antworten  liefern und dies nur aufgrund des Wissens der künstlichen Intelligenz. Zu ergänzen ist noch, dass die Einrichtung und das Training einer künstlichen Intelligenz in Verbindung mit  einem  Chatbot  einen  hohen  Aufwand  darstellt  und  immer  je  nach  Use  Case entschieden werden sollte, ob tatsächlich ein intelligenter Chatbot benötigt wird oder nicht.

 

philipp rosenberger

 

Zum Gastautor:

Philipp Rosenberger ist seit 2016 Dozent an der FH Campus Wien im Master Technisches Management. Dort hält er unter anderen Vorlesungen zu den Themen IT Projektmanagement, Software System Design, IT Controlling und Cloud Computing Technologies. Sein Wissen erweiterte er vor allem durch seine Arbeiten als Project Manager und Consultant in verschiedenen Unternehmen.

 

ithelps logo 220

Wiedner Gürtel 12 / 3 Stock / 11a, 1040 Wien
Pernerstorferstraße 18, 3032 Eichgraben

  • Email: office@ithelps.at
  • Phone: +43(1) 353 2 353

Die 10 häufigsten SEO Fehler

und wie Sie diese vermeiden können: