Ein Projekt von QRCheck & Ayka.
Hier mehr erfahren.

Next Level Kundenservice

Mit dem fischerFinder findet jeder Kunde das richtige Befestigungsprodukt für seinen konkreten Anwendungsfall.

Unser innovativer fischerFinder setzt auf

  • modernste Künstliche Intelligenz, um Eingaben des Kunden sowohl in Text-, Bild- als auch Audioform in konkrete Merkmale umzuwandeln,
  • einen bereits in Teilen vorhandenen Entscheidungsbaum aktualisiert mit der fischer Produkt-API
  • und einen bereits vom Kunden genutzten Messenger-Dienst, um zusätzliche App-Installationen zu vermeiden.
"Wir sind Ayka, Benedikt und Christian. Gemeinsam bringen wir KI-Expertise sowie Erfahrung in der App- und Web-Entwicklung mit und freuen uns darauf, gemeinsam mit euch den Kundenservice von fischer auf das nächste Level zu bringen."
Moin
Hi! Ich helfe dir, das richtige fischer Befestigungsprodukt zu finden. Wenn du z.B. etwas an einer Wand befestigen möchtest, kannst du mir ein Bild davon schicken.
Ich erkenne eine Betonwand. Was möchtest du an der Wand befestigen?
Ein kleines Bild
Dafür empfehle ich dir folgenden Dübel: https://www.fischer.de/de-de/produkte/standardbefestigungen/kunststoffduebel/duopower/535210-duopower-6-x-30-k (Du brauchst voraussichtlich 2 Stück)

Optimaler Userflow

Ein Heimwerker möchte ein Bild an seiner Wand aufhängen. Er kennt sich jedoch nicht mit Dübeln aus und weiß auch nicht, aus welchem Material seine Wand besteht. Hier kommt fischerFinder ins Spiel: Der Kunde kann seine Frage nach dem richtigen Dübel ganz einfach per WhatsApp als Text-, Audio- oder Bild-Nachricht an den fischerFinder senden.

fischerFinder fragt nach weiteren Einzelheiten zum befestigenden Objekt oder bittet den Kunden, z.B. ein Loch in die Wand zu bohren, um anhand des Staubes das Material der Wand herauszufinden. Der ChatBot ist darauf trainiert, alle wichtigen Informationen wie Wandbeschaffenheit, Gewicht etc. aus den Nachrichten des Kunden zu sammeln und gegebenenfalls nachzuhaken, um dann eine auf den konkreten Anwendungsfall angepasste Empfehlung zu geben. Der Chatbot nimmt die Kundenbedürfnisse auf und kann sie auch für zukünftige Interaktionen nutzen und gewährleistet so ein optimales Kundenerlebnis.

Wenn der ChatBot einmal nicht erfolgreich sein sollte oder der Nutzer weitere Unterstützung benötigt, kann der Chat direkt an einen Support-Mitarbeiter weitergegeben werden. Dieser erhält den Chatverlauf und eine Zusammenfassung der bisher von der KI ausgewerteten Daten.

Konkrete Umsetzung

  1. Der Nutzer schreibt unseren WhatsApp ChatBot an. Im Hintergrund kommunieirt unser Server mit der Cloud API der WhatsApp Business Platform.
  2. Der Server verarbeitet Bilder mit Hilfe von TensorFlow und Audionachrichten mit Hilfe von Kaldi zu Text.
  3. Dieser Text, als auch Textnachrichten, die direkt vom Nutzer kommen, werden im Anschluss mihilfe von TensorFlow zu konkreten Produktmerkmalen verarbeitet.
  4. Mithilfe der konkreten Produktmerkmalen wird dann versucht, ein Produkt in der aktuellen bzw. später optimierten fischer-API (s. Optimierung bestehender Daten) / Decision Tree.
  5. Ist diese Suche erfolgreich, wird das Produkt an den Nutzer gesendet. Sollten zum Finden eines passenden Produkts noch weitere Informationen fehlen, so wird der ChatBot gezielt nach weiteren Einzelheiten beim Nutzer nachfragen.
Aufbau des fischerFinders
Technischer Aufbau des fischerFinders ( Bild-/Icon-Quellen )

Machbarkeitsanalyse

Um die Machbarkeit unserer Idee zu testen, haben wir einen Prototyp eines WhatsApp ChatBots entwickelt entwickelt, der das beschriebene Backend nutzen kann und dann anhand der Daten, die der Nutzer eingibt, konkrete Produkt-Empfehlungen geben kann.

Zudem haben wir uns konkret das Training der Bildanalyse-KI angeschaut (s. Oberflächen Bildanalyse). Auch haben wird die aktuelle Fischer API-Daten analysiert, um sie optimal für den ChatBot und den Entscheidung Baum nutzen zu können und diese effizient zu gestalten, sollten einige Optimierungen vorgenommen werden. (s. Optimierung bestehender Daten)

Vorteile für Fischer und seine Kunden

Unser Ansatz bietet zahlreiche Vorteile für Fischer und seine Kunden. Kunden erhalten eine schnelle und genaue Empfehlung für das richtige Produkt, was die Entscheidungsfindung erleichtert und die Kundenzufriedenheit erhöht. Fischer kann von einer gesteigerten Kundenbindung und -zufriedenheit profitieren, was sich langfristig positiv auf das Geschäft auswirkt.

Der ChatBot kann in den Telefon-Support oder ein bestehendes Webinterface eingebunden werden und natürlich auch auf alle weiteren Messenger, wie Telegram, Threema etc. erweitert werden werden.

Oberflächen-Bildanalyse

Die Erkennung von Wandmaterialien anhand von Bildern ist eine anspruchsvolle Aufgabe, da Materialien wie Holz, Beton oder Gipskarton unterschiedliche Texturen und Erscheinungsbilder haben können. Um diese Herausforderung zu bewältigen, haben wir uns für eine Deep Learning-basierte Bildanalyse entschieden. Für diese kann wie folgt vorgegangen werden.

Datensammlung

Zunächst haben wir recherchiert, welche Bibliotheken zu Wandmaterial bereits existieren. Wir haben Bilddatenbanken wie CUReT und GeoMat gefunden und auch die von Fischer bereitgestellten Bilder aus der Fischer Pro App haben wir berücksichtigt.

CUReT dataset
CUReT dataset - erste groß angelegte Textur-/Materialdatensatz, Bereitstellung von 61 Materialkategorien, fotografiert in 205 Betrachtungs- und Lichtverhältnisse. (Quelle)
GeoMat Dataset
GeoMat Dataset - 19 verschiedene Materialkategorien (Quelle)
Fischer PRO Dataset
Fischer Pro App hat diese gelabelten Oberflächenbilder. Darauf basierend können wir eine Datenbank erstellen. Sie können als Grundlage dienen. (Quelle)

Deep Learning Framework und Modell

Für die Implementierung des Deep Learning-Ansatzes haben wir das Keras-Framework verwendet, das auf TensorFlow aufbaut. Mit Keras konnten wir ein Convolutional Neural Network (CNN) erstellen, das für die Aufgabe der Materialerkennung optimiert ist.

Das CNN extrahiert Merkmale aus den Bildern und lernt, diese verschiedenen Materialkategorien zuzuordnen. Durch das Trainieren des Modells mit unserer Bildsammlung erreichen wir eine hohe Genauigkeit bei der Erkennung von Wandmaterialien in von Kunden bereitgestellten Bildern.

Integration in den ChatBot

Sobald das CNN-Modell trainiert ist, integrieren wir es in den fischerFinder ChatBot. Dadurch kann der ChatBot die von Kunden über WhatsApp gesendeten Bilder analysieren und die Wandmaterialien automatisch erkennen. Diese Information wird dann verwendet, um eine gezielte Produkt Empfehlung auszusprechen.

Zukünftige Verbesserungen

Um die Leistungsfähigkeit der Bildanalyse weiter zu verbessern, planen wir, das Modell kontinuierlich mit neuen Bilddaten zu trainieren und die Kategorisierung der Materialien weiter zu verfeinern. Außerdem wollen wir die Integration von fortschrittlichen Deep Learning-Technologien wie GANs (Generative Adversarial Networks) erforschen, um die Robustheit und Genauigkeit unseres Systems weiter zu erhöhen.

Zusammenfassend bietet unsere Bildanalyse-Lösung eine effektive Möglichkeit, Wandmaterialien auf Basis von Kundenfotos zu identifizieren und somit eine gezielte Produkt Empfehlung abzugeben. Durch die Integration dieser Technologie in den fischerFinder ChatBot können wir den Kundenservice von Fischer deutlich verbessern und das Kundenerlebnis optimieren.

Optimierung bestehender Daten

  • Klare Hierarchie: Organisieren Sie die Daten in einer klaren hierarchischen Struktur. Hierbei sollten Sie Hauptkategorien, Unterkategorien und zugehörige Attribute definieren.
  • Konsistente Daten: Stellen Sie sicher, dass die verwendeten Bezeichnungen und Einheiten in den gesamten Daten konsistent sind. Dies erleichtert der KI das Verständnis und die Verarbeitung der Daten.
  • Entfernen von HTML-Tags: Entfernen Sie HTML-Tags aus den Textdaten, um die Informationen für die KI leichter lesbar und verständlich zu machen.
  • Bereinigung von Daten: Entfernen Sie doppelte oder unnötige Informationen, um die Datenmenge zu reduzieren und die Verarbeitungsgeschwindigkeit für die KI zu erhöhen
  • Metadaten: Fügen Sie Metadaten hinzu, um zusätzliche Informationen über die Daten bereitzustellen. Dies kann der KI helfen, den Kontext und die Bedeutung der Daten besser zu verstehen.
  • Zusammenfassung: Fügen Sie eine kurze Zusammenfassung oder Beschreibung jeder Dateneinheit hinzu, um der KI einen schnellen Überblick über die wichtigsten Informationen zu ermöglichen.

PainPoints die wir lösen

Unsere Lösung adressiert die Herausforderungen, die Kunden bei der Auswahl des richtigen Befestigungsprodukts haben, indem sie gezielte und persönliche Empfehlungen basierend auf individuellen Bedürfnissen bietet. Dies erleichtert die Entscheidungsfindung und erhöht die Zufriedenheit mit Fischer-Produkten. Insbesondere Heimwerker mit wenig technischen Kenntnissen profitieren von unserer effektiven, kostengünstigen und benutzerfreundlichen Lösung.

Zusammenfassung und Ausblick

Wir sind überzeugt, dass unser Ansatz einen bedeutenden Mehrwert für Fischer und seine Kunden bietet. Gerade Heimwerkern, die wenig technische Kenntnisse haben, kann so effektiv, kostengünstig und auf eine benutzerfreundliche Art und Weise geholfen werden. Wir freuen uns darauf, Ihnen unsere Idee vorzustellen, sie im Detail mit Ihnen zu diskutieren und Ihnen zu zeigen, wie wir die Lösung implementieren können, um das Kundenerlebnis von Fischer zu verbessern und das Geschäft voranzutreiben.