Fontys Hogeschool heeft een onderzoeksprogramma opgericht voor verschillende
onderwerpen. Het onderzoeksprogramma voor dit project heet Tech 4 Society met health als
zwaartepunt. Dit programma gaat samen met ICT & HRM.
TEC4S bestaat uit een mix van specialisten met verschillende achtergronden. Deze
achtergronden bestaan uit marketing management, ICT, HRM en psychologie, freelance
content marketeer en de Universiteit Tilburg. Dit team van specialisten vormen samen het
bedrijf TEC4S.
Productomschrijving
Het product bestaat uit twee chatbots, een warme chatbot en een competente chatbot. De
chatbots voorziet de gebruikers van informatie over het operatief verwijderen van de
verstandskies. De klant verwacht een oplevering waarbij de hoofdvraag in het
procesverslag zal
worden meegenomen. De hoofdvraag luidt: “Wat moet een chatbot in een medische context
zeggen om het vertrouwen bij de potentiële patiënt te winnen?”.
Naast het product wordt er een adviesplan geschreven in opdracht van Fontys Hogeschool.
Naar aanleiding van het probleem “hoe kan een chatbot het vertrouwen verhogen van
potentiële
klanten?” Daarnaast wordt er gekeken naar het stress verminderen tussen de tandarts
doorverwijzing naar de kaakchirurg en informatie aan te bieden over het operatief
verwijderen
van de verstandskies.
Warm en competent
Hiermee wordt bedoeld dat er in de medische context het vertrouwen moet worden gewonnen,
dit relateert zich aan neuromarketing. Om vertrouwen te winnen is het mogelijk om twee
kanten
op te gaan, namelijk ‘warm’ en ‘competent’. Met het warme deel wordt bedoeld dat er een
chatbot kan worden gemaakt die hulp-gericht is en wellicht wel met ‘je’ of ‘jij’ wordt
aangesproken. Daar en tegen is competent het tegenovergestelde, deze chatbot weet alles
beter en zou wellicht met ‘u’ of ‘uw’ worden aangesproken.
Doelgroep
De doelgroep is tussen de 15-25 jaar terug te vinden in het medisch vakgebied. Hiervoor
is
geen licentie of toestemming nodig van de overheid om het project uit te voeren.
Uiteindelijk is
er besloten om potentiële patiënten van de tandarts te nemen die worden doorverwezen
naar
de kaakchirurg. Deze potentiële patiënten worden vaak doorgestuurd wanneer er iets
operatiefs
moet worden verwijderd, denk aan verstandskiezen. De chatbot is de ‘’tandarts’’ die
vragen
beantwoord over de doorverwijzing en de operatie van de kaakchirurg.
Het staat overigens nog niet vast op welke plaatsen er worden getest. Het is mogelijk om
studenten te vragen die deze ervaring hebben meegemaakt. Eigen ervaring mag ook worden
meegenomen. Door het testen van de chatbot wordt er data gegenereerd. Deze data wordt
gebruikt om de chatbot te verbeteren.
Er is ook nog de mogelijkheid om meer informatie over de doelgroep te vragen bij
studenten die
een studie volgen richting tandartsassistent. Het zou mooi zijn als er nog een
samenwerking
met een de tandartsassistente opleiding of een soortgelijke opleiding komt. Hiermee
wordt er
voorkomen dat er informatie onjuist is. Een voordeel van deze samenwerking is het
verifiëren
van informatie door deze doelgroep.
Project doel
Het doel luidt als volgt: hoe kan een chatbot het vertrouwen verhogen van potentiële
klanten?
Daarnaast wordt er gekeken naar het stress verminderen tussen de tandarts doorverwijzing
naar de kaakchirurg en informatie aan te bieden over het operatief verwijderen van de
verstandskies. Dit doel moet worden bereikt door middel van een chatbot. Daarnaast
worden er
varianten qua chatbots opgesteld, zo is er een ‘’warmere chatbot’’ en een ‘’competente
chatbot.
Opdrachtomschrijving
De opdracht is het ontwikkelingen van twee chatbots, een warme en een competente
chatbot.
Meer hierover zie de kop warm en competent. De hoofdvraag luidt: “Wat moet een chatbot
in
een medische context zeggen om het vertrouwen bij de potentiële patiënt te winnen?”. Dit
wordt
doorverwerkt in de context van de chatbots. Daarnaast wordt er een adviesplan opgesteld.
Met
als doel het adviseren van het wel of niet gebruiken van chatbots. Dit adviesplan wordt
met
multidisciplinaire experts gedeeld, waardoor dit mogelijk is om te kunnen implementeren.
Meer
Wil je meer weten over de aanpak van het project en groepsafspraken? Check dan het hele
Project Initiation Document.
Chatbots kunnen worden gezien als een geautomatiseerde gesprekspartner, daar komt de
samenvoeging 'chat' en 'bot' vandaan. Deze chatbots kunnen vragen van gebruikers op een
website beantwoorden door vooraf ingestelde informatie en artificial intelligence.
Voordelen
Chatbots kunnen diverse voordelen hebben. Denk hierbij aan het feit dat de chatbot
tegelijkertijd veel chats kan aan gaan, het is goedkoop, altijd beschrikbaar,
persoonlijk afstembaar en snel.
Nadelen
Een aantal nadelen kan zijn dat spelfouten niet worden herkend, er soms irritatie kan
ontstaan omdat de gebruiker geen bevredigend antwoord krijgt, 25% van de gebeuikers na
antwoord twee al afhaakt en dat de chatbot geen sarcasme herkent.
Conclusie
De klant kwam aan met het idee om een chatbot te gaan programmeren en deze te
testen. Voordat de chatbot daadwerkelijk wordt geprogrammeerd moet het wel zeker
zijn dat dit van belang kan zijn voor het project.
De opdracht gaat vooral om het vertrouwen winnen van de potentiële patiënt, waarbij
er een warme- en competente chatbot komt. Uit de voor- en nadelen komen veel
voordelen, maar ook nadelen. Het is echt een trend van 2018. Mogelijk dat veel
medewerkers worden vervangen door chatbots, waardoor het programmeren van de
chatbot een grote voorloper voor de klant is.
Eerst inhoud voor de chatbots verzamelen voordat de chatbot daadwerkelijk geprogrammeerd
kan worden.
Chatbot inhoud
In eerste instantie heb ik informatie uit Google gehaald. Binnen de website
http://answerthepublic.com heb ik diverse zoekwoorden ingevuld, bijvoorbeeld
"verstandskies pijn". Vanuit hier kwam er een hele excel lijst van suggesties voor
mogelijke vragen uit. Meer over de inhoud van de chatbots in de onderstaand korte film.
User testen uitvoeren bij de doelgroep om zo de chatbot te kunnen verbeteren.
Conclusie warme chatbot
De conclusie van de warme chatbot is tot stand gekomen door het conversational design
event.
De warme chatbot gebruikt als aanspreekvorm “je” of “ik”. Het karakter wordt
gevormd door een aantal karaktereigenschappen zoals: geruststellend, behulpzaam
en vrolijk.
Het taalgebruik zal richting het gebruik van langere zinnen met rustmomenten tussen
de berichten door, waardoor het een natuurlijke dialoog wordt. Op het begin van de
chat beginnen met goedemorgen, goedemiddag of goedeavond. Hierdoor gaat het
gesprek richting informele taalgebruik en wordt de gebruiker aangesproken met “jij”.
Als het om taal gaat die de warme chatbot wel gebruikt kan je denken aan: “komt
goed, maak je niet druk”, “het is geen pretje”, “wat vervelend voor je” en “ik kan het
me voorstellen” . Hetgeen dat de warme chatbot niet gebruikt zijn korte woorden en
voorbeelden als: “hoe gestresst bent u”, “meestal” en “klopt dat?” , aangezien de
gebruiker dan meer stress kan ervaren of onzekerder kan worden naar de operatie
toe.
Deze conclusie is van belang om uiteindelijk te achterhalen of dit ook daadwerkelijk
klopt.
Link naar de conclusies.
Testplan
Doel
Het doel van de opdracht is om in de medische context het vertrouwen van een potentiële
patiënt te winnen. Er wordt gekeken naar het stress verminderen van de potentiële
patiënt die tussen de tandarts doorverwijzing naar de kaakchirurg en informatie aan te
bieden over het operatief verwijderen van de verstandskies.
Het doel van dit testplan is om erachter te komen of er vragen over de doorverwijzing
naar de kaakchirurg kunnen worden opgesteld voor de potentiële patiënten. Hierdoor
kunnen de vragen en antwoorden vervolgens worden verwerkt in de warme- en competente
chatbot.
Een voorbeeld van een vraag zou kunnen zijn: “Wat kan een patiënt doen om de pijn na de
behandeling te verzachten?” Waarna het antwoord zou kunnen zijn: “U krijgt een recept
van de dokter mee, waarbij u sterke pijnstillers krijgt om de pijn te verzachten.”
Interviews
Er wordt een scenario van het moment geschetst voor de gebruiker die de test aflegt. Het
moment waarop de potentiële patiënt naar de kaakchirurg moet, waarbij de potentiële
patiënt
meer informatie wilt over de pijn, risico’s en gevolgen van de verstandskies operatie.
Doelgroep
De doelgroep zijn potentiële patiënten tussen de 15 en 25 jaar die van de tandarts naar
de kaakchirurg worden doorverwezen voor een operatieve ingreep voor het laten trekken
van een verstandskies.
Mogelijk ook studenten van een opleiding die relateert aan het beroep tandarts en de
multidisciplinaire professionals.
Link naar
het testplan
User testen 20-11-2018
Voor de user test hebben Fons en ik een klas eerst verteld wat onze opdracht is, wat wij
graag willen testen en het scenario om de chatbot te kunnen testen.
Er is een camera en statief bij de ISSD geleend om een paar interviews te kunnen filmen.
De andere interviews heb ik als spraakopname opgenomen. Ik heb de user testen uitgelegd
voor de warme- en
competente chatbot testen, waarbij de gebruikers de chatbots hebben getest,
interviewvragen hebben
beantwoord en de korte vragenlijst hebben ingevuld.
Conclusie 20-11-2018
Conclusie van de warme chatbot:
In totaal had ik 10 user testen voor de warme chatbot uitgevoerd. De meerderhelft wist
genoeg na de conversatie met de chatbot en kreeg de juiste antwoorden terug. Een klein
deel vond dat de chatbot niet goed werkte, omdat er ingewikkeldere vragen volgens de
gebruikers werden gesteld.
De lengte van de antwoorden waren ook prima, kort, overzichtelijk en niet te kort met
nuttige informatie. Een aantal potentiële patiënten vond dat de chatbot duidelijke
antwoorden en conclusies gaf. De antwoorden zijn lekker simpel en hebben geen moeilijke
zinsstructuur. De warme chatbot is beleefd, heeft geen spellingsfouten, kan de
potentiële patiënt geruststellen, is persoonlijk, prima interpretatie en gaf antwoord.
De gevoelens qua toon verschilden per persoon van droog naar behulpzaam, helpend,
vriendelijk, rustig en neutraal. Enkele vonden het ook professioneel.
Er zijn een aantal verbeterpunten die beter kunnen:
- Vragen over allergieën toevoegen.
- Probeer te specificeren op “hoe lang” en “verdoving”, zodat hierdoor foutieve
antwoorden eruit kunnen worden gefilterd.
- Mogelijk links toevoegen voor meer informatie.
- Follow-ups creëren, waardoor het gesprek beter verloopt.
Een aantal potentiële patiënten wisten geen verbeterpunten en vindt de chatbot prima.
Op het moment scoort de chatbot een 6,6 gemiddeld op vertrouwen.
Voor de user test heb ik elke gebruiker eerst verteld wat de opdracht is, wat ik
graag wil testen en het scenario om de chatbot te kunnen testen.
De vragenlijsten op papier kostte redelijk wat tijd om te analyseren, omdat alle
resultaten eerst moeten worden overgetypt. Er is voor deze user test besloten om de
vragenlijst in Google Forms te plaatsen.
Ik heb de user testen uitgelegd voor de warme- en competente chatbot testen,
waarbij de gebruikers de chatbots hebben getest en de korte vragenlijst hebben ingevuld.
Conclusie 24-11-2018
Conclusie van de warme chatbot:
In totaal had ik 4 user testen voor de warme chatbot uitgevoerd.
De warme chatbot scoort voldoende op betrouwbaarheid, is goed begrijpbaar, geeft nog
niet volledig de goede informatie en gaf gemiddeld ruim voldoende aandacht op het gevoel
naar de gebruiker toe.
Op het moment scoort de chatbot een 6,8 gemiddeld op vertrouwen.
Daarnaast een 7,0 op warm en 6,3 gemiddeld op competent.
Voor de user test hebben Fons en ik een klas eerst verteld wat onze opdracht is, wat wij
graag willen testen en het scenario om de chatbot te kunnen testen.
De online vragenlijsten waren een goed plan, waardoor die voor deze user testen worden
doorgevoerd.
Deze worden per chatbot gedupliceerd.
Ik heb de algemene uitleg over het project gegeven en daarbij de uitleg uitgedeeld met
een nummer per persoon, zodat iedereen de conversatie kan beginnen met het nummer
waardoor alle vragenlijsten aan het einde kloppen met de conversaties. Zo is het
beter te verklaren hoe warm of competent de gebruiker de chatbot vond.
Conclusie 04-12-2018
Conclusie van de warme chatbot:
In totaal waren er veel testen afgelegd, maar er waren 4 user testen voor de warme
chatbot waarvan de data kon worden gebruikt.
Door deze user testen is het duidelijk dat er geen verband is tussen de lengte van de
conversaties met het uiteindelijke warme- en
competente niveau.
Daarnaast is er een significant verschil tussen de lengte van de conversaties en cijfers
met de
uiteindelijke warme- en competente niveau.
Op het moment scoort de chatbot een 6,0 gemiddeld op vertrouwen.
Daarnaast een 5,8 op warm en 5,8 gemiddeld op competent.
Link naar
testrapport 04-12-2018
User testen 05-12-2018
Voor deze user test heb ik weer diverse FH ICT klassen gezocht, waar de user testen
konden worden afgelegd.
Elke gebruiker heeft de chatbot getest door met de chatbot te gaan chatten en vragen te
stellen. Daarna heeft de gebruiker de online vragenlijst ingevuld met het juiste nummer
van de
conversatie.
Dit werkte goed, waardoor die voor deze user testen is doorgevoerd.
Deze heb ik weer per chatbot gedupliceerd.
Conclusie 05-12-2018
Conclusie van de warme chatbot:
In totaal had ik 23 user testen voor de warme chatbot uitgevoerd.
Het is gebleken dat slechte conversaties automatisch lage cijfers op betrouwbaarheid,
begrijpbaarheid, de juiste informatie, zorgen delen en aandacht. Daarnaast ook een lager
cijfer op vertrouwen.
Op het moment scoort de chatbot een 7,4 gemiddeld op vertrouwen.
Daarnaast een 6,9 op warm en 7,3 gemiddeld op competent.
Link naar
testrapport 05-12-2018
User testen 17-12-2018
Voor deze user test heb ik weer diverse FH ICT klassen gezocht, waar de user testen
konden worden afgelegd.
Voor deze user test heb ik besloten om dialogen op te stellen en deze te testen,
aangezien de user testen voorheen niet 100% correcte dialogen waren. Daardoor was de
kans aanwezig dat de cijfers werden beïnvloed.
Elke gebruiker heeft het dialoog gelezen en vervolgens heb ik een interview afgenomen.
Het interview is dezelfde vragenlijst die andere gebruikers eerder hebben ingevuld,
alleen worden deze nu gevraagd.
Dit werkte goed, waardoor die voor deze user testen is doorgevoerd.
De vragenlijsten heb ik weer per chatbot gedupliceerd.
Conclusie 05-12-2018
Conclusie van de warme chatbot:
In totaal had ik 20 user testen voor de warme chatbot uitgevoerd.
Op het moment scoort de chatbot een 7,7 gemiddeld op vertrouwen.
Daarnaast een 7,1 op warm en 7,9 gemiddeld op competent.
Link naar
testrapport 17-12-2018
Conclusies
Het ontwerpen van warme- en competente chatbot is gelukt!
De warme chatbot blijkt geruststellend te zijn. Alleen werken de woorden "wees gerust",
"het komt wel goed", "wat vervelend voor je" en andere soortgelijke reacties minder warm
na veel herhalingen.
De competente chatbot maakt veel gebruik van vakjargon en synoniemen die niet storend
blijken te zijn. Veel informatie verschaft de competente chatbot wat ook prima is.
Daarnaast is de warme chatbot competenter dan warm en is het vertrouwen hoger bij
competente chatbot.
Verklaringen
De medische context is competenter geformuleerd van aard. Waarbij niet alle antwoorden
kunnen naar warm worden geformuleerd.
Daarnaast verwachten mensen mogelijk geen warme reactie in een medische context. Of
willen ze geen warme reactie van een chatbot. Het is onderwerp gaat in dit geval ook
over een pijn situatie, waardoor de warme context mogelijk niet is gewenst.
5. Website
De website is voor de multidisciplinaire professionals.
Multidisciplinaire professionals
De website is voor de multidisciplinaire professionals die onder andere aanwezig waren
op het conversational design event, meer over dit event zie blog 31-10-2018. Dit is een
prima doelgroep, aangezien er op de website informatie over het kiezen van de doelgroep
en waarvoor de chatbot kan worden gediend, doeleinden en strategie komt te staan.
Daarnaast kunnen de multidisciplinaire professionals ook de warme- en competente
chatbots testen.
Proces website
In eerste instantie was mijn idee om een website met een slide functie te gebruiken voor
het stappenplan en was ik begonnen met het brainstormen van ideeën.
Zie onderstaand de schets.
Meer hier
over zien? Klik hier.
Al gauw dacht ik dat is helemaal niet handig, aangezien mijn projectgenoot niet goed kon
programmeren en er altijd veel tijd in het programmeren van een website zit. Toen heb ik
besloten om een Wordpress website op te zetten, aangezien ik het belangrijker vind om
meer tijd in het testen van de chatbot en de inhoud van de website te steken. Zo zou het
ook meteen makkelijker zijn om mijn projectgenoot tekst in te laten voegen.
Top idee! Doen! Ik dacht wel even dat het implementeren van de chatbots niet zou gaan,
toen werkte al gauw een plug-in. Het was wel jammer dat de plug-in maar een chatbot kon
toevoegen voor elke pagina van de website. Toen zocht ik verder en ik kon gewoon een
code invoegen in de website, yes het werkt!
Bekijk snel het proces van de website in onderstaande video.
Eindpresentatie van het project e-health en chatbots.
Eindpresentatie
De start van het einde! Na een aantal maanden hard werken mag het eindresultaat er
eindelijk zijn!
Opdracht
De opdracht was om het vertrouwen bij de potentiële patiënt winnen door
een chatbot in de medische context. Hierbij ontstond het scenario: "de potentiële
patiënt wordt door de tandarts naar de kaakchirurg doorverwezen voor een
verstandskiesoperatie."
Conversational design event
Het event voor de start van het project! De conclusie van de warme chatbot was een
vriendelijk, geruststellende en behulpzame chatbot met woorden als "het komt wel goed",
"wees gerust", "geen probleem". Deze informatie heb ik meegenomen in het project.
Dit was dan ook de race tegen de klok! Hierover is ook een artikel geschreven.
Lees meer.
Data verzamelen
Data uit Google halen die suggesties laten zien. Deze geëxporteerd naar een Excel
bestand en suggesties geselecteerd. Vanuit hier de suggesties omgezet naar vragen en
daarbij antwoorden gezocht met betrouwbare tandarts of doktersbronnen.
In de derde week meteen van start gegaan met een cursus Dialogflow en beginnen met het
programmeren van de warme chatbot!
User testen
Er zijn in totaal vijf user testen afgelegd verdeeld over ongeveer 10 FH ICT klassen en
2 neuromarketing klassen. In totaal 115 user testen afgelegd. De resultaten komen neer
op dat het vertrouwen van de competente chatbot hoger ligt dan de warme chatbot. De
warme chatbot scoort op het cijfer warm lager dan competent.
Het ontwerpen van warme- en competente chatbot is gelukt!
De warme chatbot blijkt geruststellend te zijn. Alleen werken de woorden "wees gerust",
"het komt wel goed", "wat vervelend voor je" en andere soortgelijke reacties minder warm
na veel herhalingen.
De competente chatbot maakt veel gebruik van vakjargon en synoniemen die niet storend
blijken te zijn. Veel informatie verschaft de competente chatbot wat ook prima is.
Daarnaast is de warme chatbot competenter dan warm en is het vertrouwen hoger bij
competente chatbot.
Verklaringen
De medische context is competenter geformuleerd van aard. Waarbij niet alle antwoorden
kunnen naar warm worden geformuleerd.
Daarnaast verwachten mensen mogelijk geen warme reactie in een medische context. Of
willen ze geen warme reactie van een chatbot. Het is onderwerp gaat in dit geval ook
over een pijn situatie, waardoor de warme context mogelijk niet is gewenst.
Aanbevelingen
De aanpak data uit Google halen, user testen en chatbots trainen is naar mijn idee een
prima optie. Dit werkt erg goed voor de resultaten. Het heeft ervoor gezorgd dat de
stappen die werden uitgevoerd heel goed uitpakten.
Website
Tot slot nog de website voor de multidisciplinaire professionals. Hierop staat een
stappenplan, informatie over Dialogflow, warme- en competente chatbot en feiten over het
project.
Afsluiting
Een klein cadeau voor de klant. De sleutel tot het nieuwe succes, een Fontys usb-stick
met de eindbestanden.
Voor de afsluiting zijn er nog diverse gesprekken gevoerd met de multidisciplinaire
professionals en de klant. Een mooie afsluiting met een cadeau voor het draaien van het
project en harde werken!
Het eindevenement vond op 16 januari 2019 plaats op Strijp TQ. Er was voor elke
projectgroep een tafel gereserveerd waar alle projecten werden getoond. Ook het project
waar ik aan heb gewerkt stond er!
Er kwamen studenten, docenten, diverse professionals en mensen van buitenaf langs. Zo
kwam Mark de Graaf ook langs om een interview te houden die ook wordt gepubliceerd, erg
gaaf!!
