AI-chatbots worden al veel gebruikt door bedrijven om klanten te begroeten en hun vragen te beantwoorden – telefonisch of op websites. Sommige bedrijven hebben ontdekt dat ze mensen in callcenterfuncties tot op zekere hoogte kunnen vervangen door machines.
Het beschikbare bewijs wijst er echter op dat er sectoren zijn – zoals de gezondheidszorg en human resources – waar uiterste zorg moet worden besteed aan het gebruik van deze eerstelijnsinstrumenten, en ethisch toezicht noodzakelijk kan zijn.
Een recent en veelbesproken voorbeeld is dat van a chatbot genaamd Tessa, die werd gebruikt door de Nationale Eetstoornis Vereniging (NEDA) in de VS. De organisatie had aanvankelijk een hulplijn onderhouden die werd beheerd door een combinatie van werknemers en vrijwilligers. Dit had uitdrukkelijk tot doel kwetsbare mensen met eetstoornissen te helpen.
Echter, dit jaar, de organisatie heeft zijn hulplijnpersoneel ontbonden, waarin werd aangekondigd dat het ze zou vervangen door de Tessa-chatbot. De redenen hiervoor worden betwist. Voormalige werknemers beweren dat de verschuiving volgde op een besluit van het hulplijnpersoneel om zich bij een vakbond aan te sluiten. De vice-president van NEDA aangehaald een groter aantal oproepen en wachttijden, evenals wettelijke verplichtingen rond het inzetten van vrijwilligerspersoneel.
Hoe het ook zij, na een zeer korte operatieperiode werd Tessa offline gehaald vanwege berichten dat de chatbot problematisch advies had gegeven dat de symptomen had kunnen verergeren van mensen die hulp zoeken voor een eetstoornis.
Er werd ook gemeld dat Dr. Ellen Fitzsimmons-Craft en Dr. C Barr Taylor, twee hooggekwalificeerde onderzoekers die hielpen bij de oprichting van Tessa, hadden bepaald dat de chatbot nooit bedoeld was als vervanging voor een bestaande hulplijn of om onmiddellijke hulp te bieden aan mensen met intense symptomen van een eetstoornis.
Aanzienlijke upgrade
Waar is Tessa voor ontworpen? De onderzoekers hadden samen met collega's een observatie studie het benadrukken van de uitdagingen waarmee ze werden geconfronteerd bij het ontwerpen van een op regels gebaseerde chatbot om te communiceren met gebruikers die zich zorgen maken over eetstoornissen. Het is een behoorlijk fascinerende lectuur, waarin ontwerpkeuzes, werkingen, valkuilen en wijzigingen worden geïllustreerd.
De originele versie van Tessa was een traditionele, op regels gebaseerde chatbot, zij het een zeer verfijnde, die een vooraf gedefinieerde structuur volgt, gebaseerd op logica. Het kon niet afwijken van de gestandaardiseerde, voorgeprogrammeerde reacties die door de makers ervan waren gekalibreerd.
Hun conclusie omvatte het volgende punt: “Op regels gebaseerde chatbots hebben het potentieel om tegen lage kosten grote populaties te bereiken bij het verstrekken van informatie en eenvoudige interacties, maar zijn beperkt in het begrijpen en adequaat reageren op onverwachte gebruikersreacties”.
Dit lijkt de toepassingen waarvoor Tessa geschikt was te beperken. Hoe heeft het uiteindelijk de hulplijn kunnen vervangen die voorheen door NEDA werd gebruikt? De exacte reeks gebeurtenissen staat ter discussie te midden van verschillende accounts, maar volgens NPR heeft het hostingbedrijf van de chatbot Tessa veranderd van een op regels gebaseerde chatbot met voorgeprogrammeerde reacties naar een met een “verbeterde vraag- en antwoordfunctie”.
De latere versie van Tessa maakte gebruik van generatieve AI, net zoals ChatGPT en soortgelijke producten. Deze geavanceerde AI-chatbots zijn ontworpen om menselijke gesprekspatronen te simuleren met de bedoeling realistischere en nuttiger antwoorden te geven. Het genereren van deze op maat gemaakte antwoorden is afhankelijk van grote databases met informatie, die de AI-modellen zijn getraind om te ‘begrijpen’ via een verscheidenheid aan technologische processen: machine learning, diepgaand leren en natuurlijke taalverwerking.
Lessen leren
Uiteindelijk genereerde de chatbot wat wordt beschreven als potentieel schadelijke antwoorden op de vragen van sommige gebruikers. De daaropvolgende discussies hebben de schuld van de ene instelling naar de andere verschoven. Het punt blijft echter dat de daaruit voortvloeiende omstandigheden potentieel vermeden hadden kunnen worden als er een instantie was geweest die ethisch toezicht uitoefende, een “mens die op de hoogte was” en zich had gehouden aan het duidelijke doel van Tessa's oorspronkelijke ontwerp.
Het is belangrijk om lessen te trekken uit gevallen als deze tegen de achtergrond van een haast naar de integratie van AI in een verscheidenheid aan systemen. En hoewel deze gebeurtenissen in de VS plaatsvonden, bevatten ze lessen voor degenen die hetzelfde in andere landen willen doen.
Het lijkt erop dat Groot-Brittannië een enigszins gefragmenteerde benadering van deze kwestie hanteert. De adviesraad van het Center for Data Ethics and Innovation (CDEI) is onlangs ontbonden en zijn plaats aan tafel werd ingenomen door de nieuw gevormde Frontier AI Taskforce. Er zijn ook berichten dat in Londen al AI-systemen worden uitgeprobeerd als hulpmiddel voor hulpverleners – maar niet als vervanging voor een hulplijn.
Beide voorbeelden benadrukken een potentiële spanning tussen ethische overwegingen en zakelijke belangen. We moeten hopen dat de twee uiteindelijk op één lijn zullen komen, waarbij het welzijn van individuen in evenwicht wordt gebracht met de efficiëntie en voordelen die AI zou kunnen bieden.
Op sommige gebieden waar organisaties met het publiek interacteren, zullen door AI gegenereerde reacties en gesimuleerde empathie echter nooit genoeg zijn om echte menselijkheid en mededogen te vervangen – vooral op het gebied van de geneeskunde en de geestelijke gezondheidszorg.
Mark Tsagas, Docent Strafrecht, Universiteit van East London
Dit artikel is opnieuw gepubliceerd vanaf The Conversation onder een Creative Commons-licentie. Lees de originele artikel.
