Innovatie

Van massa-ontslag tot discriminatie: 32 keer dat AI het compleet bij het verkeerde eind had

Wanneer het mis gaat met AI. Shutterstock
Shutterstock
Leestijd 12 minuten
Lees verder onder de advertentie

De angst voor kunstmatige intelligentie (AI) is zo voelbaar dat er een hele school van technologische filosofie aan is gewijd om uit te zoeken hoe AI het einde van de mensheid zou kunnen inluiden. Niet om iemands paranoia te voeden, maar dit is de lijst van momenten waarop AI (bijna) rampen veroorzaakte, schrijft LiveScience.

Slecht advies van de Air Canada-chatbot

Air Canada belandde in de rechtbank nadat een van de door AI ondersteunende tools van het bedrijf onjuist advies had gegeven over het verkrijgen van een zogenaamde rouwkorting op vliegtickets. Tijdens de rechtszaak voerden de vertegenwoordigers van Air Canada aan dat ze niet verantwoordelijk waren voor wat hun chatbot had gedaan. Afgezien van de enorme reputatieschade die mogelijk is in scenario's zoals deze, ondermijnt het geloof in chatbots de toch al uitdagende wereld van vliegticketsverkoop. De vliegmaatschappij moest bijna de helft van de ticketprijs terugbetalen vanwege de fout.

Een chatbot genaamd MyCity werd betrapt op het aanmoedigen van ondernemers om zich bezig te houden met illegale activiteiten

Blunder bij de lancering van de New York City-website

Welkom in New York City, the city that never sleeps en de stad met de grootste AI-lanceringsblunder in de recente geschiedenis. Een chatbot genaamd MyCity werd betrapt op het aanmoedigen van ondernemers om zich bezig te houden met illegale activiteiten. Volgens de chatbot kon je een deel van de fooien van je werknemers stelen, cash geld weigeren en het personeel minder dan het minimumloon betalen.

Lees verder onder de advertentie

Onbetamelijke tweets van de Microsoft-bot

In 2016 lanceerde Microsoft een Twitter-bot genaamd Tay, die bedoeld was om te communiceren als een Amerikaanse tiener en zich al lerende verder zou ontwikkelen. In plaats daarvan leerde Tay onfatsoenlijke tweets delen. Microsoft gaf de schuld aan andere gebruikers, die Tay met verwerpelijke inhoud hadden bestookt. Het account en de bot werden minder dan een dag na de lancering verwijderd. Het is een van de sleutelmomenten van een AI-project dat helemaal mis ging.

AI-generende inhoud van Sports Illustrated

In 2023 werd het Amerikaanse magazine Sports Illustrated ervan beschuldigd AI in te zetten om artikelen te schrijven. Dit leidde tot het verbreken van een partnerschap met een contentbedrijf en een onderzoek naar hoe deze inhoud gepubliceerd kon worden.

In 2015 werd ontdekt dat een AI-wervingstool van Amazon vrouwen discrimineerde

Massa-ontslag vanwege discriminerende AI

Deze is voor ons Nederlanders wel heel bekend: In 2021 traden Nederlandse politici en premier Rutte af na een onderzoek waaruit bleek dat in de voorgaande acht jaar meer dan 20.000 gezinnen slachtoffer bleken van een discriminerend algoritme: het toeslagenschandaal. De betreffende AI was bedoeld om fraude op te sporen door het risiconiveau van aanvragers te berekenen en verdachte gevallen te markeren. In werkelijkheid werden duizenden mensen gedwongen te betalen voor kinderopvang met middelen die ze niet hadden.

Lees verder onder de advertentie

Schadelijk advies van medische chatbot

De National Eating Disorder Association in de VS veroorzaakte opschudding toen het aankondigde dat het zijn menselijke personeel zou vervangen door een AI-programma. Kort daarna ontdekten gebruikers van de hotline van de organisatie dat de chatbot, bijgenaamd Tessa, advies gaf dat schadelijk was voor mensen met een eetstoornis. Het is nog een bewijs dat medische AI die aan het publiek wordt aangeboden rampzalige gevolgen kan hebben als het niet klaar is of niet in staat is om de massa's te helpen.

Discriminerende wervingstool van Amazon

In 2015 werd ontdekt dat een AI-wervingstool van Amazon vrouwen discrimineerde. De machine learning-tool, getraind op gegevens van de voorgaande 10 jaar aan sollicitanten, waarvan de overgrote meerderheid mannen waren, had een negatieve kijk op cv's die het woord 'vrouwen' gebruikten en was minder geneigd om afgestudeerden van vrouwencolleges aan te bevelen. Het team achter het hulpmiddel werd in 2017 opgesplitst, hoewel identiteit-gebaseerde vooroordelen bij werving niet zijn verdwenen.

Racistische resultaten van Google-afbeeldingen

Google moest de mogelijkheid om te zoeken naar gorilla's in zijn AI-software verwijderen nadat zoekresultaten afbeeldingen van zwarte mensen opleverden. Andere bedrijven, waaronder Apple, hebben ook te maken gekregen met rechtszaken over soortgelijke beschuldigingen.

Lees verder onder de advertentie

Bedreigende AI van Bing

Normaal gesproken, als we het hebben over de dreiging van AI, bedoelen we het op een existentiële manier: bedreigingen voor onze baan, gegevensbeveiliging of ons begrip van hoe de wereld werkt. Wat we meestal niet verwachten is een directe bedreiging voor onze veiligheid.

Toen de AI van Microsoft's Bing voor het eerst werd gelanceerd, bedreigde de tool een voormalige Tesla-stagiair en een professor in de filosofie en beweerde het dat het Microsoft-medewerkers had bespioneerd.

Er zijn al lange tijd zorgen dat de tools van Apple beter werken voor mensen met een witte huid

Ramp met zelfrijdende auto

Hoewel Tesla de krantenkoppen domineert als het gaat om het goede en het slechte van zelfrijdende AI, hebben andere bedrijven hun eigen aandeel in bloedbaden op de weg veroorzaakt. Een daarvan is GM's Cruise. Een ongeval in oktober 2023 verwondde een voetganger ernstig nadat hij onbewust op de rijbaan van een Cruise-model was gaan lopen. De auto reed daarop naar de zijkant van de weg, waarbij de gewonde voetganger werd meegesleurd. Dat was nog niet het einde van dit horrorverhaal. In februari dit jaar beschuldigde de staat Californië Cruise van het misleiden van onderzoekers over de oorzaak en gevolgen van het letsel.

Verdwenen bewijzen van oorlogsmisdaden

Een onderzoek van de BBC heeft uitgewezen dat sociale mediaplatforms AI gebruiken om beelden van mogelijke oorlogsmisdaden te verwijderen, waardoor slachtoffers in de toekomst mogelijk geen informatie kunnen vinden. Sociale media spelen een belangrijke rol in oorlogsgebieden en maatschappelijke opstanden, vaak fungeren ze als communicatiemiddel voor mensen die risico lopen. Het onderzoek wees uit dat - ondanks dat schokkende inhoud in het algemeen belang op de site mag blijven staan - beelden van de aanslagen in Oekraïne, gepubliceerd door de BBC, zeer snel werden verwijderd.

Lees verder onder de advertentie

Discriminatie van mensen met een handicap

Onderzoek heeft aangetoond dat AI-modellen die bedoeld zijn om hulpmiddelen voor natuurlijke taalverwerking te ondersteunen (de ruggengraat van veel op het publiek gerichte AI-tools), mensen met een handicap discrimineren. Dit wordt technologisch of algoritmisch ableïsme genoemd. Deze problemen met natuurlijke taalverwerkingstools kunnen de kansen van gehandicapten op het vinden van werk of toegang tot sociale diensten beïnvloeden. Taal die zich richt op de ervaringen van mensen met een handicap, categoriseren als negatiever - of toxischer - kan leiden tot het verdiepen van maatschappelijke vooroordelen.

Wanneer het mis gaat met AI. Shutterstock
Shutterstock

Verkeerde vertaling

AI-gestuurde vertaal- en transcriptietools zijn niets nieuws. Wanneer ze echter worden gebruikt om asielaanvragen te beoordelen, blijken AI-hulpmiddelen niet geschikt voor de taak. Volgens experts is een deel van het probleem dat het onduidelijk is hoe vaak AI wordt gebruikt tijdens de toch al problematische immigratieprocedures, en duidelijk is dat door AI veroorzaakte fouten wijdverspreid zijn.

Lees verder onder de advertentie

De problemen rond Apple's Face ID

Apple's Face ID heeft zijn deel van beveiligingsproblemen gehad, wat PR-rampen met zich meebrengt. Er waren signalen in 2017 dat de functie voor de gek kon worden gehouden door een vrij eenvoudige truc. Er zijn al lange tijd zorgen dat de tools van Apple beter werken voor mensen met een witte huid. Volgens Apple maakt de technologie gebruik van op het apparaat zelf aanwezige diepe neurale netwerken, maar dat weerhoudt veel mensen er niet van zich zorgen te maken over de gevolgen van AI die nauw verbonden zijn met apparaatbeveiliging.

Falen van vruchtbaarheidsapp

In juni 2021 moest de app voor vruchtbaarheidstracking Flo Health een schikking treffen met de Amerikaanse Federal Trade Commission nadat bleek dat het privé gezondheidsgegevens met Facebook en Google had gedeeld. Met de vernietiging van Roe v. Wade door het Hooggerechtshof van de VS en de toenemende controle op de reproductieve gezondheid van mensen die zwanger kunnen worden, is er bezorgdheid over het feit dat deze gegevens zouden kunnen worden gebruikt om mensen te vervolgen. Dat zijn vaak mensen die toegang proberen te krijgen tot reproductieve gezondheidszorg in gebieden waar dit sterk wordt beperkt.

Volgens onderzoekers vereist een jaar van AI-training 126.000 liter water, ongeveer evenveel als in een groot zwembad in de achtertuin

Onwenselijke populariteitswedstrijd

Politici zijn gewend herkend te worden, maar misschien niet door AI. Een analyse uit 2018 door de American Civil Liberties Union wees uit dat Amazon's Rekognition AI, een onderdeel van Amazon Web Services, ten onrechte 28 toenmalige leden van het Congres identificeerde als mensen die gearresteerd waren. De fouten betroffen leden van beide grote partijen, zowel mannen als vrouwen. Mensen van kleur werden vaker fout geïdentificeerd.

Hoewel dit niet het eerste voorbeeld is van AI's gebreken die een directe impact hebben op wetshandhaving, was het zeker een waarschuwing dat de AI-hulpmiddelen die worden gebruikt om vermeende criminelen te identificeren veel fout-positieven zouden kunnen teruggeven.

Lees verder onder de advertentie

Slechter dan 'Robocop'

In een van de grootste AI-gerelateerde schandalen die ooit een sociaal vangnet hebben getroffen, gebruikte de regering van Australië een automatisch systeem om rechtmatige ontvangers van uitkeringen te dwingen deze terug te betalen. Meer dan 500.000 mensen werden getroffen door het systeem, bekend als Robodebt, dat van kracht was van 2016 tot 2019. Het systeem werd illegaal verklaard, maar niet voordat honderdduizenden Australiërs werden beschuldigd van fraude. De regering heeft te maken gekregen met extra juridische problemen als gevolg van de uitrol, waaronder het terugbetalen van meer dan 700 miljoen Australische dollar aan de slachtoffers.

AI-deepfakes

AI-deepfakes zijn door cybercriminelen gebruikt om van alles te doen, van het imiteren van stemmen van politieke kandidaten tot het creëren van nep-sportpersconferenties, tot het produceren van fake celebrity-beelden. Een van de meest zorgwekkende toepassingen van deepfake-technologie is die binnen de zakelijke sector, aldus een rapport van het World Economic Forum uit 2024.

De 'Zestimate'-mislukking

Begin 2021 zette Zillow (de Amerikaanse evenknie van Funda, red.) een grote stap in de AI-wereld. Het gokte dat een product gericht op het doorverkopen van huizen, eerst Zestimate genoemd en daarna Zillow Offers, zou lonen. Het AI-gestuurde systeem stelde Zillow in staat om gebruikers een vereenvoudigd bod op een huis dat ze verkochten aan te bieden. Minder dan een jaar later moest Zillow 2.000 banen schrappen, een kwart van zijn personeel.

Lees verder onder de advertentie

Leeftijdsdiscriminatie

Vorig najaar schikte de Amerikaanse Equal Employment Opportunity Commission in een rechtszaak met het bedrijf iTutorGroup, een platform voor taallessen op afstand. Het bedrijf moest 365.000 dollar betalen omdat het zijn systeem zo had geprogrammeerd dat sollicitaties van vrouwen van 55 jaar en ouder en mannen van 60 jaar en ouder af werden gewezen. iTutorGroup is gestopt met opereren in de VS, maar de flagrante schending van de Amerikaanse arbeidswetgeving wijst op een onderliggend probleem met hoe AI en HR elkaar kruisen.

In ten minste twee gevallen lijkt AI een rol te hebben gespeeld in ongevallen met Boeing-vliegtuigen

Invloed op verkiezingen

Nu AI een populaire manier wordt om op de hoogte te blijven van wereldnieuws, ontwikkelt zich een zorgwekkende trend. Volgens onderzoek van Bloomberg News hebben zelfs de meest nauwkeurige AI-systemen die werden getest met vragen over de verkiezingen, wereldwijd nog steeds 1 op de 5 reacties verkeerd. Een van de grootste zorgen is dat AI die zich richt op deepfakes, kan worden gebruikt om verkiezingsresultaten te manipuleren.

De kwetsbaarheden van zelfrijdende auto's

Onder de dingen die je wilt dat een auto doet, staat stoppen in de top twee. Door een kwetsbaarheid in AI kunnen zelfrijdende auto's worden geïnfiltreerd en de technologie kan worden gehackt om verkeersborden te negeren. Gelukkig kan dit probleem vaker worden vermeden.

Lees verder onder de advertentie

AI die mensen natuurbranden in stuurt

Een van de meest alomtegenwoordige vormen van AI is auto-gebaseerde navigatie. Echter, in 2017 waren er berichten dat deze digitale wayfinding-tools vluchtende bewoners richting natuurbranden stuurden in plaats van hen ervan weg te leiden. Soms blijkt dat bepaalde routes minder druk zijn met een reden. Dit leidde tot een waarschuwing van de politie van Los Angeles om op andere bronnen te vertrouwen bij crisissitiuaties.

Valse AI-zaken van een advocaat

Eerder dit jaar werd een advocaat in Canada ervan beschuldigd AI te gebruiken om dossierreferenties te verzinnen. Hoewel hij werd betrapt door een collega-raadsman, is het feit dat het gebeurde verontrustend.

Gevaar op de aandelenmarkt

Financieel toezichthouders, waaronder die van de Bank of England, maken zich steeds meer zorgen dat AI-tools de zakenwereld aanzetten tot wat ze kuddegedrag op de aandelenmarkt noemen. De aandelenmarkt zou volgens kenners een 'kill switch' kunnen gebruiken om zo de mogelijkheid van vreemd technologisch gedrag tegen te gaan.

Lees verder onder de advertentie

Slechte dag voor een vlucht

In ten minste twee gevallen lijkt AI een rol te hebben gespeeld in ongevallen met Boeing-vliegtuigen. Volgens een onderzoek van de New York Times uit 2019 was een geautomatiseerd systeem agressiever en risicovoller gemaakt, inclusief het verwijderen van mogelijke veiligheidsmaatregelen. Deze crashes veroorzaakten de dood van meer dan 300 mensen. Het leidde tot een diepgaander onderzoek naar het bedrijf.

Herroeping van medisch onderzoek

Naarmate AI steeds vaker wordt gebruikt in de medische onderzoekswereld, nemen de zorgen toe. In ten minste één geval publiceerde een academisch tijdschrift per ongeluk een artikel dat door generatieve AI was geschreven. Academici maken zich zorgen over hoe generatieve AI het academisch publiceren zou kunnen veranderen.

In een poging, bekend als Project Maven, ondersteunde Google de ontwikkeling van AI om dronebeelden te interpreteren

Politieke nachtmerrie

AI leidt vaker tot valse beschuldigingen jegens politici. Bing's AI-chattool beschuldigde een Zwitserse politicus van het belasteren van een collega en een collega van betrokkenheid bij bedrijfsspionage. Het beweerde ook dat een kandidaat betrokken was bij Russische lobby-inspanningen. Er is ook groeiend bewijs dat AI wordt gebruikt om de meest recente Amerikaanse en Britse verkiezingen te beïnvloeden.

Alfabet-error

In februari 2024 beperkte Google enkele delen van de mogelijkheden van zijn AI-chatbot Gemini nadat het feitelijk onjuiste weergaven had gecreëerd op basis van problematische generatieve AI-prompten die door gebruikers waren ingediend. Google's reactie op het hulpmiddel - voorheen bekend als Bard - en zijn fouten, betekenen een zorgwekkende trend: een bedrijfsrealiteit waar snelheid waardevoller is dan nauwkeurigheid.

Auteursrechtzaken van AI-bedrijven

Een belangrijke rechtszaak betreft de vraag of AI-producten zoals Midjourney de inhoud van kunstenaars mogen gebruiken om hun modellen te trainen. Sommige bedrijven, zoals Adobe, hebben ervoor gekozen om een andere route te volgen bij het trainen van hun AI. Ze putten uit eigen licentiebibliotheken.

Google-gedreven drones

De combinatie van leger en AI is een gevoelig onderwerp, maar de samenwerking is niet nieuw. In een poging, bekend als Project Maven, ondersteunde Google de ontwikkeling van AI om dronebeelden te interpreteren. Hoewel Google zich uiteindelijk terugtrok, kan het desastreuze gevolgen hebben voor degenen die vastzitten in oorlogsgebieden.

Bron: LiveScience

In onze wekelijkse nieuwsbrief vind je het beste van BusinessWise die week en het laatste nieuws over Studio BusinessWise. Abonneer je gratis en blijf altijd op de hoogte!