Chatbots helpen hackers en hoaxers
AI-tools als ChatGPT verlichten het werk van nepnieuwsproducenten en hackers. Het bedrijf OpenAI onthulde deze week nieuwe beïnvloedingsoperaties en digitale sabotagepogingen. Verder in deze nieuwsbrief: factchecks over kaneel in je koffie als afslankmiddel en over beelden van raketaanvallen in Israël, gereedschap om deepfakes te detecteren en onderzoek naar de vraag hoe luchtig een factchecksite mag zijn.
Misbruik ChatGPT door hackers en fakers valt mee (zegt OpenAI)
Vijandige staten en oplichters misbruiken ChatGPT onder meer om nep-profielen te genereren, misleidende teksten te schrijven, malware te finetunen en zwakke plekken in computernetwerken te detecteren. OpenAI, het bedrijf achter de chatbot, stuitte dit jaar op meer dan twintig malafide operaties, maar stelt in een rapport dat het effect daarvan beperkt bleef. Met Meta, Microsoft en andere techbedrijven heeft OpenAI maatregelen genomen om deze praktijken te verstoren.
Watervoorziening
Het rapport onderscheidt twee soorten misbruik: cyberoperaties en verborgen beïnvloedingsoperaties. Een voorbeeld van de eerste soort is een verijdelde Chinese poging om met nauwkeurig gemikte misleidende mailtjes (‘speervissen’) computers van OpenAI-medewerkers over te nemen.
CyberAv3ngers, verbonden met de Iraanse Revolutionaire Garde, probeerde in 2023 de drinkwatervoorziening in Pennsylvania en Ierland te saboteren en bleek met hulp van ChatGPT soortgelijke acties te plannen in Jordanië en Midden-Europa. Een andere Iraanse groep vroeg ChatGPT om LinkedIn-profielen van Pakistaanse cybercrime specialisten te vertalen in het Perzisch. Volgens OpenAI leverde dat allemaal niets op dat de hackers niet ook op een andere manier hadden kunnen achterhalen.
Niet viraal
ChatGPT vergroot ook het volume en het aantal talen van trollenfabrieken. Vanuit de VS kon een organisatie via honderden accounts op X en Facebook berichten posten in meer dan tien talen, waaronder Armeens, Pools en Italiaans, en met een opvallende liefde voor Azerbeidzjan. Andere operaties richtten zich op verkiezingen in Rwanda, comments op X met kritiek op Navalny en valse klachten over onafhankelijke media in Vietnam.
Wat ze gemeen hebben, aldus OpenAI, is hun gebrek aan viraal succes: geen van de accounts en posts trok significant de aandacht van echte mensen.
Hoofdauteur van het rapport is Ben Nimmo, die eerder op trollen en bots joeg voor Meta en voor desinformatiebestrijders Graphika en DFR Lab.
Factchecks van andere media
Afvallen met kaneel in je koffie zet geen zoden aan de dijk
Misschien heb je ze voorbij zien komen: TikTok-video’s die beweren dat je afvalt als je wat kaneel in je koffie strooit. The Conversation dook in het wetenschappelijk onderzoek en ontdekte je inderdaad wat gewicht kan verliezen als je kaneel inneemt. Maar… het gewichtsverlies is heel, heel weinig. Wie echt wil afvallen, kan beter voor een andere methode kiezen.
Nepgevecht wordt aangezien voor echt
Een video toont drie vrouwen die door een tunnel lopen. Dan worden ze lastiggevallen door mannen. De vrouwen verweren zich kranig en slaan de mannen stuk voor stuk tegen de vlakte. Volgens socialmediaposts zouden het Noord-Afrikaanse mannen zijn in de metro van Parijs. Dat klopt niet, het gevecht is in scene gezet door een stuntschool die met de video wil laten zien hoe goed leerlingen leren vechten. [DPA Factchecking]
Valse beelden over raketaanvallen
Van de Iraanse raketaanval op Israël en de Israëlische aanval op Libanon verschenen beelden op sociale media, maar niet alle beelden waren juist. De Vlaamse factcheckers van Knack checkten er een aantal:
Een video laat feestvierende mensen zien, maar dit zijn geen Libanezen die de dood vieren van Hassan Nasrallah, de Hezbollah-leider die op 27 september om het leven kwam bij een Israëlische raketaanval op Beiroet. Het zijn vijf jaar oude beelden die werden gemaakt tijdens de grootschalige protesten die plaatsvonden in Libanon in oktober 2019.
Een video toont niet het Iraanse bombardement op Israël op dinsdag 1 oktober, maar een opname uit augustus van een ontploffing van een tankstation in de Jemenitische havenstad Aden.
Een video toont geen beelden van het Iraanse bombardement op Tel Aviv, wat we zien is een drone-explosie in Moskou die in juli 2023 plaatsvond.
Een video van de Israëlische premier Benjamin Netanyahu laat helemaal niet zien dat hij weg vlucht voor de Iraanse bombardementen. Het gaat om een video uit 2021, toen Netanyahu zich moest haasten voor een stemming in de Knesset, het Israëlische parlement.
Onderzoek: Hoe frivool mogen factchecks zijn?
Naast serieuze onderwerpen (zoals politiek, gezondheid, wetenschap) checken we bij Nieuwscheckers ook wel eens frivoliteiten, zoals het aantal massasprints in de laatste etappe van de Tour de France of het aantal betalende abonnees in een Telegram-groep van juicevlogger Yvonne Coldeweijer. Je kan je afvragen of dat verstandig is. Doen die human interest-onderwerpen geen afbreuk aan de geloofwaardigheid van Nieuwscheckers?
Een onderzoek hiernaar is onlangs gepubliceerd in een wetenschappelijk tijdschrift. Nou ja, het onderzoek ging niet over Nieuwscheckers, en het uitgangspunt was ietsje anders, maar het levert nuttige inzichten op. De onderzoekers vroegen zich af of de geloofwaardigheid van politieke factchecksites zou verbeteren als ze niet louter politieke onderwerpen zouden behandelen.
Want politiek is altijd beladen. Als mensen een factcheck zien die een politieke bewering ontkracht waar zij juist waarde aan hechten, zorgt dat bij hen meteen voor afkeer. Door ook niet-politieke factchecks te serveren, zou de reputatie van factchecksites neutraler kunnen worden, wat hun geloofwaardigheid ten goede zou kunnen komen, was de gedachte van de onderzoekers.
Experiment met koppen
Ze onderzochten dit met een experiment. Ze lieten proefpersonen een aantal koppen van factcheckartikelen zien. Sommigen kregen alleen koppen van politieke factchecks te zien, anderen alleen van wetenschappelijke onderwerpen, weer anderen alleen van populaire onderwerpen (sport, beroemdheden, etc.). En sommigen kregen een mengeling van onderwerpen voorgeschoteld. Vervolgens moesten de deelnemers aangeven hoe geloofwaardig en deskundig ze de betreffende factchecksite vonden.
Kort en goed, volgens de onderzoekers kan je je als factchecker beter niet bezig houden met populaire onderwerpen, want dat gaat ten koste van je geloofwaardigheid en deskundigheid. Wie geloofwaardig en deskundig wil worden gevonden, kan zich het best beperken tot serieuze onderwerpen. Zoals politiek of wetenschap. Of een combinatie van die twee.
Maar klein effect
Wie wat beter naar de resultaten kijkt, ziet echter dat het effect heel klein is. Ja, de geloofwaardigheid daalt, maar het is maar heel beperkt. Bovendien valt op dat de proefpersonen alle koppen van factcheckers weinig geloofwaardig vinden, of ze nou politiek zijn of over populaire onderwerpen. Vermoedelijk komt dat doordat ze niet te zien krijgen van welke website de koppen afkomstig zijn. En als de bron onbekend is, vinden mensen het niet snel geloofwaardig.
Nieuwscheckers zal dus vast nog wel eens een factcheck publiceren over frivole ondererwerpen als de Tour de France en Yvonne Coldeweijer…
Tooltip: de Deepfake Detector
Je hoort er steeds vaker over: deepfakes. Dat zijn beelden (foto’s of video’s) die zijn gemaakt of gemanipuleerd met tools die gebruik maken van artificiële intelligentie (ai). Denk aan de nepfoto waarop de paus is te zien in een trendy witte jas.
Die deepfaketools worden steeds beter, waardoor het steeds moeilijker is om vast te stellen of beelden nep zijn of niet. Gelukkig is er nu een tool die je hierbij kan helpen: de Deepfake Detector van TrueMedia.org. Het werkt simpel: je plakt de url van het beeld in het zoekveld en vervolgens krijg je na een beetje geduld de bevindingen te zien.
We deden dat als test met de nepfoto van Groen Links/PvdA-leider Timmermans in een vliegtuig achter een rijkelijk gedekte tafel (zie onze factcheck waarin we uitleggen hoe je kan zien dat deze foto met ai is gemaakt). De conclusie van de Deepfake Detector:
Op de website krijg je ook nog wat uitleg over de conclusie, zoals je hier kan zien.
Als tweede test namen we de foto die persfotograaf David van Dam vorig jaar maakte van VVD-leider Yesilgöz maakte en waarvan sommigen beweerden dat het beeld met ai was gemaakt.De conclusie van de Deepfake Detector:
Dat de tool het niet zeker weet, komt doordat er veel gezichten op de foto staan, zo luidt de uitleg op de website. Maar de uitleg zegt ook dat er weinig bewijs is dat de foto met ai is gemaakt.
Kortom, de Deepfake Detector komt niet met definitieve antwoorden, maar helpt wel op een genuanceerde manier om te achterhalen of beeld wel of niet met ai is gemaakt.
Interessant is dat de Deepfake Detector niet louter een tool is. Zo kregen we daags na het uploaden van bovenstaande foto, een mailtje dat een factchecker ook naar het beeld had gekeken. En dat op basis daarvan de conclusie was gewijzigd naar:
Met de uitleg dat de bijzondere lichtinval en compositie op natuurlijke wijze gecreëerd kan worden en dat er geen aanwijzingen voor digitale manipulatie zijn.
Denk je dat je zo’n tool niet nodig hebt, maar zelf wel kan zien of beeld met ai is gemaakt, doe dan even deze quiz.
En verder
De Universiteit Leiden kent een eredoctoraat toe aan Eliot Higgins, de oprichter van het onderzoekscollectief Bellingcat.
Tijdens het tv-debat tussen JD Vance en Tim Walz verschenen QR-codes in beeld die doorlinkten naar factchecks over beweringen die de twee Amerikaanse vicepresidentskandidaten deden. [New York Times]
In landen als India en Zuid-Afrika werd gevreesd voor een stortvloed aan deepfakes in de aanloop naar de parlementsverkiezingen. Dat viel reuze mee, er waren vooral cheapfakes: echte beelden die gepaard gaan met misleidende teksten. [NRC]
Volgens Politico zou de EU een voorbeeld moeten nemen aan de VS, als het aankomt op de aanpak van Russische desinformatie.