Sinds de komst van het eerste taalmodel, nu bijna vier jaar geleden, zijn onderzoekers veel meer artikelen gaan insturen naar wetenschappelijke tijdschriften. Deze inzendingen zijn gemiddeld slechter geschreven dan voorheen. Ook de kwaliteit van de collegiale controle – de zogeheten peerreview – is sterk afgenomen.

Dit schrijven Amerikaanse onderzoekers in een studie van artikelen die de afgelopen jaren zijn ingestuurd naar het vakblad Organization Science. De publicatie is de zoveelste aanwijzing dat het gebruik van kunstmatige intelligentie (AI) door onderzoekers leidt tot een verrommeling van wetenschappelijke publicaties. Zo meldde het medische vaktijdschrift The Lancet onlangs dat door AI het aantal verwijzingen naar niet-bestaande bronnen in biomedische artikelen in enkele jaren is vertienvoudigd.

„We zijn, voor zover we weten, het eerste vaktijdschrift dat verslag doet van de vroege effecten van AI op het reviewproces”, schrijven de onderzoekers in Organization Science. De onderzoekers rekenen naar eigen zeggen ook af met het idee dat het gebruik van een taalmodel de kwaliteit van de teksten in papers verbetert.

Voor hun onderzoek analyseerden de onderzoekers bijna 7.000 artikelen en ruim 10.000 reviewteksten die werden ingestuurd sinds 2021. Dat was het jaar voordat het gebruik van taalmodellen een hoge vlucht nam na de introductie van de eerste versie van ChatGPT in november 2022. In deze periode blijkt het aantal ingezonden artikelen met 42 procent te zijn toegenomen.

Om te kijken in hoeverre er sprake is van een AI-effect, zijn alle papers gecontroleerd op de mate waarin is gebruikgemaakt van AI. Dat is gebeurd met een computermodel (Pangram) dat teksten classificeert als geschreven door mensen dan wel door een taalmodel. Omdat van een afzonderlijke tekst niet met zekerheid kan worden vastgesteld in hoeverre AI precies heeft meegeholpen met schrijven, is gekozen voor categorieën.

Een score van 15 procent AI-hulp of minder geldt als volledig door mensen geschreven. Met een score van 15 tot 30 procent is voor de paper „samengewerkt” met een taalmodel. Tussen de 30 en 70 procent betekent dat het taalmodel „substantieel meer controle” heeft gehad. Boven de 70 procent is het aannemelijk dat de tekst vooral is gegenereerd door een taalmodel. De enige categorie die in bijna vier jaar kleiner is geworden, zijn teksten die volledig door mensen zijn geschreven. De rest is alleen maar toegenomen, over de hele linie.

Om de kwaliteit van de teksten te toetsen maakten de onderzoekers gebruik van software die is gebaseerd op de zogeheten Flesch-Kincaid-leesbaarheidstesten. Met deze testen, die in de jaren 70 werden ontwikkeld voor de Amerikaanse marine, bereken je de moeilijkheidsgraad van een tekst door onder meer te kijken naar het gebruik van woorden met veel lettergrepen.

Op een aantal punten doen de teksten met (veel) AI-zinnen het wel iets beter dan teksten die wetenschappers schrijven. In de AI-teksten staan minder passieve werkwoordsvormen en minder slagen om de arm (‘zou kunnen’, ‘suggereert’). Toch is „AI-proza moeilijker om te lezen”, zeggen de onderzoekers. Dat komt door het veelvuldige gebruik van jargon en van woorden met veel lettergrepen. Daarnaast worden werkwoorden vaak gebruikt als zelfstandig naamwoord (bijvoorbeeld ‘conceptualization’). Deze naamwoordstijl maakt een tekst moeilijker leesbaar.

Wetenschappers die tijdens de peerreview commentaren schrijven op de ingestuurde artikelen, gebruiken ook AI. Dat doen ze wel minder intensief dan de auteurs van de inzendingen, maar desondanks is de hoeveelheid commentaren waarin AI substantiële controle heeft wel sterk gegroeid. De reviews zijn ook minder leesbaar geworden, door jargon, lange woorden en naamwoordstijl. Daarnaast is de kwaliteit afgenomen, zeggen de onderzoekers. De commentaren gaan veel meer over theorie, en veel minder over data.

AI is niet de oorzaak van deze verslonzing, zegt hoogleraar Daniël Lakens, die zich aan de TU Eindhoven bezighoudt met onderzoeksmethoden en toegepaste statistiek: „AI versterkt alleen wat er al lang niet goed gaat in de wetenschap.” Bijvoorbeeld wetenschappers die geen werk van hoge kwaliteit afleveren. „Die gebruiken nu AI en maken dan sneller – en meer – slecht werk.”

Het onderliggende probleem, vindt Lakens, is de publish-or-perish-cultuur in de wetenschap, ofwel: alleen wie schrijft, die blijft: „Een promotieplek of baan krijg je eerder met een lange lijst publicaties dan met een korte lijst.” De publicaties worden vaak niet (goed) gelezen, zegt Lakens: „Het is vaak een evaluatie van het soort: nou die publiceert veel, die is wel goed bezig.”

Ook de peerreview is ontoereikend om het kaf van het koren te scheiden, ook al omdat wetenschappers vaak niet genoeg tijd hebben om de vele artikelen te beoordelen. Lakens: „Ook de reviewers zijn niet altijd even goed. Er is gewoon geen harde kwaliteitstoets in het systeem.”