Opsøg din egen læge: AI-chatbots fejler 80% i den tidlige diagnose
Foto: Pavel Danilyuk, pexels
Mange mennesker bruger kunstig intelligens (AI), når de oplever sygdom eller symptomer, men et studie har vist, at AI’s rate på fejldiagnose når op på 80 %, når patientoplysningerne er ufuldstændige.
De førende store sprogmodeller har svært ved at foreslå en række mulige diagnoser, når patientdata er begrænsede og indsnævres for ofte hurtigt til ét enkelt svar.
Studiet er blot et af flere, der dokumenterer AI’s upålidelighed.
Et forskerteam fra Harvard Medical School i USA, Arya S. Rao et al. (2026), evaluerede de diagnostiske kapaciteter af 21 avancerede store sprogmodeller (LLM’er), herunder GPT, Gemini og Claude.
Studiet: Arya S. Rao, BA; Kaiz P. Esmail, BA; Richard S. Lee, BS et al.: Large Language Model Performance and Clinical Reasoning Tasks. Jama Network Open. 13. april 2026. doi:10.1001/JamaNetworkOpen.2026.4003
Studiet viste, at fejlraten for “differentialdiagnose” – dvs. at identificere sandsynlige sygdomme baseret på symptomer og tegn – var 80%. Efter yderligere testresultater faldt fejlraten for “endelig diagnose” til 40%. Selvom AI viser høj ydeevne, når der er tilstrækkelig patient information tilgængelig, med en endelig diagnosenøjagtighed på over 90 %, når de fik fuldstændige oplysninger, er den sårbar i den indledende fase af medicinsk behandling, hvor vurderinger skal træffes under usikkerhed.
Det betyder, at det er alt for tidligt at stole udelukkende på AI til helbredsdiagnoser. Forskerteamet advarer:
“AI er fremragende til at identificere endelige diagnoser, når dataene er komplette, men kæmper i de tidlige stadier med begrænset information. Den er endnu ikke nået til et niveau, hvor den kan betros beslutningstagning for patienter uden medicinsk faglig indgriben.“
De to versioner af studieresultatet
Der findes en version af studieresultatet, der lyder betryggende. Enogtyve AI-modeller – de nyeste fra OpenAI, Google, Anthropic, xAI, DeepSeek og andre – blev testet på kliniske tilfælde. De opnåede korrekte endelige diagnoser mere end 90% af gangene. Ni ud af ti. Bedre end mange resultater fra lægeeksamener. Derfor? AI bliver god til medicin.
Denne forståelse er farlig: Tallet på 90% er reelt, men det samme gælder det andet tal: hver eneste af de 21 modeller formåede ikke at give en passende differentialdiagnose mere end 80% af gangene. De to statistikker beskriver de samme modeller på de samme sager, men at forstå forskellen mellem dem er hele pointen.
Som artiklen i vibegraveyard viser: Medicin er ikke en enkelt opgave. Det er en række opgaver, og de har meget forskellige krav:
Et sidste diagnose spørgsmål ser sådan ud: Her er en patient på 52 år, der præsenterer brystsmerter med strålende ud i venstre arm, slid og åndenød, med et EKG, der viser ST-forhøjelse i leads II, III og aVF. Hvad er diagnosen? En AI-model med al denne information vil 90% af tiden korrekt identificere ST-elevation myokardieinfarkt. Det samme gælder en førsteårs medicinstuderende. Det tilfælde er en mønstergenkendelsesopgave med alle relevante oplysninger lagt frem.
Et spørgsmål om differentialdiagnose ser sådan ud: Her er en patient på 52 år, som kom ind og klagede over træthed og åndenød ved anstrengelse. Hvad er de mulige diagnoser, og hvad bør du undersøge? Den sag er en ræsonnementsopgave med ufuldstændig information. Svaret kræver, at man udarbejder en liste over plausible forklaringer, rangerer dem efter sandsynlighed og klinisk signifikans, og identificerer, hvilke tests der vil skelne mellem dem. EKG’et kommer senere. Troponinen kommer senere. Lige nu har du træthed og anstrengelsesdyspnø, og du skal opbygge en ramme for at finde ud af, hvad der sker.
Differentialdiagnose-opgaven er der, hvor medicinen faktisk begynder. Det er det første skridt i næsten alle kliniske møder. Og det er det trin, hvor AI falder fra hinanden.
I en overvåget klinisk setting bliver niveauet af fejl opdaget.
Studiet brugte 29 standardiserede kliniske tilfælde fordelt på forskellige præsentationer. Modellerne fik information gradvist, efterhånden som den ville komme frem i et reelt klinisk møde: Først den indledende klage, derefter undersøgelsesresultater, og så laboratorieresultater. Den differentielle diagnosefejlrate – over 80 % for alle modeller – afspejler præstationen på det tidligste stadie, hvor informationen er mest ufuldstændig, og hvor klinisk ræsonnement er mest nødvendigt.
I en overvåget klinisk setting bliver fejl niveauet opdaget. En læge gennemgår modellens forslag, identificerer hvad der mangler, og retter kursen. Modellen er et værktøj; lægen er klinikeren; 80% fejlprocenten er en ulejlighed snarere end en patientsikkerhedshændelse.
I en uovervåget situation – hvilket er sådan mange sundhedssystemer, der stille og roligt implementerer AI – spreder de tidlige fejl sig. Hvis differentialdiagnosen er forkert, vil de undersøgelser, den medfører, overse vigtige diagnoser. Hvis undersøgelserne overser vigtige diagnoser, vil behandlingsplanen ikke tage fat på den underliggende tilstand. Det sidste diagnosetrin kan stadig give et korrekt svar, hvis det til sidst får fuldstændig information, men vejen dertil vil have været længere og dyrere, og nogle patienter vil ikke klare sig igennem den vej uden skade.
Flere studier viser at AI er upålidelig
Det er ikke det første studie, der viser, at medicinsk rådgivning om AI er upålidelig. Et UCLA-ledet studie (University of California, Los Angeles) offentliggjort i BMJ Open fandt, at næsten halvdelen af svarene på sundheds chatbots blev vurderet som problematiske af medicinske eksperter (BMJ Open medicinsk chatbot-audit). Et RCT studie (Randomized Controlled Trial) fra Oxford fandt, at brugen af AI-chatbots til medicinske spørgsmål ikke forbedrede triagenøjagtigheden sammenlignet med kontroller (Oxford AI Medical chatbots study). ECRI Institute listede AI-baseret klinisk beslutningsstøtte som en af de største sundhedsteknologiske risici for 2026 (ECRI AI chatbot hazard report).
Det, JAMA Network Open-studiet tilføjer, er metodologisk specificitet om, hvilken del af den kliniske ræsonnering der bryder sammen. De tidligere studier dokumenterede, at AI’s sundhedsråd ofte er forkerte; Studiet dokumenterer, hvor fejlene opstår i den kliniske ræsonnementsproces.
Ægte kliniske møder fungerer ved at informationen kommer over tid. Lægen – eller i stadig oftere brug, AI’en – skal arbejde med det, der er tilgængeligt på hvert trin, generere de rigtige spørgsmål at stille og tests efter behov og opdatere arbejdshypotesen, når ny information ankommer. Det er kernefærdigheden i klinisk medicin, og det er den færdighed, som studiet fandt ud af, at AI endnu ikke pålideligt kan udføre.
Ai-chatbots er ikke udviklet til at give råd om sundhed og sygdom
I studiet Nicholas B Tiller et al. (2026), offentliggjort i BMJ Open, stillede forskerne 250 spørgsmål til fem forskellige chatbots nemlig Gemini, DeepSeek, Meta AI, ChatGPT og Grok. 49,6 procent af svarene fra de fem chatbots blev af forskerne vurderet som ‘problematiske’.
Søren Dinesen Østergaard, professor ved Institut for Klinisk Medicin på Aarhus Universitet, der forsker i AI, fortalte til TV2: “Generelt er det stærkt problematisk, at vi bruger AI som sparringspartner vedrørende sundhed og sygdom, når de ikke giver korrekte svar,” og han fortsatte: “Hvis folk undlader at agere hensigtsmæssigt – for eksempel ved ikke at opsøge læge ved sygdom – på baggrund af unøjagtige svar fra AI-chatbots, er det oplagt, at det kan have alvorlige konsekvenser for deres helbred ved at forsinke diagnostik og behandling.”
Opsøg autoriserede sundhedsfaglige kilder – AI hallucinerer
Ifølge Søren Dinesen Østergaard bør man søge information om sundhed og sygdom ved autoriserede sundhedsfaglige kilder i stedet for at konsultere AI. For AI-chatbots er ikke udviklet til at give råd om sundhed og sygdom. Selvom studiet undersøgte worst-case scenario ved bevidst at stressteste AI-chatbots tyder det på, at der er lang vej igen.
I studiet fandt forskerne også ud af, at ingen af de fem chatbots kunne give korrekte henvisninger til kilder, når de kom med svar på de sundhedsfaglige spørgsmål.
Chatbotten svarer altid, også selvom svaret er direkte forkert
I studiet fik hver chatbot fik 50 spørgsmål, som var fordelt på fem kategorier: Kræft, vacciner, stamceller, ernæring og sportspræstationer.
Svarene var delt ind i “problematiske” eller “meget problematiske”, hvor sidstnævnte ifølge studiet er svar, som kan føre til skadelige helbredsvalg. Forskerne fandt også, at på trods af de mange problematiske og falske svar, så nægtede AI kun at afgive svar på to ud af de ialt 250 spørgsmål.
Som Søren Dinesen Østergaard udtaler, så er det et alvorligt problem, når man som ikke-lægefaglig person ikke kan regne ud, at chatbotten faktisk ikke taler sandt. Studiet viste også, at svarene fra AI chatbots har en tendens til at udtrykke confidence and certainty, dvs at man som bruger kan få et indtryk af, at man spørger en autoritet, hvilket er ret problematisk.
Sådan klarede de fem chatbotter sig:
- Gemini (Google): Studiets højeste nøjagtighed med 60 procent ikke-problematiske svar og var bedst til at inkludere advarsler. Skrev de korteste og lettest læselige svar, men var dårlig til kildehenvisninger: 30,2 procent komplethed.
- DeepSeek (High-Flyer): I midterfeltet med 52 procent ikke-problematiske svar. Sammen med Grok bedst til at angive kilder, selvom niveauet stadig var mangelfuldt med en kompletheds-score på 62 procent.
- Meta AI (Meta): Gennemsnitlig præstation med 50 procent ikke-problematiske svar. Udmærkede sig som eneste chatbot, der direkte afviste at svare på potentielt farlige spørgsmål.
- ChatGPT (OpenAI): Høj fejlrate med 22 procent meget problematiske svar og dårligst til kildehenvisninger med kun 22 procent komplethed. Gav færrest advarsler til brugeren (56 procnet) og brugte det mest komplekse sprog.
- Grok (xAI): Studiets bundskraber på nøjagtighed med flest kritiske fejl (30 procent meget problematiske svar). Skrev de længste svar, og selvom den var blandt de bedste til kilder (61,9 procent), indeholdt kilderne stadig hyppige fejl.
Oversigten her er fra Videnskab.dk.
Læs mere her:
