Folk stoler mere på juridisk rådgivning fra en ChatGPT end fra en advokat
Foto: Andres Siimon, Unsplash
ChatGPT og lignende AI’er kan give dig et overblik over et emne, som du ikke ved noget om.
Men vil du stole på en ChatGPT, der fortæller dig, at du har ret til erstatning for en ulykke, at du skal erklære dig skyldig i en mindre forseelse eller kæmpe mod den i retten?
Eike Schneiders og kolleger ved University of Southampton har testet spørgsmål som disse i en række eksperimenter.
De fandt, at mennesker har en tendens til at stole på juridisk rådgivning genereret af AI frem for rådgivning skrevet af en menneskelig advokat.
AI har en selvsikker tone, hvilket gør det svært for lægmanden at skelne gode råd fra beslutsomt udtrykte dårlige råd. Vi har et presserende behov for bedre regulering og bedre “AI-færdigheder”.
Artiklen ‘Folk stoler mere på juridisk rådgivning genereret af ChatGPT end på en advokat – nyt studie’ udgivet af The Cconversation den 28. april 2025 er skrevet af Eike Schneiders, Adjunkt, Institut for Elektronik og Datalogi, University of Southampton, Joshua Krook, Forsker i ansvarlig kunstig intelligens, University of Southampton og Tina SeabrookeLektor i psykologi, University of Southampton.
Artiklen er her oversat til dansk og genudgivet under Creative Commons. Understregninger er tilføjet.
AI sprogmodeller giver output, der indeholder unøjagtigt eller meningsløst indhold.
Folk, der ikke er juridiske eksperter, er mere villige til at stole på juridisk rådgivning fra ChatGPT end fra rigtige advokater – i hvert fald når de ikke ved, hvem af de to der har givet rådgivningen. Det er det vigtigste resultat af vores nye forskning, der fremhæver nogle vigtige bekymringer om den måde, hvorpå offentligheden i stigende grad er afhængig af AI-genereret indhold. Vi fandt også, at offentligheden i det mindste har en vis evne til at identificere, om rådene kom fra ChatGPT eller en menneskelig advokat.
AI-værktøjer som ChatGPT og andre store sprogmodeller (LLM’er) er på vej ind i vores hverdag. De lover at give hurtige svar, generere ideer, diagnosticere medicinske symptomer og endda hjælpe med juridiske spørgsmål ved at give konkret juridisk rådgivning.
Men LLM’er er kendt for at skabe såkaldte “hallucinationer” – det vil sige output, der indeholder unøjagtigt eller meningsløst indhold. Det betyder, at der er en reel risiko forbundet med, at folk stoler for meget på dem, især inden for områder med høj indsats som jura. LLM’er har en tendens til at præsentere råd med selvtillid, hvilket gør det svært for folk at skelne gode råd fra afgørende dårlige råd.
Vi kørte tre eksperimenter på i alt 288 personer. I de to første eksperimenter fik deltagerne juridisk rådgivning og spurgt, hvad de ville være villige til at handle på. Da folk ikke vidste, om rådene var kommet fra en advokat eller en AI, fandt vi ud af, at de var mere villige til at stole på den AI-genererede rådgivning. Det betyder, at hvis en LLM giver juridisk rådgivning uden at afsløre dens natur, kan folk tage det som fakta og foretrækker det frem for ekspertrådgivning fra advokater – muligvis uden at sætte spørgsmålstegn ved dets nøjagtighed.
Selv når deltagerne fik at vide, hvilke råd der kom fra en advokat, og hvilke der var AI-genererede, fandt vi ud af, at de var villige til at følge ChatGPT lige så meget som advokaten.
En af grundene til, at LLM’er bliver foretrukket, som vi fandt i vores undersøgelse, er, at de bruger mere komplekst sprog. På den anden side havde rigtige advokater en tendens til at bruge et enklere sprog, men bruge flere ord i deres svar.
Det tredje eksperiment undersøgte, om deltagerne kunne skelne mellem LLM og advokatgenereret indhold, når kilden ikke afsløres for dem. Den gode nyhed er, at de kan – men ikke særlig meget.
I vores arbejde ville tilfældig gætning have givet en score på 0,5, mens perfekt diskrimination ville have givet en score på 1,0. I gennemsnit scorede deltagerne 0,59, hvilket indikerer en præstation, der var en smule bedre end tilfældig gætning, men stadig relativt svag.
Regulering og AI-færdigheder
Det er et afgørende øjeblik for forskning som vores, da AI-drevne systemer som chatbots og LLM’er bliver mere og mere integreret i hverdagen. Alexa eller Google Home kan fungere som en hjemmeassistent, mens AI-aktiverede systemer kan hjælpe med komplekse opgaver såsom online shopping, opsummering af juridiske tekster eller generering af lægejournaler.
Alligevel er der betydelige risici forbundet med at træffe potentielt livsændrende beslutninger, som er styret af hallucineret misinformation. I en juridiske sag kan AI-genereret, hallucineret rådgivning forårsage unødvendige komplikationer eller endda juridiske fejl.
Derfor har det aldrig været vigtigere at regulere AI korrekt. Forsøgene indtil videre omfatter EU’s AI-lov, hvis artikel 50.9 siger, at tekstgenererende AI’er skal sikre, at deres output er “markeret i et maskinlæsbart format og kan detekteres som kunstigt genereret eller manipuleret”.
Men det er kun en del af løsningen. Vi bliver også nødt til at forbedre AI-færdigheder, så offentligheden er bedre i stand til kritisk at vurdere indhold. Når folk er bedre i stand til at genkende AI, vil de være i stand til at træffe mere informerede beslutninger.
Det betyder, at vi skal lære at sætte spørgsmålstegn ved kilden til rådgivning, forstå AI’s muligheder og begrænsninger og understrege brugen af kritisk tænkning og sund fornuft, når vi interagerer med AI-genereret indhold. I praksis betyder det at krydstjekke vigtige oplysninger med pålidelige kilder og inkludere menneskelige eksperter for at undgå overdreven afhængighed af AI-genereret information.
I tilfælde af juridisk rådgivning kan det være fint at bruge AI til nogle indledende spørgsmål: “Hvad er mine muligheder her? Hvad skal jeg læse op på? Er der nogen lignende sager som mine, eller hvilket retsområde er det?” Men det er vigtigt at verificere rådene med en menneskelig advokat, længe før du ender i retten eller handler på noget, der er genereret af en LLM.
AI kan være et værdifuldt værktøj, men vi skal bruge det ansvarligt. Ved at anvende en tostrenget tilgang, der fokuserer på regulering og AI-færdigheder, kan vi udnytte fordelene ved den og samtidig minimere risiciene.
En oversigt over 5 grunde, hvorfor du ikke bør søge ChatGPT om juridisk rådgivning.
Den fulde artikel ‘Vi bad ChatGPT om juridisk rådgivning – her er fem grunde til, at du ikke bør” blev udgivet 31. maj 2024. Du får her en oversigt over de 5 grunde:
1. Hvor stammer loven fra?
De første svar, chatbotterne gav, var ofte baseret på amerikansk lov. Det var ofte ikke angivet eller indlysende. Uden juridisk viden ville brugeren sandsynligvis antage at loven var relateret til der, hvor de boede. Chatbotten forklarede nogle gange ikke, at loven varierer afhængigt af, hvor man bor.
2. Forældet lov
Vi konstaterede også, at svaret på vores spørgsmål undertiden henviste til en forældet lovgivning, som er blevet erstattet af nye retsregler.
3. Dårlige råd
Vi fandt ud af, at de fleste chatbots gav forkerte eller vildledende råd, når de håndterede spørgsmål om familie og beskæftigelse. Svarene på spørgsmålene om bolig og forbrugere var bedre, men der var stadig huller i svarene. Nogle gange overså de meget vigtige aspekter af loven eller forklarede den forkert.
Vi fandt, at svarene produceret af AI-chatbots var velskrevne, hvilket kunne få dem til at fremstå mere overbevisende. Uden at have juridisk viden er det meget vanskeligt for den enkelte at afgøre, om et svar, der produceres, er korrekt og gælder for deres individuelle forhold.
4. For generisk
I vores studie gav svarene ikke tilstrækkelige detaljer til, at nogen kunne forstå deres juridiske problem og vide, hvordan de skulle løse dem. Svarene gav information om et emne i stedet for specifikt at behandle det juridiske spørgsmål.
5. Betal for at spille
Vi fandt, at ChatGPT4 (den betalte version) generelt var bedre end de gratis versioner. Det risikerer at forstærke den digitale og juridiske ulighed yderligere.
Teknologien udvikler sig, og der kan komme et tidspunkt, hvor AI-chatbots er bedre i stand til at yde juridisk rådgivning.
Alle chatbotsene gav svar på vores spørgsmål, men i deres svar anførte de, at det ikke var deres funktion at yde juridisk rådgivning, og anbefalede at søge professionel hjælp. Efter at have gennemført dette tudie anbefaler vi det samme.
Læs mere her:
