Ny forskning: ChatGPT blev afsløret af diabeteseksperter

11-09-2023

Senior data scientist Adam Hulman lægger stor vægt på at komme ud i klinikken og møde de læger og patienter, der i fremtiden skal bruge kunstig intelligens. Her ses han sammen med Liselotte Fisker, der er cheflæge på Steno Diabetes Center Aarhus, Aarhus Universitetshospital

Hvis man stiller chatbotten ChatGPT spørgsmål om diabetes, så svarer den ikke helt så godt som en diabetesekspert ville have gjort. Det viser et videnskabeligt studie fra Steno Diabetes Center Aarhus, som i de kommende år vil lave en målrettet indsats for at udvikle kunstig intelligens i samarbejde med patienter og sundhedspersonale.

Hvor meget frugt må jeg spise, når jeg har diabetes? Skal jeg justere min insulinbehandling, når jeg er syg med feber? Og hvordan påvirker motion blodsukkeret, når man har type 1-diabetes?

Disse spørgsmål stillede forskere fra Steno Diabetes Center Aarhus til chatbotten ChatGPT, som er baseret på kunstig intelligens. Evaluering af svarene indgår i et videnskabeligt studie, som netop er blevet publiceret i tidsskriftet PLOS ONE. Studiet er blandt de første videnskabelige studier, der har undersøgt værdien af ChatGPT set ud fra et brugerperspektiv.

Tilbage i januar 2023 bad forskerne ansatte på Steno Diabetes Center Aarhus om at være med i en undersøgelse, hvor de skulle prøve at afsløre kunstig intelligens. De blev præsenteret for to forskellige svar til 10 spørgsmål om diabetes. Den ene række svar var hentet fra informationssider om diabetes, som der står sundhedsprofessionelle bag. Den anden række svar var genereret af ChatGPT.

Sproglige formuleringer afslørede ChatGPT

Hvis svarene havde været lige gode, havde forskerne forventet, at halvdelen af deltagerne kunne finde frem til svarene fra ChatGPT. Men resultaterne viste, at 60 procent af deltagerne fandt frem til svarene fra ChatGPT. Og hvis deltagerne før havde prøvet at bruge ChatGPT, kunne 67 procent afsløre svarene baseret på kunstig intelligens.

”Det var den sproglige forskel på de to typer af svar, der var afgørende for, om deltagerne kunne identificere svarene fra ChatGPT. Men ChatGPT svarede også forkert på to af spørgsmålene”, siger Adam Hulman, der er senior data scientist og leder af en forskningsgruppe for kunstig intelligens på Steno Diabetes Center Aarhus.

”Jeg tror ikke, at ChatGPT i sig selv vil kunne bruges i klinikken som et klinisk beslutningsstøtteværktøj til personer med diabetes. Så langt er udviklingen ikke kommet, og det er heller ikke formålet med ChatGPT. Men teknologien kan være en øjenåbner for patienter, så de kan opleve hvilke muligheder, der kan være ved at bruge kunstig intelligens”.

Brugerne skal med i udviklingen

Adam Hulman og hans forskergruppe på Steno Diabetes Center Aarhus fokuserer netop i deres arbejde med kunstig intelligens på, at brugerne skal være en del af udviklingsprocessen i et tværfagligt samarbejde med sundhedspersonalet og datalogerne.

”Der er i øjeblikket meget hype omkring kunstig intelligens. Det forstår jeg godt, fordi den teknologiske udvikling er meget hurtig. Men man skal samtidig være meget opmærksom på, at man kun kan lykkes med at implementere kunstig intelligens hos brugerne – i vores tilfælde personer med diabetes – hvis man helt fra starten får dem til at acceptere teknologien og tager dem med som en del af udviklingsprocessen”, siger Adam Hulman.

Brugerne er klar til kunstig intelligens

Derfor har hans forskergruppe også tidligere lavet en undersøgelse, hvor de har spurgt et bredt udsnit af borgerne i Region Midtjylland om deres holdning til kunstig intelligens. Resultaterne viste, at flertallet af brugerne var enige i, at fordelene ved kunstig intelligens opvejer ulemperne, men mange er stadig usikre på fordelene. Samtidig har Steno Diabetes Center Aarhus spurgt nogle af deltagerne i StenoPanelet – et panel bestående af personer med diabetes – om deres holdning til kunstig intelligens.

Flemming Otto Jensen - der har haft type 1-diabetes i 37 år og er medlem af StenoPanelet - er åben over for de muligheder, som ligger i kunstig intelligens.

”Med kunstig intelligens kan man samle data fra mange forskellige kilder, og det kan give lægen et bedre vurderingsgrundlag i forhold til behandling af patienten, end han har i dag”, siger Flemming Otto Jensen.

”Det er vigtigt, at brugerne er med i udviklingen af kunstig intelligens, men det er et kompliceret område at sætte sig ind i. Jeg har ikke brug for at kende alle de tekniske detaljer bag teknikken, men jeg vil gerne være med til at præge holdningen til kunstig intelligens”.

Han bakkes op af Lars Jeppesen, der også er medlem af StenoPanelet og i en sen alder fik konstateret LADA, som er en mellemting mellem type 1-diabetes og type 2-diabetes.

”Kommunikation kommer til at være meget vigtig, hvis man vil indføre kunstig intelligens. Det er vigtigt, at brugerne forstår, hvad kunstig intelligens er. For hvis først man trækker noget ned over hovedet på folk, så opstår der en utryghed, som kan give utilfredshed”, siger Lars Jeppesen.

”Personligt vil jeg have det fint med, at der indføres kunstig intelligens i diabetesbehandlingen, så beskeder om for eksempel prøver ikke bliver givet af et menneske. Men hvis der skal tages større beslutninger om eksempelvis skift af diabetesmedicin, vil jeg gerne have et menneske ind over”.

Bag om forskningsresultatet

• Studie: ChatGPT- versus human-generated answers to frequently asked questions about diabetes: A Turing test-inspired survey among employees of a Danish diabetes center
• Studietype: Spørgeskemaundersøgelse
• Samarbejdspartnere: Steno Diabetes Center Aarhus, Aarhus Universitet,
• Syddansk Universitet og Una Health GmbH, Tyskland.
• Ekstern finansiering: Novo Nordisk Fonden
• Interessekonflikter: Nej

Læs mere

• Kunstig intelligens: Vi skal have patienterne med
• Nyt studie: Brugerne er klar til kunstig intelligens
• AI skal gøres tilgængeligt for alle (Diabetesforeningen)
• Mennesker med diabetes er klar til brugen af kunstig intelligens (Diabetesforeningen)