AI gydytojas išmoksta „pamatyti“ medicininius vaizdus

„Google“ suteikia savo diagnostikos AI galimybę suprasti vizualinę medicininę informaciją su naujausiais AMIE tyrimais („Articulate Medical Intelligence Explorer“).

Įsivaizduokite, kad kalbatės su AI apie susirūpinimą dėl sveikatos ir užuot tiesiog apdoroję savo žodžius, jis iš tikrųjų galėtų pažvelgti į tos nerimą keliančio bėrimo nuotrauką ar įprasminti jūsų EKG atspaudą. Štai ko „Google“ siekia.

Mes jau žinojome, kad Amie parodė pažadą tekstiniuose medicinos pokalbiuose, dėka ankstesnio darbo, paskelbto „Nature“. Bet pažiūrėkime, tikras vaistas nėra susijęs tik su žodžiais.

Gydytojai labai pasikliauja tuo, ką gali pamatyti – Odos sąlygos, Mašinų rodmenys, laboratorijos ataskaitos. Kaip teisingai pabrėžia „Google“ komanda, net paprastos momentinių pranešimų platformos „Leiskite statinei daugiamodalinei informacijai (pvz., Vaizdams ir dokumentams) praturtinti diskusijas“.

Tik tekstiniam AI trūko didžiulio dėlionės gabalo. Didelis klausimas, kaip teigė tyrėjai, buvo „ar LLMS gali vykdyti diagnostinius klinikinius pokalbius, į kuriuos įtraukta ši sudėtingesnės rūšies informacija“.

„Google“ moko Amie ieškoti ir proto

„Google“ inžinieriai sustiprino AMIE, naudodamiesi savo „Gemini 2.0“ „Flash“ modeliu kaip operacijos smegenys. Jie tai sujungė su tuo, ką jie vadina „valstybės žinomu samprotavimo sistema“. Paprastai angliškai tai reiškia, kad PG ne tik seka scenarijų; Jis pritaiko savo pokalbį remdamasis tuo, ko išmoko iki šiol, ir ką vis dar reikia išsiaiškinti.

Tai artima tai, kaip veikia klinikų gydytojas: rinkimas įkalčių, formuojant idėjas apie tai, kas gali būti blogai, ir tada paprašyti konkretesnės informacijos – įskaitant vaizdinius įrodymus – susiaurinti dalykus.

„Tai leidžia AMIE prireikus paprašyti atitinkamų multimodalinių artefaktų, tiksliai aiškinti jų išvadas, sklandžiai integruoti šią informaciją į vykstantį dialogą ir panaudoti ją diagnozėms patikslinti“, – aiškina „Google“.

Pagalvokite apie pokalbį, tekantį per etapus: Pirmiausia surinkite paciento istoriją, tada einate link diagnozės ir valdymo pasiūlymų ir galiausiai stebėkite. AI nuolat vertina savo supratimą, prašydamas tos odos nuotraukos ar laboratorijos rezultato, jei ji jaučia savo žinių spragą.

Norėdami tai padaryti teisingai be begalinio bandomojo ir klaidų realiems žmonėms, „Google“ sukūrė išsamią modeliavimo laboratoriją.

„Google“ sukūrė gyvybingus pacientų atvejus, ištraukdamas realius medicininius vaizdus ir duomenis iš tokių šaltinių, kaip „PTB-XL ECG“ duomenų bazė ir „Scin Dermatology“ vaizdų rinkinys, pridedant tikėtinus užkulisius, naudojant „Gemini“. Tada jie leido Amie „pabendrauti“ su imituojamais pacientais šioje sąrankoje ir automatiškai patikrinti, kaip gerai tai atliko tokius dalykus kaip diagnostinis tikslumas ir išvengia klaidų (arba „haliucinacijų“).

Virtualus ESBO: „Google“ pateikia Amie per savo žingsnius

Tikrasis testas buvo atliktas pagal sąranką, skirtą atspindėti, kaip vertinami medicinos studentai: objektyvus struktūrinis klinikinis tyrimas (ESBO).

„Google“ atliko nuotolinį tyrimą, apimantį 105 skirtingus medicinos scenarijus. Tikri veikėjai, mokomi nuosekliai vaizduoti pacientus, bendravo su naujuoju multimodaliniu AMIE arba su realiais žmogaus pirminės sveikatos priežiūros gydytojais (PCP). Šie pokalbiai įvyko per sąsają, kurioje „pacientas“ galėjo įkelti vaizdus, ​​kaip ir jūs galite moderni „Messaging“ programoje.

Vėliau gydytojai specialistai (dermatologijoje, kardiologijoje ir vidinėje ligoje) ir patys pacientų veikėjai apžvelgė pokalbius.

Žmonių gydytojai viską įvertino nuo to, kaip buvo imtasi istorijos, diagnozės tikslumas, siūlomo valdymo plano kokybė, iki komunikacijos įgūdžių ir empatijos – ir, žinoma, kaip gerai AI interpretavo vaizdinę informaciją.

Stebina modeliuojamos klinikos rezultatai

Štai kur tampa tikrai įdomu. Šiame palyginime su kontroliuojamoje studijų aplinkoje „Google“ nustatė, kad Amie ne tik laikėsi savo-ji dažnai išėjo į priekį.

AI buvo įvertinta kaip geresnė už žmogaus PCP aiškinant daugiamodalinius duomenis, kuriais dalijamasi pokalbių metu. Tai taip pat įvertino diagnostinį tikslumą, sudarydamas diferencinių diagnozės sąrašus (galimų sąlygų sąrašą), kuriuos specialistai laikė tikslesniais ir išsamesniais, remiantis bylos detalėmis.

Gydytojai specialistai, peržiūrintys nuorašus, linkę įvertinti AMIE rezultatus didesnėje daugelyje sričių. Jie ypač atkreipė dėmesį į „įvaizdžio aiškinimo ir samprotavimo kokybę“, jo diagnostinio darbo kruopštumo, jo valdymo planų pagrįstumo ir jo sugebėjimo pažymėti, kai situacijai reikėjo skubiai atkreipti dėmesį.

Ko gero, vienas iš labiausiai stebinančių išvadų atsirado iš pacientų aktorių: jie dažnai nustatė, kad AI yra empatiškesnė ir patikimesnė nei gydytojai su žmonėmis šioje tekstinėje sąveikoje.

Ir, remiantis kritine saugos pastaba, tyrimas nerasta statistiškai reikšmingo skirtumo tarp to, kaip dažnai Amie padarė klaidų, pagrįstų vaizdais (haliucinuotomis išvadomis), palyginti su gydytojais iš žmonių.

Technologijos niekada nenustoja, todėl „Google“ taip pat atliko keletą ankstyvų testų, pakeisdama „Gemini 2.0“ „Flash“ modelį, skirtą naujesniam „Gemini 2.5 Flash“.

Naudodamiesi jų modeliavimo sistema, rezultatai užsiminė apie tolesnį pelną, ypač norint tinkamai diagnozuoti diagnozę (TOP 3 tikslumas) ir siūlant tinkamus valdymo planus.

Nors komanda žadama, komanda greitai prideda realizmo dozę: tai tik automatizuoti rezultatai, ir „griežtas įvertinimas per ekspertų gydytojų peržiūrą yra būtina norint patvirtinti šias veiklos naudą“.

Svarbūs tikrovės patikrinimai

„Google“ pagirtina iš anksto dėl čia esančių apribojimų. „Šis tyrimas nagrinėja tik tyrimų sistemą ESBO stiliaus vertinime, naudojant pacientų veikėjus, kuri iš esmės nepakankamai atspindi realaus pasaulio priežiūros sudėtingumą“,-jie aiškiai teigia.

Imituoti scenarijai, kokie yra gerai suplanuoti, nėra tas pats, kas susidoroti su unikaliais realių pacientų sudėtingumu užimtoje klinikoje. Jie taip pat pabrėžia, kad pokalbių sąsaja neužfiksuoja tikro vaizdo įrašo ar asmeninės konsultacijų.

Taigi, koks kitas žingsnis? Atidžiai juda realaus pasaulio link. „Google“ jau bendradarbiauja su Beth Israel diakonijos medicinos centru tyrimui, kad pamatytų, kaip AMIE veikia realioje klinikinėje aplinkoje su paciento sutikimu.

Tyrėjai taip pat pripažįsta poreikį galiausiai peržengti teksto ir statinius vaizdus, ​​susijusius su realaus laiko vaizdo ir garso tvarkymu-tokia sąveika, įprasta šiandien nuotolinės sveikatos.

Suteikdami AI galimybę „pamatyti“ ir interpretuoti, kokius vaizdinius įrodymus gydytojai naudoja kiekvieną dieną, siūlo žvilgsnį į tai, kaip AI vieną dieną gali padėti gydytojams ir pacientams. Tačiau kelias nuo šių perspektyvių išvadų iki saugios ir patikimos kasdieninės sveikatos priežiūros priemonės vis dar yra ilgas, kuriam reikia kruopštaus navigacijos.

(Aleksandro Sinno nuotrauka)

Taip pat žiūrėkite: Ar iš tikrųjų AI pokalbių programos keičia darbo pasaulį?

Norite sužinoti daugiau apie AI ir didelius duomenis iš pramonės lyderių? Peržiūrėkite AI ir „Big Data Expo“, vykstančią Amsterdame, Kalifornijoje ir Londone. Išsamus renginys yra kartu su kitais pirmaujančiais renginiais, įskaitant intelektualią automatizavimo konferenciją, „BlockX“, „Skaitmeninės transformacijos savaitės“ ir „Cyber ​​Security & Cloud Expo“.

Naršykite kitus būsimus „Enterprise Technology“ renginius ir internetinius seminarus, kuriuos maitina „TechForge“ čia.