DoD, kad sukurtų keičiamo dydžio genAI testavimo duomenų rinkinius
JAV Gynybos departamento vyriausiasis skaitmeninio ir dirbtinio intelekto biuras ir technologijų ne pelno organizacija „Humaninis intelektas“ paskelbė apie agentūros „Crowdsourced Artificial Intelligence Red-Teaming Assurance“ programos, skirtos didelių kalbinių modelių pokalbių robotų, naudojamų karo medicinos tarnybose, bandymus.
Išvados galiausiai galėtų pagerinti karinę medicininę priežiūrą laikantis visų būtinų AI naudojimo rizikos valdymo praktikų, sakė DoD pareigūnai.
KODĖL TAI SVARBU
Ketvirtadienį paskelbtame pranešime DoD teigė, kad naujausiame CAIRT programos raudonosios komandos teste dalyvavo daugiau nei 200 agentūrų klinikinių paslaugų teikėjų ir sveikatos priežiūros analitikų, kad būtų galima palyginti tris LLM dviem būsimiems naudojimo atvejams: klinikinių pastabų santrauka ir medicininis patariamasis pokalbių robotas.
Jie aptiko daugiau nei 800 galimų pažeidžiamumų ir paklaidų, kai LLM bandomi siekiant pagerinti karinę medicininę priežiūrą.
CAIRT siekė sukurti algoritminių vertinimų praktikos bendruomenę, bendradarbiaujant su Gynybos sveikatos agentūra ir programos vykdomuoju biuru, gynybos sveikatos priežiūros valdymo sistemomis. 2024 m. programoje taip pat buvo pasiūlyta finansinė AI šališkumo premija, daugiausia dėmesio skiriant nežinomai LLM rizikai, pradedant atvirojo kodo pokalbių robotais.
Crowdsourcing sukuria platų tinklą, kuris gali sukurti didelius duomenų kiekius iš kelių suinteresuotųjų šalių. DoD teigė, kad visų CAIRT programos „raudonųjų komandų“ pastangų išvados bus labai svarbios formuojant atsakingo generatyvaus AI naudojimo politiką ir geriausią praktiką.
DoD taip pat teigė, kad nuolatinis LLM ir AI sistemų testavimas per CAIRT užtikrinimo programą yra labai svarbus siekiant pagreitinti AI galimybes ir pateisinti pasitikėjimą DoD genAI naudojimo atvejais.
DIDESNĖ TENDENCIJA
Pasitikėjimas yra būtinas, kad gydytojai galėtų priimti dirbtinį intelektą. Kad galėtų naudoti genAI klinikinėje priežiūroje, LLM turi atitikti esminius veiklos lūkesčius, kad geriausiai užtikrintų paslaugų teikėjų, kad priemonės yra naudingos, skaidrios, paaiškinamos ir saugios, kaip sakė Mayo Clinic Platform taikomosios informatikos medicinos direktorė dr. Sonya Makhni. Sveikatos priežiūros IT naujienos neseniai.
Nepaisant didžiulio pozityvaus AI panaudojimo sveikatos priežiūros srityje potencialo, „tai atrakinti yra sudėtinga“, praėjusį rugsėjį HIMSS AI sveikatos priežiūros forume sakė Makhni.
Kadangi „prielaidos ir sprendimai daromi kiekviename DI kūrimo ciklo etape, o jei šios prielaidos yra neteisingos, gali atsirasti sistemingų klaidų“, leidžiant įsiskverbti šališkumui, Makhni paaiškino, paklaustas, kaip užtikrinti saugų AI naudojimą.
„Tokios klaidos gali iškreipti galutinį algoritmo rezultatą prieš pacientų pogrupį ir galiausiai kelti pavojų sveikatos priežiūros teisingumui“, – tęsė ji. „Šis reiškinys buvo parodytas esamuose algoritmuose.”
Makhni patarė, kad išbandytų našumą ir pašalintų algoritmų šališkumą, gydytojai ir kūrėjai turi bendradarbiauti „per visą AI kūrimo gyvavimo ciklą ir diegdami sprendimą“.
„Būtinas aktyvus abiejų šalių įsitraukimas numatant galimas šališkumo sritis ir (arba) neoptimalius rezultatus“, – pridūrė ji. „Šios žinios padės išsiaiškinti kontekstus, kurie geriau tinka tam tikram AI algoritmui, ir tuos, kuriems galbūt reikia daugiau stebėjimo ir priežiūros.
ĮRAŠĄ
„Kadangi GenAI taikymas tokiems tikslams DoD yra ankstesniuose bandomuosiuose ir eksperimentavimo etapuose, ši programa veikia kaip esminis kelias generuojant bandymų duomenų masę, atskleidžiant sritis, į kurias reikia atsižvelgti, ir patvirtinant sušvelninimo galimybes, kurios nulems būsimus tyrimus, plėtrą ir „GenAI“ sistemų, kurios gali būti įdiegtos ateityje, garantijos“, – sakė dr. Matthew Johnson CAIRT programos vadovas sausio 2 d. pranešime apie iniciatyvą.
Andrea Fox yra „Healthcare IT News“ vyresnioji redaktorė.
paštas: afox@himss.org
„Healthcare IT News“ yra HIMSS žiniasklaidos leidinys.
