Paigen ja Microsoftin yhteistyössä kehittämä PRISM2 on uusi tekoälymalli, joka on suunniteltu analysoimaan kokonaisia patologisia kudosnäytteitä. Perinteisten kuvantunnistusmallien sijaan PRISM2 pystyy yhdistämään mikroskooppikuvien tiedot patologien kirjoittamiin lausuntoihin ja vastaamaan diagnostisiin kysymyksiin luonnollisella kielellä.
Tutkimuksen mukaan malli saavuttaa useissa syöpädiagnostiikan tehtävissä yhtä hyvän tai paremman tarkkuuden kuin useat kliinisessä käytössä olevat järjestelmät.
Miljoonia kudosnäytteitä koulutusaineistona
PRISM2 koulutuksessa käytettiin noin 2,3 miljoonaa kokonaista histologista kudosnäytettä (whole-slide image).
Lisäksi malli hyödynsi Memorial Sloan Kettering Cancer Centerin rutiinipotilaista kerättyjä 685 507 patologiaraporttia. Raportit muutettiin GPT-4o avulla kysymys–vastaus-muotoon, jolloin tekoäly oppi yhdistämään kudosnäytteiden visuaaliset piirteet patologien käyttämiin diagnooseihin ja selityksiin.
Kokonaisuudessaan koulutusaineisto kattoi yli 200 000 potilaan tiedot.
Kaksivaiheinen koulutus erottaa kuvien ja tekstin oppimisen
PRISM2 koulutus koostuu kahdesta erillisestä vaiheesta. Ensimmäisessä vaiheessa malli oppii muodostamaan koko kudosnäytteestä yhden yhtenäisen esityksen. Tätä varten yksittäiset kudospalat yhdistetään perceiver-pohjaisella encoder-rakenteella yhdeksi vektoriksi, joka kuvaa koko näytettä.
Toisessa vaiheessa tämä kuvakooderi jäädytetään, eikä sitä enää muuteta. Sen jälkeen kielimallia hienosäädetään patologien raporttien pohjalta niin, että se oppii muodostamaan diagnooseja ja vastaamaan kliinisiin kysymyksiin.
Tutkimuksessa käytettiin vain yksittäisiä kysymys–vastaus-pareja eikä pitkiä keskusteluketjuja, mikä rajoittaa mallin keskustelukykyä ilman lisäkoulutusta.
Kahden oppimistavan yhdistelmä
PRISM2 hyödyntää samanaikaisesti kahta erilaista oppimismenetelmää. Ensimmäinen perustuu kontrastiiviseen oppimiseen, jossa oikeat kuvien ja tekstien parit tuodaan lähemmäksi toisiaan ja väärät parit erotetaan toisistaan. Tätä varten käytetään BioGPT tekstiesityksiä.
Samalla Phi-3 Mini -kielimalli koulutetaan generoimaan patologisia kuvauksia suoraan kuvista autoregressiivisesti.
Tutkijoiden mukaan pelkkä kontrastiivinen oppiminen soveltuu hyvin tiedon hakemiseen, mutta ei tekstin tuottamiseen. Pelkkä tekstintuotto puolestaan voi oppia pinnallisia rakenteita ilman vahvoja visuaalisia piirteitä. PRISM2 pyrkii yhdistämään molempien lähestymistapojen vahvuudet.
Kolme erilaista upotetta eri käyttötarkoituksiin
PRISM2 tuottaa kolme erilaista tietoesitystä eli embeddingiä. Base embedding muodostetaan suoraan kuvakooderista, ja sitä suositellaan esimerkiksi biomarkkerien ennustamiseen.
Diagnostic embedding puolestaan muodostetaan vasta sen jälkeen, kun neljän miljardin parametrin kielimalli on käsitellyt sekä kudoskuvan että käyttäjän antaman kehotteen. Tämä versio on optimoitu erityisesti syöpädiagnooseihin.
Lisäksi selviytymisanalyysejä varten kehitettiin erillinen survival embedding. Tutkijoiden mukaan oikean embeddingin valinta vaikuttaa merkittävästi siihen, missä tehtävissä malli toimii parhaiten.
Suorituskyky vastasi kaupallisia diagnostiikkajärjestelmiä
Tutkimuksen mukaan PRISM2 saavutti eturauhas- ja rintasyövän tunnistuksessa vähintään yhtä hyvän tasapainoisen tarkkuuden kuin useat kliinisessä käytössä olevat kaupalliset ratkaisut.
Rintasyövän imusolmukemetastaasien tunnistuksessa malli jopa ylitti Paige BLN -järjestelmän suorituskyvyn ilman erillistä lisäkoulutusta.
Laajassa eri syöpätyyppejä kattavassa vertailussa diagnostic embedding saavutti 0,967 AUC-arvon, kun vastaava base embedding ylsi arvoon 0,956.
Vertailussa aiemmat PRISM- ja TITAN-mallit jäivät näistä tuloksista.
Harvinaisten syöpien tunnistuksessa suorituskyky laski hieman 0,957 AUC-arvoon, minkä tutkijat arvioivat johtuvan pienemmästä koulutusdatasta.
Biomarkkereissa perusmalli osoittautui paremmaksi
Mielenkiintoisesti kaikkein pitkälle koulutettu diagnostinen embedding ei ollut paras kaikissa tehtävissä.
Biomarkkereiden ennustamisessa base embedding saavutti keskimäärin 0,854 AUC-arvon Memorial Sloan Ketteringin aineistossa ja 0,784 AUC-arvon TCGA-aineistossa.
Tutkijat suosittelevatkin käyttämään perusmallin embeddingiä silloin, kun tehtävä poikkeaa varsinaisesta syöpädiagnoosista.
Selviytymisen ennustaminen onnistui aiempaa paremmin
PRISM2 testattiin myös potilaiden eloonjäämisen ennustamisessa yli 225 000 näytteen aineistolla. Mallia verrattiin erikseen tähän tarkoitukseen alusta asti koulutettuun erikoismalliin.
PRISM2 saavutti paremman tuloksen lähes kaikissa vertailuissa. Suurin ero nähtiin paksusuolisyövän uusiutumisriskin ennustamisessa, jossa PRISM2 saavutti 0,809 concordance index -tuloksen verrattuna erikoismallin 0,773 tulokseen.
Synteettinen opetusdata paransi tuloksia
Patologiaraporttien muuttaminen GPT-4o avulla kysymys–vastaus-muotoon osoittautui merkittäväksi parannukseksi. Tutkimuksen mukaan pelkkä dialogimuotoinen koulutus nosti mallin balanced accuracy -tuloksen noin 0,498 0,653.
Tutkijat arvioivat, että noin puolet PRISM2 diagnostisesta suorituskyvyn paranemisesta johtuu juuri huomattavasti suuremmasta koulutusaineistosta eikä pelkästään uudesta arkkitehtuurista.
Virheitä esiintyy edelleen
Tutkijat arvioivat myös sekä koulutusdatan että mallin tuottamien vastausten laatua. Patologin tarkastuksessa avoimien ja monivalintakysymysten virheprosentiksi havaittiin noin kolme prosenttia.
Diagnostisissa yhteenvedoissa virheitä esiintyi kahdeksan prosenttia, kun taas kyllä–ei-kysymyksissä virheiden osuus nousi 18 prosenttiin.
PRISM2 omien vastausten virheprosentti vaihteli seitsemän ja yhdentoista prosentin välillä.
Tyypillisimmät ongelmat olivat tiedon puuttuminen tai niin sanotut hallusinaatiot, joissa malli tuotti virheellisiä yksityiskohtia ilman selvää ristiriitaa alkuperäisen kudosnäytteen kanssa.
Mallilla on edelleen rajoituksia
Tutkimuksessa nostetaan esiin myös useita teknisiä rajoituksia. PRISM2 ei käytä sijaintikoodausta kudospalojen välillä, joten se ei varsinaisesti ymmärrä rakenteiden keskinäisiä sijainteja näytteen sisällä.
Lisäksi kaikki koulutus- ja testausaineistot skannattiin samalla 0,5 mikrometrin pikselitarkkuudella. Mallin toimintaa erilaisilla skannereilla tai muilla resoluutioilla ei ole vielä vahvistettu.
Tutkijat korostavatkin, että ennen kliinistä käyttöönottoa tarvitaan riippumatonta validointia myös muiden sairaaloiden aineistoilla.
Mallin painot on julkaistu avoimesti Hugging Facessa, mutta koko koulutus- ja tuotantoputki perustuu edelleen Paigen ja Microsoftin omaan infrastruktuuriin, mikä vaikeuttaa tutkimuksen täydellistä toistamista ulkopuolisissa ympäristöissä.