Okta on esitellyt mallin, jolla yritykset voivat pienentää tekoälyagenttien tokenikulutusta rajaamalla niiden näkemät Model Context Protocol eli MCP -työkalut käyttäjän ja agentin käyttöoikeuksien perusteella.
Ongelma liittyy siihen, miten tekoälyagentille kerrotaan sen käytettävissä olevista työkaluista. Kun MCP-palvelin tarjoaa agentille esimerkiksi kymmeniä tai satoja toimintoja, kielimallille voidaan joutua välittämään jokaisella kutsulla tiedot kaikista näistä työkaluista.
Mukana kulkevat työkalujen nimet, kuvaukset, parametrit ja skeemat. Malli joutuu käsittelemään nämä tiedot, vaikka se käyttäisi lopulta vain yhtä työkalua tai ei yhtäkään.
Okta kutsuu tästä syntyvää ylimääräistä tokenikulutusta “tool taxiksi” eli käytännössä työkalujen aiheuttamaksi tokeniveroksi. Yhtiön mukaan ongelmaa voidaan vähentää merkittävästi poistamalla agentin näkyvistä jo etukäteen kaikki työkalut, joiden käyttämiseen sillä ei ole oikeutta.
Oktan sisäisessä mallinnuksessa näkyvien työkalujen määrä väheni joissakin käyttöoikeustilanteissa yli 90 prosenttia. Yhtiön mukaan myös työkalujen skeemoista aiheutuva tokenikulutus pieneni suunnilleen samassa suhteessa.
MCP-palvelimen työkalut kasvattavat kehotteen kokoa
MCP on noussut yhdeksi tavoista yhdistää tekoälyagentteja ulkopuolisiin järjestelmiin, työkaluihin ja tietolähteisiin. Yritysympäristössä agentilla voi olla MCP:n kautta yhteyksiä esimerkiksi Google Workspaceen, Slackiin ja organisaation omiin sisäisiin järjestelmiin. Yksi MCP-palvelin voi tarjota suuren määrän erilaisia toimintoja.
Jotta kielimalli osaisi valita oikean työkalun, sille täytyy kertoa, mitä vaihtoehtoja sillä on käytettävissään. Työkalun nimi ei yksin riitä, vaan mallille annetaan myös kuvaus toiminnosta sekä tiedot sen hyväksymistä parametreista. Mitä suuremmaksi työkaluluettelo kasvaa, sitä enemmän tietoa kielimallin on käsiteltävä.
Kulutuksen kannalta merkittävää on se, että tämä tapahtuu jo ennen varsinaista työkalukutsua. Jos agentille näytetään sata työkalua ja se saa todellisuudessa käyttää niistä vain kymmentä, myös muiden 90 työkalun kuvaukset voivat silti kuluttaa tokeneita.
Pelkkä työkalukutsun estäminen myöhemmässä vaiheessa ei ratkaise tätä ongelmaa. Vaikka käyttöoikeuksien tarkistus estäisi agenttia suorittamasta kiellettyä toimintoa, kielimalli on jo käsitellyt kyseisen työkalun tiedot.
Okta suodattaa työkalut ennen niiden päätymistä kielimallille
Oktan ehdottamassa mallissa käyttöoikeudet tarkistetaan aikaisemmassa vaiheessa. Sen sijaan, että agentille annettaisiin MCP-palvelimen koko työkaluluettelo, sille muodostetaan käyttäjä- ja agenttikohtainen lista sallituista työkaluista.
Järjestelmänvalvoja määrittelee, mitä toimintoja tietty identiteetti saa käyttää. Kun agentille tämän jälkeen muodostetaan käytettävissä olevien MCP-työkalujen luettelo, mukana ovat vain kyseiselle identiteetille sallitut vaihtoehdot.
Jos palvelimella olisi esimerkiksi 100 työkalua mutta käyttäjän tehtävien suorittamiseen tarvitaan vain 15, kielimallille ei tarvitse välittää muiden 85 työkalun tietoja.
Tällä on kaksi seurausta. Ensinnäkin kielimallille lähetettävä kehote pienenee ja tokenien määrä laskee. Toiseksi agentti ei edes näe toimintoja, joiden käyttämiseen sillä ei ole oikeutta.
Okta tarkistaa käyttöoikeuden uudelleen siinä vaiheessa, kun agentti yrittää suorittaa varsinaisen työkalukutsun. Käyttöoikeuksien hallinta tapahtuu siten sekä työkaluluettelon muodostamisen että toiminnon suorittamisen yhteydessä.
Sisäisessä mallissa työkalujen määrä putosi jopa yli 90 prosenttia
Okta testasi lähestymistapaa sisäisellä mallinnuksella, jossa yhdelle MCP-asiakasohjelmalle annettiin pääsy yrityskäyttöön tarkoitettuun työkalukokonaisuuteen. Yhtiö vertasi sitä, kuinka monta työkalua kielimallille näkyisi ilman käyttöoikeuksiin perustuvaa suodatusta ja kuinka monta jäisi jäljelle identiteetin perusteella tehdyn rajauksen jälkeen.
Mallinnuksessa MCP-palvelimen työkalut yhdistettiin niiden käyttämisen mahdollistaviin OAuth-oikeuksiin. Tämän jälkeen Okta loi erilaisia esimerkkikäyttäjäryhmiä.
Mukana olivat esimerkiksi vain lukuoikeuksia tarvitsevat helpdesk-käyttäjät, laajemmilla oikeuksilla toimivat helpdesk-työntekijät, sovellusten ylläpitäjät sekä sähköpostiin ja brändinhallintaan liittyvät ylläpitäjät. Mukana oli myös pääkäyttäjiä.
Eri käyttäjäryhmille muodostui näin erilainen määrä käytettävissä olevia MCP-työkaluja.
Joissakin tilanteissa käyttöoikeuksiin perustuva rajaus poisti yli 90 prosenttia muuten näkyvissä olleista työkaluista.
Vähemmän työkaluja tarkoittaa vähemmän tokeneita
Oktan mukaan työkalujen määrän ja niiden skeemoihin kuluvien tokenien välillä on lähes lineaarinen yhteys.
Syy on yksinkertainen. Jokainen uusi työkalu tuo kielimallin käsiteltäväksi lisää tekstiä ja rakenteellista tietoa. Jos suurin osa näistä tiedoista voidaan jättää kokonaan pois kehotteesta, myös tokenimäärä pienenee.
Yhtiö ei kuitenkaan julkaissut laskelmilleen absoluuttisia tokenimääriä tai dollarimääräisiä säästöjä. Yli 90 prosentin tulos ei siten tarkoita automaattisesti esimerkiksi 90 prosentin pienennystä tekoälyjärjestelmän kaikissa käyttökustannuksissa.
Kyse on nimenomaan työkalujen skeemoista syntyvästä tokenikulutuksesta.
Todellinen säästö riippuu muun muassa MCP-palvelimen tarjoamien työkalujen määrästä, niiden kuvausten koosta, käyttäjien käyttöoikeuksista, agenttien tekemien kutsujen määrästä sekä käytettävän kielimallin hinnoittelusta.
Jos palvelin tarjoaa vain muutaman työkalun, hyöty voi jäädä pieneksi. Satoja toimintoja sisältävässä yritysympäristössä vaikutus voi puolestaan olla huomattavasti suurempi.
Käyttäjämäärä moninkertaistaa kustannuksen
Ongelma korostuu suurissa organisaatioissa, koska sama työkalujen aiheuttama ylimääräinen tokenimäärä voi toistua valtavan monta kertaa.
Yksittäisessä kielimallikutsussa muutaman ylimääräisen työkalukuvauksen kustannuksella ei välttämättä ole suurta merkitystä. Tilanne muuttuu, jos tuhannet käyttäjät käyttävät agentteja jatkuvasti ja jokaiselle mallikutsulle lisätään laaja MCP-työkaluluettelo.
Oktan näkökulmasta kyse onkin sekä työkalujen että käyttäjien määrästä.
Tämä tekee käyttöoikeuksien rajaamisesta myös kustannustenhallinnan välineen. Organisaatio voi käyttää samoja tietoja sekä päättämään, mitä käyttäjä saa tehdä, että määrittämään, mitä kielimallin kannattaa ylipäätään nähdä.
Identiteettipohjainen hallinta eroaa AI gateway -ratkaisuista
Tekoälyjärjestelmien kustannuksia voidaan hallita myös AI gateway -ratkaisuilla. Niillä voidaan esimerkiksi seurata tokenikulutusta, asettaa käyttäjä- tai ryhmäkohtaisia rajoituksia, hallita liikennettä ja ohjata pyyntöjä eri malleille. Okta näkee oman lähestymistapansa täydentävänä ratkaisuna.
Gateway voi seurata ja rajoittaa järjestelmän läpi kulkevaa liikennettä. Identiteettipohjainen MCP-rajaus puolestaan pyrkii pienentämään kielimallille päätyvän tiedon määrää jo ennen kuin tarpeettomista työkaluista ehtii syntyä tokenikuluja.
Keskeinen ero liittyy myös käyttöoikeuksien tarkkuuteen. Sen sijaan, että kustannuksia tai oikeuksia hallittaisiin vain esimerkiksi tiimin tai API-avaimen perusteella, työkalujen näkyvyys voidaan yhdistää yksittäisen käyttäjän ja agentin todellisiin oikeuksiin.
Tällöin sama MCP-palvelin voi näyttää eri käyttäjille täysin erilaisen työkalukokonaisuuden.
Sama ratkaisu voi parantaa myös MCP:n tietoturvaa
Tokenikulujen pienentäminen on vain toinen Oktan esiin nostamista hyödyistä. Työkalujen suodattaminen voi samalla pienentää tekoälyagenttiin liittyvää tietoturvariskiä.
Jos agentti vaarantuu, hyökkääjä voi lähtökohtaisesti yrittää käyttää niitä toimintoja, jotka agentilla on käytettävissään. Mitä suurempi määrä työkaluja agentille näkyy, sitä enemmän mahdollisia toimintoja väärinkäytettäväksi voi olla tarjolla.
Oktan mallissa käyttöoikeuksien ulkopuolelle jääviä työkaluja ei pelkästään estetä suoritusvaiheessa, vaan ne poistetaan agentin näkymästä kokonaan.
Tämä vastaa vähimpien oikeuksien periaatetta, jota on käytetty pitkään perinteisessä tietoturvassa. Käyttäjälle tai sovellukselle annetaan vain ne oikeudet, joita sen tehtävän suorittaminen todella edellyttää.
AI-agenttien tapauksessa sama periaate ulottuu nyt myös kielimallin näkemään kontekstiin.
MCP:n kasvu tekee työkalujen hallinnasta uuden ongelman
MCP-palvelimien yleistyessä kysymys ei ole enää pelkästään siitä, kuinka tekoälyagentille annetaan pääsy mahdollisimman moneen järjestelmään.
Yritysten täytyy myös päättää, mitkä näistä yhteyksistä ovat tarpeellisia juuri tietylle agentille ja tietylle käyttäjälle.
Jos jokainen uusi MCP-palvelin tuo agentille kymmeniä uusia työkaluja, kaikkien niiden näyttäminen jokaiselle käyttäjälle voi olla sekä tarpeettoman kallista että tietoturvan kannalta huono ratkaisu.
Oktan lähestymistapa tekee identiteetistä yhden tavan ratkaista molemmat ongelmat samalla kertaa. Käyttöoikeustiedot määrittävät, mitä agentti voi tehdä, mutta samalla myös sen, mitä kielimallille kannattaa kertoa.
Yhtiön julkaisemat tulokset perustuvat kuitenkin tässä vaiheessa sisäiseen mallinnukseen. Okta ei esitellyt vastaavia tuloksia todellisesta asiakasympäristöstä eikä julkaissut tarkkoja token- tai kustannuslaskelmia.
Yli 90 prosentin vähennystä ei siksi voi pitää yleisenä lupauksena siitä, kuinka paljon yritys säästäisi AI-agenttiensa kokonaiskustannuksissa.
Ajatus nostaa silti esiin MCP:n käytön kannalta olennaisen kysymyksen: tekoälyagentin kustannuksiin ei vaikuta ainoastaan se, kuinka paljon käyttäjä ja malli keskustelevat keskenään. Myös kaikki agentille jatkuvasti mukana kulkeva tieto sen mahdollisista työkaluista maksaa.
Kun MCP-palvelimien työkalumäärät kasvavat, niiden näkyvyyden rajaamisesta voi siksi tulla yhtä aikaa sekä käyttöoikeuksien hallinnan, tietoturvan että tekoälykustannusten optimoinnin väline.