Ranskalainen tekoäly-yhtiö ZML on julkaissut uuden ohjelmiston, jonka tavoitteena on helpottaa suurten kielimallien suorittamista eri valmistajien tekoälykiihdyttimillä. Uusi ZML/LLMD-niminen inferenssipalvelin tukee muun muassa Nvidian, AMD:n, Googlen TPU-piirien, Apple Metalin sekä Intel Arcin laitteistoja.
Yhtiön tavoitteena on vähentää riippuvuutta yksittäisistä laitevalmistajista ja antaa yrityksille mahdollisuus hyödyntää tekoälyä tehokkaammin ilman, että koko infrastruktuuri täytyy rakentaa yhden sirutoimittajan ympärille.
Julkaisu osuu aikaan, jolloin tekoälypalveluiden käyttökustannukset ja laskentatehon saatavuus ovat nousseet yhdeksi alan suurimmista puheenaiheista.
Tekoälyn painopiste on siirtymässä kouluttamisesta käyttöön
Viime vuosina huomio on kohdistunut erityisesti yhä suurempien kielimallien kouluttamiseen. Nyt yhä useammat asiantuntijat arvioivat, että tärkeämmäksi kilpailutekijäksi nousee mallien tehokas käyttäminen eli inferenssi.
Inferenssillä tarkoitetaan vaihetta, jossa valmis tekoälymalli käsittelee käyttäjän kehotteita ja tuottaa vastauksia. Jokainen ChatGPT:n, Claude:n tai Geminin vastaus perustuu juuri tähän prosessiin.
Koska miljoonat käyttäjät lähettävät palveluille jatkuvasti uusia kysymyksiä, inferenssi kuluttaa valtavan määrän laskentatehoa. Monille yrityksille juuri tämä muodostaa suurimman osan tekoälyn käyttökustannuksista.
ZML:n perustajan Steeve Morinin mukaan nykyiset ohjelmistoratkaisut sitovat yritykset usein yhden laitevalmistajan ekosysteemiin, mikä vaikeuttaa kustannusten optimointia ja uusien sirujen käyttöönottoa.
Yksi ohjelmisto useille eri tekoälysiruille
ZML/LLMD:n keskeinen ajatus on tarjota yksi ohjelmistokerros, joka pystyy hyödyntämään mahdollisimman tehokkaasti useiden eri valmistajien laitteistoja.
Käytännössä sama kielimalli voidaan ajaa esimerkiksi Nvidian GPU:illa, AMD:n kiihdyttimillä, Googlen TPU-piireillä tai Applen omilla tekoälylaskentaa tukevilla ratkaisuilla ilman, että kehittäjien tarvitsee rakentaa jokaiselle alustalle erillisiä toteutuksia.
Yhtiön mukaan ohjelmisto pyrkii hyödyntämään jokaisen laitteiston suorituskyvyn mahdollisimman tehokkaasti. Joissakin tilanteissa suorituskyky voi olla jopa parempi kuin valmistajien omilla ratkaisuilla.
Jos tavoite toteutuu käytännössä, yritykset voivat rakentaa huomattavasti joustavampia tekoälyympäristöjä ja hyödyntää useita eri siruvalmistajia samanaikaisesti.
Nvidia hallitsee edelleen markkinoita, mutta vaihtoehtoja syntyy
Vaikka Nvidia on edelleen tekoälylaskennan selvä markkinajohtaja, kilpailu kiristyy nopeasti.
AMD kasvattaa markkinaosuuttaan uusilla Instinct-kiihdyttimillään, Google kehittää jatkuvasti TPU-piirejään omiin pilvipalveluihinsa ja myös Intel pyrkii vahvistamaan asemaansa AI-markkinoilla.
Lisäksi markkinoille on noussut joukko uusia tekoälysiruja kehittäviä startup-yrityksiä, joista monet toimivat Euroopassa.
Morin nostaa esiin esimerkiksi Axeleran, Fractilen, Kalrayn, OLIXin, Q.ANTin, SiPearlin, SpiNNcloudin ja VSORAn. Hänen mukaansa ZML:n ohjelmisto voi auttaa myös näitä uusia toimijoita tuomaan tuotteensa helpommin yritysten käyttöön.
Silti Morin ei usko Nvidian aseman olevan vaarassa lähitulevaisuudessa. Hänen mukaansa ZML tekee edelleen yhteistyötä Nvidian kanssa, sillä myös sirujätti panostaa voimakkaasti inferenssin kehittämiseen.
AI-inferenssistä on tullut alan uusi kultaryntäys
Tekoälymallien käyttöä tehostavat ohjelmistot ovat nousseet yhdeksi kuumimmista sijoituskohteista.
Monet sijoittajat puhuvatkin jo niin sanotusta “inference gold rushista”, jossa yritykset kilpailevat siitä, kuka pystyy ajamaan suuria kielimalleja nopeimmin ja edullisimmin.
ZML ei ole markkinoilla yksin. Kilpailijoihin kuuluvat esimerkiksi Baseten, jonka arvostus nousi tänä vuonna noin 13 miljardiin dollariin, sekä vLLM- ja SGLang-projektien ympärille syntyneet kaupalliset ratkaisut.
Morinin mukaan ZML:n tavoitteet ulottuvat kuitenkin pelkkää ohjelmistoa pidemmälle. Hänen mukaansa yhtiö tekee jo yhteistyötä siruvalmistajien kanssa myös uuden sukupolven tekoälypiirien suunnittelussa.
Tällainen niin sanottu ohjelmiston ja laitteiston yhteiskehitys voi tulevaisuudessa parantaa tekoälyjärjestelmien suorituskykyä entisestään.
Pieni tiimi, mutta vahvat tukijat
Vaikka ZML työllistää tällä hetkellä vain noin 20 henkilöä, yhtiö on onnistunut keräämään huomattavan rahoituksen.
Perustaja Steeve Morin tunnetaan aiemmin Zenlyn teknologiajohtajana. Snapchat osti sijaintipalvelun vuonna 2017 useiden satojen miljoonien dollarien kaupassa, mikä auttoi Morinia vakuuttamaan sijoittajat myös uudesta hankkeestaan.
ZML on kerännyt noin 20 miljoonan dollarin rahoituksen useilta pääomasijoittajilta. Lisäksi yhtiön taustalta löytyy tunnettuja nimiä tekoäly- ja ohjelmistomaailmasta, kuten Hugging Facen perustajat Clément Delangue ja Julien Chaumond, Dockerin perustaja Solomon Hykes sekä tekoälytutkija Yann LeCun.
LeCunin tuki on erityisen merkittävä, sillä häntä pidetään yhtenä modernin tekoälytutkimuksen tärkeimmistä vaikuttajista.
Ilmainen julkaisu tähtää nopeaan kasvuun
Toisin kuin ZML:n aiemmin julkaisema avoimen lähdekoodin koneoppimiskehys, uusi ZML/LLMD ei ole avoimen lähdekoodin ohjelmisto.
Yhtiö tarjoaa sen kuitenkin tällä hetkellä maksutta. Morinin mukaan tavoitteena on kerätä mahdollisimman paljon käyttäjäpalautetta ja ymmärtää, miten yritykset hyödyntävät ohjelmistoa käytännössä.
Hänen mukaansa liian aikainen maksullinen lisensointi voisi hidastaa tuotteen leviämistä markkinoille. Liiketoimintamallia ehditään rakentaa myöhemminkin, kun käyttäjäkunta on kasvanut riittävän suureksi.
Julkaisu kuvastaa myös eurooppalaisten AI-startupien kasvavaa itseluottamusta. Morinin mukaan ZML:n kaltaisen yrityksen rakentaminen onnistuu nykyään hyvin myös Euroopassa ilman tarvetta siirtää toimintaa Piilaaksoon.