Startup-ul francez ZML lansează gratuit un server de inferență AI care rupe dependența de cipurile Nvidia

Zilele dominanței de piață aproape de necontestat a companiei Nvidia nu s-au încheiat, însă din toate direcțiile apar provocatori și alternative. O nouă companie franceză de inteligență artificială, ZML, susținută de laureatul premiului Turing Yann LeCun, a lansat un software de optimizare a performanței în inferență, care permite rularea mai multor modele de limbaj de mari dimensiuni open-source pe o varietate de cipuri — inclusiv Nvidia, AMD, TPU-urile Google, Apple Metal și Intel Arc.

Cu ZML/LLMD, noul server de inferență pentru LLM-uri, ambiția companiei este să spargă silozurile existente și să facă accesibile diferite tipuri de cipuri pentru scenarii de utilizare AI la viteza lor maximă disponibilă și, uneori, chiar mai rapid, a explicat fondatorul ZML, Steeve Morin. Obiectivul declarat este ca aceste resurse hardware variate să poată fi valorificate în mod unitar și eficient.

Pe măsură ce inteligența artificială este integrată tot mai profund în munca și viața noastră de zi cu zi, optimizarea inferenței — adică procesarea prompturilor — a început să devină mai importantă decât antrenarea modelelor. În culise însă, lucrurile par deseori fragmentate, cu bariere software și de arhitectură care duc la dependență față de un singur furnizor, avertizează Morin. Aceste blocaje arhitecturale sunt exact ceea ce ZML vrea să îndepărteze.

Promisiunea de a atinge performanță maximă pe o gamă extinsă de cipuri reprezintă nu doar o realizare tehnologică, ci și un potențial factor de perturbare a pieței, într-un context în care temerile privind costurile asociate cu AI sunt tot mai mari. Optimizarea inferenței nu se referă doar la viteză, ci și la cheltuieli de infrastructură și eficiență energetică, elemente care preocupă tot mai mult companiile.

ZML își propune să ofere întreprinderilor și furnizorilor de cloud posibilitatea de a folosi un mix de cipuri, unele poate mai ieftine sau cu un consum de energie mai redus. “The idea is to give people back the power to create their own system and achieve real efficiency gains that allow [AI] to be disseminated,” a declarat Morin. Astfel, organizațiile ar putea proiecta arhitecturi proprii, fără să fie constrânse de un singur ecosistem hardware.

Un astfel de sprijin software ar putea ajuta și producători noi de cipuri pentru AI, dintre care mulți se află în Europa, observă Morin, menționând companii precum Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud și VSORA. Totuși, mai important decât originea geografică a acestor companii este faptul că ZML își propune să lucreze cu ele la „lucruri care nu au mai fost făcute nicăieri în lume”, extinzând astfel limitele actuale ale hardware-ului dedicat AI.

Asta nu înseamnă că Morin este pesimist în privința Nvidia. Dimpotrivă. Un motiv ține de lanțul de aprovizionare deja solid al gigantului, iar Morin afirmă că ZML are o relație bună cu acest colos al cipurilor pentru AI, care se pregătește intens pentru explozia cererii în zona inferenței. Nvidia rămâne un partener important, chiar dacă ZML vrea să reducă dependența exclusivă de tehnologia sa.

Zona de inferență a atras investiții atât de mari încât tendința a fost numită „inference gold rush”. În acest context, ZML are mai mulți concurenți, precum Baseten (evaluată recent la 13 miliarde de dolari), Inferact, creată de autorii proiectului open-source vLLM, sau RadixArk, compania comercială din spatele SGLang. Acești jucători mizează, la rândul lor, pe accelerarea și eficientizarea rulării modelelor de limbaj.

Atât vLLM, cât și SGLang concurează parțial cu LLMD, dar ambițiile lui Morin pentru ZML acoperă un spectru mai larg. “We have reached the point where we are co-designing silicon,” a spus el. Morin atribuie viteza de inovare și faptului că startup-ul parizian are o echipă supla de doar 20 de persoane, ceea ce le permite să se miște rapid și să planifice deja noi lansări și îmbunătățiri ale platformei.

A contat mult și faptul că această echipă mică este bine finanțată raportat la dimensiunea ei. Datorită experienței lui Morin ca VP of engineering la Zenly, achiziționată de Snapchat în 2017 pentru o sumă de nouă cifre, el a reușit să atragă 20 de milioane de dolari de la fonduri de investiții precum 20VC a lui Harry Stebbings, >commit, AALVC, Drysdale Ventures, Kima Ventures a lui Xavier Niel, Kindred Capital, LocalGlobe și Puzzle Ventures.

Spre deosebire de primul proiect public al ZML, un framework de machine learning axat pe inferență, lansat în 2024 și actualizat în martie, ZML/LLMD nu este open-source. Totuși, compania îl lansează gratuit la început, cu scopul de a înțelege cum este folosit în practică. “I’d rather measure and [then generate revenue] where it is most effective without hindering my growth stupidly because I have been too greedy from the get-go,” a explicat Morin, sugerând că modelul de monetizare va fi ajustat în funcție de utilizare.

Este prea devreme pentru a spune când ar putea deveni ZML/LLMD un produs plătit și cum va arăta rata sa de adoptare. Totuși, structura acționariatului arată că alți fondatori importanți sunt atenți la evoluția companiei, printre aceștia fiind Solomon Hykes (fondator Dagger și Docker), Clément Delangue și Julien Chaumond de la Hugging Face, precum și Yann LeCun, acum la AMI Labs. Toate acestea întăresc ideea că startup-urile europene de AI pot construi produse competitive rămânând în regiune. „I couldn’t do ZML anywhere but in Paris,” a conchis Morin, subliniind rolul ecosistemului local în nașterea companiei.