Fondatorii Reface și Prisma lansează Mirai, startup care accelerează rularea modelelor AI direct pe telefon și laptop

O mare parte din discuțiile despre inteligența artificială în prezent se concentrează pe creșterea capacității cloud și pe construirea unor centre de date masive pentru rularea modelelor. Companii precum Apple și Qualcomm abia încep să facă AI-ul rulabil pe dispozitive mai util. În acest context, echipa tehnică de 14 persoane a startup-ului londonez Mirai lucrează la îmbunătățirea modului în care modelele rulează direct pe telefoane și laptopuri.

Mirai, susținut de o rundă seed de 10 milioane de dolari condusă de Uncork Capital, a fost fondat anul trecut de Dima Shevts și Alexey Moiseenkov. Cei doi fondatori au experiență în dezvoltarea de aplicații de consum scalabile. Shevts a cofondat aplicația de schimbare a feței Reface, susținută de a16z, iar ulterior a devenit și scout pentru acest fond de investiții. Moiseenkov a fost CEO și cofondator al aplicației virale de filtre bazate pe AI din deceniul trecut, Prisma.

Ca dezvoltatori orientați spre consumatori, amândoi se gândeau deja la AI și învățare automată direct pe dispozitive, chiar înainte ca AI generativ să devină popular, a explicat Shevts.

„Când ne-am întâlnit la Londra, am început să vorbim despre tehnologie și ne-am dat seama că, în mijlocul acestui hype în jurul AI generativ și al adopției tot mai mari a AI, toată lumea vorbește despre cloud, despre servere, despre AGI care vine. Dar piesa lipsă este AI-ul on-device pentru hardware-ul de larg consum”, a spus el pentru TechCrunch.

Shevts și Moiseenkov și-au propus să folosească AI pentru a crea un pipeline care să le permită să ruleze pe telefon sarcini complexe. Acest obiectiv i-a condus la lansarea Mirai. Când au discutat cu alți dezvoltatori de aplicații pentru consumatori, au aflat că mulți își doreau și o optimizare mai bună a costurilor și marje mai bune per token utilizat.

În prezent, Mirai dezvoltă un framework pentru modele astfel încât acestea să poată funcționa mai eficient pe dispozitive. Compania a construit un motor de inferență pentru Apple Silicon, care optimizează debitul procesării direct pe dispozitiv. Odată cu viitorul SDK, dezvoltatorii vor putea integra acest runtime în aplicațiile lor cu doar câteva linii de cod, susține compania.

„Una dintre viziunile pentru care am pornit compania a fost să le oferim dezvoltatorilor o experiență de integrare de tip Stripe, cu opt linii de cod… practic intri pe platforma noastră, integrezi cheia și începi să lucrezi cu sumarizare, clasificare sau orice alt caz de utilizare ai”, a spus Shevts.

Startup-ul a construit acest motor în Rust, iar echipa susține că poate crește viteza de generare a unui model cu până la 37%. Compania afirmă că, atunci când adaptează modelul la o anumită platformă, nu modifică greutățile modelului, pentru a se asigura că nu există pierderi de calitate în rezultatele generate.

Stack-ul Mirai se concentrează în prezent pe îmbunătățirea modalităților text și voce pe platformă, iar pe viitor intenționează să sprijine și partea de viziune. Echipa a început deja să colaboreze cu furnizori de modele de frontieră pentru a-și optimiza modelele pentru utilizare la margine (edge) și se află în discuții cu diverși producători de cipuri. Ulterior, compania plănuiește să aducă motorul său și pe Android.

În plus, Mirai își propune să lanseze benchmark-uri on-device, astfel încât creatorii de modele să poată testa performanța pe dispozitive. Shevts recunoaște că nu toată munca de AI poate fi făcută local, pe telefon sau laptop. Pentru a permite un mod de operare mixt, echipa construiește un strat de orchestrare, care va trimite în cloud acele cereri ce nu pot fi procesate direct pe dispozitiv.

Deși startup-ul nu lucrează încă în mod direct cu aplicații comerciale, motorul său ar putea alimenta asistenți on-device, unelte de transcriere, traducători și aplicații de chat.

Andy McLoughlin, managing partner la Uncork Capital, a menționat că a investit în urmă cu aproape un deceniu într-o companie de machine learning la margine. El a spus că firma aceea a fost prea devreme pe piață și și-a vândut în cele din urmă afacerea către un jucător mare din streaming. El consideră însă că situația de astăzi este diferită.

„Având în vedere costul inferenței în cloud, ceva trebuie să se schimbe… Deocamdată, fondurile de investiții sunt dispuse să continue să finanțeze companiile-rachetă, care cheltuie sume enorme pe inferență în cloud. Dar asta nu va dura — la un moment dat, oamenii se vor concentra pe economia de bază a acestor afaceri și vor realiza că ceva trebuie să se schimbe”, a spus el. „Se simte că orice creator de modele va dori să ruleze o parte din workloadurile de inferență la margine, iar Mirai pare foarte bine poziționată pentru a captura această cerere.”

Runda seed a Mirai a inclus și participarea mai multor investitori individuali, printre care CEO-ul Dreamer, David Singleton, partenerul YC Francois Chaubard, cofondatorul Snowflake Marcin Żukowski, cofondatorul ElevenLabs Mati Staniszewski, fostul product manager Google AdSense și membru în boardul Coinbase, Gokul Rajaram, investitorul Groq Scooter Braun, CTO-ul Turing.com Vijay Krishnan, Ben Parr și Matt Schlicht de la Theory Forge Ventures, precum și fostul lider tehnic Netflix, Aditya Jami.