„Pruna AI“, Europos startuolis, kuris dirba su AI modelių suspaudimo algoritmais, ketvirtadienį daro savo optimizavimo sistemą atvirojo kodo.
„Pruna AI“ sukūrė sistemą, kuri taiko kelis efektyvumo metodus, tokius kaip talpyklos kaupimas, genėjimas, kiekybinis nustatymas ir distiliavimas, į nurodytą AI modelį.
„Mes taip pat standartizuojame suspaustų modelių taupymą ir įkėlimą, taikydami šių suspaudimo metodų derinius, taip pat įvertiname jūsų suspaustą modelį po to, kai suspaudžiate jį“,-„Pruna AI“ ir CTO-CTO RACHWAN pasakojo „TechCrunch“.
Visų pirma, „Pruna AI“ sistema gali įvertinti, ar smarkiai praranda kokybę, suspaudžiant modelį ir gaunamą našumo padidėjimą.
„Jei aš naudočiau metaforą, mes esame panašūs į tai, kaip apsikabinantys veido standartizuoti transformatoriai ir difuzoriai – kaip juos vadinti, kaip juos išsaugoti, įkelti juos ir pan. Mes darome tuos pačius, bet efektyvumo metodus“, – pridūrė jis.
Didelės AI laboratorijos jau naudoja įvairius suspaudimo metodus. Pavyzdžiui, „Openai“ pasitikėjo distiliavimu, kad sukurtų greitesnes savo pavyzdinių modelių versijas.
Tikėtina, kaip „Openai“ sukūrė „GPT-4 Turbo“-greitesnę GPT-4 versiją. Panašiai „Flux.1-Schnell“ vaizdo generavimo modelis yra distiliuota „Flux.1“ modelio iš „Black Forest Labs“ versija.
Distiliavimas yra technika, naudojama žinioms išgauti iš didelio AI modelio su „mokytojo ir studento“ modeliu. Kūrėjai siunčia užklausas mokytojo modeliui ir įrašo išvestis. Atsakymai kartais lyginami su duomenų rinkiniu, kad būtų galima pamatyti, kokie jie tikslūs. Tada šie rezultatai naudojami mokyti studentų modelį, kuris yra išmokytas apytiksliai suderinti mokytojo elgesį.
„Didžiosioms įmonėms jie paprastai daro tai, kad jie sukuria šią medžiagą namuose. Ir tai, ką galite rasti atvirojo kodo pasaulyje, paprastai yra pagrįstas pavieniais metodais. Pavyzdžiui, tarkime, vienas LLMS kvantizavimo metodas arba vienas talpyklos metodas difuzijos modeliams“,-teigė Rachwanas. „Bet jūs nerandate įrankio, kuris juos visus surinktų, juos visus lengvai naudoja ir sujungti kartu. Tai yra didelė vertė, kurią šiuo metu„ Pruna “atneša“.
Nors „Pruna AI“ palaiko bet kokius modelius, pradedant nuo didelių kalbų modelių iki difuzijos modelių, kalbėjimo iki teksto modelių ir kompiuterinių matymo modelių, įmonė šiuo metu konkrečiau daugiausia dėmesio skiria vaizdo ir vaizdo įrašų generavimo modeliams.
Kai kurie esami „Pruna AI“ vartotojai yra scenarijus ir fotoroom. Be atvirojo kodo leidimo, „Pruna AI“ siūlo įmonę su patobulintomis optimizavimo funkcijomis, įskaitant optimizavimo agentą.
„Labiausiai jaudinanti savybė, kurią netrukus išleisime, bus kompresinis agentas“, – teigė Rachwanas. „Iš esmės jūs suteikiate jam savo modelį, jūs sakote:„ Aš noriu daugiau greičio, bet nemeskite savo tikslumo daugiau nei 2%“. Tada agentas tiesiog padarys savo magiją.
„Pruna AI“ įkrauna valandą už savo „Pro“ versiją. „Tai panašu į tai, kaip jūs galvojate apie GPU, kai išsinuomojate GPU AWS ar bet kokią debesies paslaugą“, – sakė Rachwanas.
Ir jei jūsų modelis yra kritinė jūsų AI infrastruktūros dalis, jūs sutaupysite daug pinigų, kad būtų galima daryti išvadą apie optimizuotą modelį. Pvz., „Pruna AI“ sukūrė „Llam“ modelį aštuonis kartus mažesniu, be per daug nuostolių, naudodama jo suspaudimo sistemą. „Pruna AI“ tikisi, kad jos klientai pagalvos apie jos suspaudimo sistemą kaip investiciją, kuri moka už save.
„Pruna AI“ prieš keletą mėnesių surinko 6,5 mln. USD sėklų finansavimą. Į „Startup“ investuotojus sudaro „EQT Ventures“, „Daphni“, „Motier Ventures“ ir „Kima Ventures“.
