NAUJIENŲ KATALOGAS

Pasaulio ir šalies naujienos

Šis įrankis įvertina, kiek elektros energijos naudoja jūsų „Chatbot“ pranešimai

Ar kada susimąstysite, kiek elektros energijos naudojate, kai raginate, ar padėkojate, AI modelį? Apkabindamas veido inžinierių Julieną Delavande, todėl jis sukūrė įrankį, kuris padėtų gauti atsakymą.

AI modeliai sunaudoja energiją kiekvieną kartą, kai jie paleis. Jie veikia GPU ir specializuotais lustais, kuriems reikia daug galios, kad būtų galima atlikti susijusius skaičiavimo darbo krūvius mastu. Nelengva nustatyti modelio energijos suvartojimą, tačiau plačiai tikimasi, kad augant AI technologijų naudojimui per ateinančius porą metų energijos poreikis padidins elektros energijos poreikį.

Dėl daugiau galios skatinti AI paskatino kai kurias įmones siekti ekologiškų strategijų. Tokie įrankiai kaip „Delavande“ siekia atkreipti į tai dėmesį ir galbūt kai kuriems AI vartotojams padaryti pertrauką.

„Net ir mažos energijos taupymo gali kilti milijonams užklausų – modelio pasirinkimas ar išvesties ilgis gali sukelti didelį poveikį aplinkai“, – pranešime rašė „Delavande“ ir kiti įrankio kūrėjai.

„Delavande“ įrankis yra skirtas dirbti su „Chat UI“-atvirojo kodo priekyje modeliams, tokiems kaip „Meta“ lama 3.3 70b ir „Google’s Gemma 3“. Įrankis įvertina pranešimų suvartojimą, siunčiamą į modelį ir iš jo realiu laiku, praneša apie vartojimą vatų valandomis ar džaulais. Tai taip pat lygina modelio energijos suvartojimą su įprastais buitiniais prietaisais, tokiais kaip mikrobangai ir šviesos diodai.

Remiantis įrankiu, paprašykite „Llam 3.3 70B“ parašyti tipišką el. Laišką, naudojamą maždaug 0,1841 vatų valandas-prilygstančias mikrobangų krosnelės valdymui 0,12 sekundės arba skrudintuvą naudoti 0,02 sekundės.

Verta prisiminti, kad įrankio įvertinimai yra tik tie – įverčiai. Delavande neteigia, kad jie yra nepaprastai tikslūs. Vis dėlto jie primena, kad viskas, įskaitant pokalbių programas, kainuoja.

„Vykdydami tokius projektus kaip AI energijos balas ir platesni AI energijos pėdsakų tyrimai, mes reikalaujame skaidrumo atvirojo kodo bendruomenėje. Vieną dieną energijos suvartojimas gali būti toks pat matomas kaip maisto mitybos etiketės!“ Rašė Delavande ir jo kūrėjai.

Source link

Draugai: - Marketingo agentūra - Teisinės konsultacijos - Skaidrių skenavimas - Fotofilmų kūrimas - Miesto naujienos - Šeimos gydytojai - Saulius Narbutas - Įvaizdžio kūrimas - Veidoskaita - Nuotekų valymo įrenginiai - Teniso treniruotės - Pranešimai spaudai -