„Google“ neprisijungęs AI vertėjas parodo, ką vietinis AI gali nuveikti be debesies

Dirbtinis intelektas ne visada turi duomenų centrą, kad būtų naudingas. „Google“ naujausias eksperimentas su Gemma vertėju padaro šią idėją stebėtinai apčiuopiamą: mažas, nešiojamas balso vertėjas, kuris gali klausytis, versti ir kalbėti neturint interneto ryšio.

Pastatytas aplink Raspberry Pi 5 ir „Google“ lengvą Gemma 4 E2B modelį, projektas paverčia nebrangių komponentų rinkinį į visiškai vietinį AI vertimo įrenginį. Tai nėra naujas komercinis „Google“ įtaisų produktas, o atvirojo kodo prototipas, sukurtas parodyti, kaip pajėgus AI gali pereiti nuo debesies prie kasdienės aparatūros.

Ir tai gali būti svarbiau nei pats vertėjas. Gemma vertėjas yra dar vienas pavyzdys platesnio perėjimo link AI įrenginiuose, kur apdorojimas vyksta vietoje, o ne siunčiant kiekvieną užklausą į nuotolinį serverį.

Kas yra „Google“ Gemma vertėjas?

Gemma vertėjas yra atvirojo kodo balso vertimo projektas, sukurtas su „Google Antigravity“ pagalba. Jo tikslas yra paprastas: leisti dviem žmonėms, kalbantiems skirtingomis kalbomis, bendrauti per kompaktišką įrenginį, kuris atlieką visą vertimo procesą vietoje.

Prototipas apjungia Raspberry Pi 5 su 8GB RAM, mikrofoną, garsiakalbį arba ausines ir mažą ekraną. Aparatinė įranga gali būti dedama į individualiai 3D spausdintą dėklą, todėl rezultatas atrodo labiau kaip specializuotas nešiojamas vertėjas nei tradicinis vieno plokštės kompiuteris.

Tačiau yra svarbus skirtumas. „Google“ neatliko Gemma vertėjo kaip vartotojų produkto. Tai technologijų demonstracija ir atvirojo kodo projektas. Kodas, diegimo skriptai ir 3D spausdinimui tinkami korpusų failai yra prieinami kūrėjams ir entuziastams, norintiems reprodukuoti arba modifikuoti sistemą.

Kaip veikia neprisijungęs AI vertėjas?

Įdomiausia projekto dalis nėra jo aparatinė įranga, bet tai, kaip programinės įrangos rinkinys padalintas į kelis vietinius komponentus.

Kai asmuo kalba į mikrofoną, garsas apdorojamas įrenginyje. Kalba transkribuojama, gautas tekstas verčiamas Gemma, o tada išversta sakinio dalis vėl konvertuojama į kalbą. Saugykla tai apibūdina kaip vietinį srautą, apimantį kalbos atpažinimą, Gemma pagrindu vykdomą vertimą ir tekstą į kalbą.

Projektas sukurtas aplink dvi pokalbių juostas. Kiekvienas asmuo pasirenka kalbą, įrašo savo frazę ir gauna vertimą kito asmens kalba. Dabartinėje įgyvendinime bendravimas remiasi stumti-kalbėti valdymu, o ne nuolat klausiančiu asistentu.

Pagrindinis punktas yra tas, kad AI išvada įvyksta vietoje. Kai būtina programinė įranga ir modelis buvo įdiegti, vertėjui nebereikia interneto ryšio, kad galėtų atlikti savo pagrindinę užduotį.

Tai žymiai keičia praktinę naudojimo situaciją. Debesų pagrindu veikiantis vertėjas gali tapti patikimumo trūkumu, kai ryšys yra prastas. Neprisijungęs įrenginys gali toliau veikti lėktuve, atokiose vietovėse ar vietose, kur nėra tinklo infrastruktūros.

Kodėl Gemma 4 E2B yra svarbus

Projekto centre yra Gemma 4 E2B, vienas iš mažesnių „Google“ Gemma modelių, skirtų krašto programoms.

Dideli AI modeliai yra galingi, tačiau jie paprastai reikalauja didelių kompiuterinių išteklių. Mažesnių krašto modelių tikslas yra kitoks: jie aukoja tam tikrą mastą mainais į galimybę veikti tiesiogiai telefonuose, kompiuteriuose ir integruotoje aparatinėje įrangoje.

„Google“ aktyviai propaguoja šį požiūrį su Gemma 4 ir jo LiteRT-LM vykdymu. Įmonė teigia, kad LiteRT-LM sukurtas taip, kad Gemma modeliai būtų praktiški įvairiose įrenginiuose, įskaitant Raspberry Pi 5. „Google“ pati dokumentacija pabrėžia E2B ir E4B modelius kaip pasirinkimus krašto ir IoT programoms.

Gemma vertėjas demonstruoja, kaip ši strategija atrodo už ribų standartizuoto arba kūrėjų demonstravimo. Vietoj to, kad prašytumėte nuotolinės AI paslaugos išversti sakinį, Raspberry Pi tampa AI kompiuteriu.

Tai yra reikšmingas pokytis, kaip galime galvoti apie AI aparatūrą.

Nebūk debesyje, tai daugiau nei tiesiog dirbti neprisijungus

Akivaizdus vietinio vertimo pranašumas yra sujungimas. Jei nėra „Wi-Fi“ arba mobiliojo signalo, įrenginys vis tiek gali atlikti savo pagrindinę funkciją.

Tačiau privatumas gali būti lygiai taip pat svarbus.

Su debesų vertimo paslauga, balso įrašai arba transkribuoti pokalbiai gali tekti palikti įrenginį apdorojimui. Neprisijungusi architektūra gali išlaikyti kalbos apdorojimo srautą vietinėje aparatinėje įrangoje. Dėl jautrių pokalbių, privačių susitikimų arba lauko operacijų tai gali būti reikšmingas pranašumas.

Tai automatiškai nepadaro kiekvienos vietinės AI programos visiškai privataus ar saugaus. Tikros privatumo garantijos priklauso nuo visos programinės ir aparatinės įrangos konfigūracijos. Vis dėlto, pašalinant būtinybę perduoti balso duomenis į nuotolinį AI paslaugą, pašalinamas svarbus eksponavimo kategorija.

Tas pats principas galioja už vertimo ribų. Vietinis AI gali būti naudingas asmeniniams asistentams, prieigos įrankiams, edukacinėms priemonėms, pramoninėms sistemoms ir avarinėms įrangoms, kur jungtis nėra garantuota.

„Google“ kuria didesnę AI ekosistemą

Gemma vertėjas daro daugiau prasmės, kai jį vertiname kaip dalį „Google“ platesnės krašto AI strategijos.

Įmonės LiteRT-LM rinkinys yra specialiai sukurtas generatyvios AI vietiniam naudojimui. „Google“ apibūdina tai kaip „LiteRT“ technologijos plėtrą su galimybėmis, optimizuotomis generatyviems modeliams, o neseniai „Gemma 4“ darbas pabrėžė mažesnių modelių vykdymą mobiliuosiuose, staliniais ir IoT aparatuose.

Raspberry Pi yra ypač įdomus, nes jis yra tarp tradicinio kompiuterio ir integruoto įrenginio. Jis yra nebrangus, kompaktiškas ir prieinamas kūrėjams. Jei modeliai taps pakankamai pajėgūs atlikti naudingas užduotis tokiame mažame aparatinėje įrangoje, galimų AI programų skaičius dramatiškai išaugs.

Todėl vertėjas yra mažiau įdomus kaip „Google Translate“ pakeitimas nei kaip koncepcijos įrodymas.

Tai užduoda didesnį klausimą: kas nutiks, kai naudingas AI nebebus priklausomas nuo debesies?

Ar galite patys sukurti „Google“ vertėją?

Taip. Vienas iš stipriausių projekto aspektų yra tas, kad „Google“ įgyvendinimą padarė atvirą.

Oficialioje saugykloje yra taikomosios programos kodas, nustatymo skriptai, diegimo konfigūracija ir STL failai 3D spausdinimo dėklui. Dokumentuotas aparatūros reikalavimas yra Raspberry Pi 5 su 8GB RAM, kartu su garso įvestimi, garso išvestimi ir ekranu.

Programinė įranga gali būti diegiama per suteiktus skriptus. Projektas sukuria Python aplinką, atsisiunčia reikalaujamą Gemma modelį ir pradeda vietines paslaugas. Taip pat yra specialus Raspberry Pi diegimo skriptas, skirtas konfigūruoti įrenginį kaip nuolatinę kiosko tipo įrangą.

Tai daro Gemma vertėją daugiau nei tik išskirtinę demonstraciją. Kūrėjai gali peržiūrėti įgyvendinimą, eksperimentuoti su sąsaja, keisti komponentus arba naudoti architektūrą kaip pradinį tašką savo eigen AI projektams.

Vis dėlto yra akivaizdžių apribojimų. Įrenginys yra prototipas, o ne poliruotas komercinis produktas, ir vietinio AI našumas priklauso nuo aparatinės ir programinės įrangos konfigūracijos. Raspberry Pi negali tiesiog pasiūlyti tokios pačios apdorojimo galios kaip didelė debesų infrastruktūros klasė.

Bet tai tikrai daro eksperimentą įdomų.

Didelis paveikslas: AI artėja prie vartotojo

Mūsų metais dominuojantis AI modelis buvo paprastas: jūsų įrenginys siunčia užklausą galingam serveriui, serveris ją apdoroja ir grąžina rezultatą.

Šis modelis dingo. Debesų AI liks būtinas daugeliui reikalaujančių programų.

Tačiau projektai, tokie kaip „Google“ Gemma vertėjas, demonstruoja alternatyvą. Kai modeliai tampa mažesni, o vykdymo laikas efektyvesnis, daugiau AI galimybių gali būti tiesiogiai perkelta į įrenginius, kuriuos jau turime.

Vertimas yra ypač geras pavyzdys, nes darbo eiga yra lengvai suprantama. Jūs kalbate, AI apdoroja užklausą ir kitas žmogus girdi rezultatą. Nėra matomos serverio infrastruktūros ir, nustatant, nereikalaujama interneto ryšio.

Todėl svarbiausia „Google“ projekto dalis gali būti ne pats mažas vertėjas. Tai įrodymas, kad šiuolaikinis generatyvus AI modelis gali tapti komponentu mažame, nebrangiame ir nešiojamame įrenginyje.

Gemma vertėjas nėra kitas „Google Translate“ produktas. Tai žvilgsnis į tai, kas bus po debesų tik AI: protingi įrenginiai, kurie gali veikti nepriklausomai, laikyti daugiau apdorojimo vietoje ir išlikti naudingi net ir dingus internetui.