Googles offline AI-oversetter viser hva lokal AI kan gjøre uten skytjenester

News

Av Wendy Frey

Kunstig intelligens trenger ikke alltid et datasenter for å være nyttig. Googles siste eksperiment med Gemma Translator gjør den ideen overraskende håndgripelig: en liten, bærbar taleroverfører som kan lytte, oversette og snakke uten internettforbindelse.

Bygget rundt en Raspberry Pi 5 og Googles lette Gemma 4 E2B-modell, omdanner prosjektet en samling av rimelige komponenter til en fullt lokal AI-oversetter. Det er ikke en ny kommersiell Google-pryttel, men en åpen kilde-prototype designet for å demonstrere hvor kapabel AI kan flytte fra skyen til hverdagsmaskinvare.

Og det kan være viktigere enn oversetteren selv. Gemma Translator er et annet eksempel på en bredere overgang mot AI på enheten, der behandlingen skjer lokalt i stedet for å sende hver forespørsel til en ekstern server.

Hva er Google Gemma Translator?

Gemma Translator er et åpen kilde taleroverføringsprosjekt utviklet med hjelp fra Google Antigravity. Formålet er enkelt: la to personer som snakker forskjellige språk kommunisere gjennom en kompakt enhet som utfører hele oversettelsesprosessen lokalt.

Prototypen kombinerer en Raspberry Pi 5 med 8 GB RAM, et mikrofon, en høyttaler eller hodetelefoner og en liten skjerm. Maskinvaren kan plasseres i et skreddersydd 3D-printet hus, noe som gjør at resultatet ser mer ut som en dedikert håndholdt oversetter enn en konvensjonell enkeltkortdatamaskin.

Det er imidlertid en viktig distinksjon. Google har ikke annonsert Gemma Translator som et forbrukerprodukt. Det er en teknologidemo og et åpen kilde-prosjekt. Koden, distribusjonsskriptene og 3D-printbare kapslingsfiler er tilgjengelige for utviklere og entusiaster som ønsker å gjenskape eller modifisere systemet.

KomponentRolle
Raspberry Pi 5, 8GBLokal databehandling
Gemma 4 E2BAI-oversetting
LiteRT-LMLokalt modellkjøring
MoonshineTaleprosessering
MikrofonTaleinngang
Høyttaler/hodetelefonerOversatt taleutgang
Liten skjermBrukergrensesnitt
3D-printet husBærbar kapsling

Hvordan fungerer den offline AI-oversetteren?

Den mest interessante delen av prosjektet er ikke maskinvaren, men måten programvarebunken er delt inn i flere lokale komponenter.

Når en person snakker inn i mikrofonen, blir lyden behandlet på enheten. Talen transkriberes, den resulterende teksten oversettes av Gemma, og den oversatte setningen blir deretter konvertert tilbake til tale. Repositoryet beskriver dette som en lokal pipeline som involverer taleklasse, Gemma-basert oversettelse og tekst-til-tale.

Prosjektet er designet rundt to samtalekanaler. Hver person velger et språk, tar opp sin frase og mottar oversettelsen på den andre personens språk. I den nåværende implementasjonen er interaksjonen basert på push-to-talk-kontrollere i stedet for en konstant lyttende assistent.

Det viktigste er at AI-inferensen skjer lokalt. Når nødvendig programvare og modell er installert, trenger oversetteren ikke internettforbindelse for å utføre sin kjerneoppgave.

Det endrer bruksområdet betydelig. En skybasert oversetter kan bli upålitelig når tilkoblingen er dårlig. En offline enhet kan fortsette å fungere på et fly, i et avsides område eller i steder hvor nettverksinfrastruktur ikke er tilgjengelig.

Hvorfor betyr Gemma 4 E2B noe

I sentrum av prosjektet er Gemma 4 E2B, en av Googles mindre Gemma-modeller designet for edge-applikasjoner.

Store AI-modeller er kraftige, men de krever vanligvis betydelige databehandlingsressurser. Formålet med mindre edge-modeller er annerledes: de ofrer noe skala i bytte mot muligheten til å kjøre direkte på telefoner, datamaskiner og innebygde enheter.

Google har aktivt drevet denne tilnærmingen med Gemma 4 og dens LiteRT-LM kjøring. Selskapet sier at LiteRT-LM er designet for å gjøre Gemma-modeller praktiske på et bredt spekter av enheter, inkludert Raspberry Pi 5. Googles egen dokumentasjon fremhever E2B og E4B-modeller som alternativer for edge- og IoT-applikasjoner.

Gemma Translator demonstrerer hvordan den strategien ser ut utenfor en benchmarks eller utviklerdemo. I stedet for å spørre en ekstern AI-tjeneste om å oversette en setning, blir Raspberry Pi AI-datamaskinen.

Det er en betydelig endring i måten vi kan tenke på AI-maskinvare.

Ingen sky betyr mer enn bare å fungere offline

Den åpenbare fordelen med lokal oversettelse er tilkobling. Hvis det ikke finnes noe Wi-Fi eller mobil signal, kan enheten fortsatt utføre sin primære funksjon.

Men personvern er etter alt å dømme like viktig.

Med en skyoversettelsestjeneste kan taleopptak eller transkriberte samtaler måtte forlate enheten for behandling. En offline arkitektur kan holde taleprosessering på lokal maskinvare i stedet. For sensitive samtaler, private møter eller feltoperasjoner kan det være et betydelig fortrinn.

Dette gjør ikke automatisk hver lokal AI-applikasjon perfekt privat eller sikker. De faktiske personvern-garantiene avhenger av den komplette programvare- og maskinvarekonfigurasjonen. Likevel, det å fjerne behovet for å overføre tale data til en ekstern AI-tjeneste eliminerer en viktig kategori av eksponering.

Det samme prinsippet gjelder utover oversettelse. Lokal AI kan være nyttig for personlige assistenter, tilgjengelighetsverktøy, utdannelsesverktøy, industrielle systemer og nødutstyr hvor tilkobling ikke kan garanteres.

Google bygger mot et større AI-økosystem på enheten

Gemma Translator gir mer mening når den ses som en del av Googles bredere edge AI-strategi.

Selskapets LiteRT-LM-bunke er spesifikt designet for å kjøre generativ AI lokalt. Google beskriver det som en utvidelse av sin LiteRT-teknologi med funksjoner optimalisert for generative modeller, mens deres nylige arbeid med Gemma 4 har fremhevet å kjøre mindre modeller på mobile, skrivebord- og IoT-maskinvare.

Raspberry Pi er spesielt interessant fordi det sitter mellom en tradisjonell datamaskin og en innebygd enhet. Det er rimelig, kompakt og tilgjengelig for utviklere. Hvis modeller blir kraftige nok til å utføre nyttige oppgaver på maskinvare så liten, utvides antallet mulige AI-applikasjoner dramatisk.

Oversetteren er derfor mindre interessant som en erstatning for Google Translate enn som et bevis på konseptet.

Det stiller et større spørsmål: hva skjer når nyttig AI ikke lenger trenger å leve i skyen?

Kan du bygge Google Translator selv?

Ja. En av de sterkeste aspektene ved prosjektet er at Google har gjort implementeringen tilgjengelig som åpen kilde.

Det offisielle repositoryet inkluderer applikasjonskoden, oppsettsskriptene, distribusjonskonfigurasjonen og STL-filene for den 3D-printede kapslingen. Den dokumenterte maskinvarekravene er en Raspberry Pi 5 med 8 GB RAM, sammen med lydinngang, lydutgang og en skjerm.

Programvaren kan distribueres gjennom de medfølgende skriptene. Prosjektet oppretter et Python-miljø, laster ned den nødvendige Gemma-modellen og starter de lokale tjenestene. Det finnes også et dedikert Raspberry Pi distribusjonsskript for å konfigurere enheten som en permanent kiosk-stil apparat.

Dette gjør Gemma Translator mer enn en flashy demonstrasjon. Utviklere kan inspisere implementeringen, eksperimentere med grensesnittet, bytte komponenter eller bruke arkitekturen som et utgangspunkt for sine egne edge AI-prosjekter.

Det er fortsatt åpenbare begrensninger. Enheten er en prototype snarere enn et polert kommersielt produkt, og lokal AI-yteevne avhenger av maskinvare- og programvarekonfigurasjonen. En Raspberry Pi kan ikke bare tilby samme behandlingskapasitet som en stor skyinfrastruktur-klynge.

Men det er nettopp det som gjør eksperimentet interessant.

Det større bildet: AI flytter nærmere brukeren

I årevis har den dominerende AI-modellen vært enkel: enheten din sender en forespørsel til en kraftig server, serveren behandler den og sender resultatet tilbake.

Den modellen forsvinner ikke. Sky AI vil forbli essensiell for mange krevende applikasjoner.

Men prosjekter som Googles Gemma Translator demonstrerer alternativet. Etter hvert som modeller blir mindre og kjøringer blir mer effektive, kan flere AI-funksjoner flytte direkte til enhetene vi allerede eier.

Oversettelse er en spesielt god showcase fordi arbeidsflyten er lett å forstå. Du snakker, AI behandler forespørselen og en annen person hører resultatet. Det er ingen synlig serverinfrastruktur og, etter oppsett, ingen internettforbindelse nødvendig.

Den viktigste delen av Googles prosjekt kan derfor ikke være den lille oversetteren selv. Det er demonstrasjonen på at en moderne generativ AI-modell kan bli en komponent inne i en liten, rimelig og bærbar enhet.

Gemma Translator er ikke det neste Google Translate-produktet. Det er et glimt av hva som kommer etter skybasert AI: intelligente enheter som kan fungere uavhengig, holde mer prosessering lokal og forbli nyttige selv når internett forsvinner.

Virale maler

Utforsk våre virale AI-maler og bruk dem på bildene dine.

Utforsk maler