Google’i offline AI tõlkija näitab, mida kohalik AI suudab ilma pilve abita

Tehisintellekt ei vaja alati andmekeskust, et olla kasulik. Google’i viimane katse Gemma tõlkijaga muudab selle idee üllatavalt käegakatsutavaks: väike, kaasaskantav häältõlkija, mis suudab kuulata, tõlkida ja rääkida ilma internetiühenduseta.

Konstruktsioon koosneb Raspberry Pi 5-st ja Google’i kerge Gemma 4 E2B mudelist, muutes odavad komponendid täielikult kohalikuks AI tõlkeseadmeks. See ei ole uus kommertstoode, vaid avatud lähtekoodiga prototüübi, mille eesmärgiks on näidata, kui võimekas AI saab olla, liikudes pilvest igapäevaste seadmete juurde.

Ja see võib olla tähtsam kui tõlkija ise. Gemma tõlkija on veel üks näide laiemast suundumusest, kus AI töötlemine toimub kohapeal hoopis selle asemel, et saata iga päring kaugserverisse.

Mis on Google Gemma tõlkija?

Gemma tõlkija on avatud lähtekoodiga häältõlkeprojekt, mille arendamisel osaleb Google Antigravity. Selle eesmärk on lihtne: võimaldada kahel inimesel, kes räägivad erinevates keeltes, suhelda kompaktse seadme abil, mis teostab kogu tõlkeprotsessi kohapeal.

Prototüüp ühendab Raspberry Pi 5 koos 8 GB RAM-i, mikrofoni, kõlari või kõrvaklappidega ning väikese ekraaniga. Riistvara saab paigutada kohandatud 3D-printitud korpusesse, mis muudab tulemuse rohkem nagu spetsiaalne käeshoitav tõlkija, mitte tavaline ühteplaadine arvuti.

Siiski on oluline eristada. Google ei ole Gemma tõlkijat tarbijatootena välja kuulutanud. See on tehnoloogia demonstreerimine ja avatud lähtekoodiga projekt. Kood, juurutusskriptid ja 3D-prinditavad korpuse failid on saadaval arendajatele ja entusiastidele, kes soovivad süsteemi uuesti luua või muuta.

Kuidas töötab offline AI tõlkija?

Projekti kõige huvitavam osa ei ole selle riistvara, vaid selle tarkvarakomplekti jagamine mitmeks kohalikuks komponendiks.

Kui inimene räägib mikrofoni, töödeldakse heli seadmes. Kõne transkribeeritakse, saadud tekst tõlgitakse Gemma abil ja tõlgitud lause muudetakse siis tagasi kõneks. Repositoorium kirjeldab seda kui kohalikku protsesside ahelat, mis hõlmab kõnetuvastust, Gemma-põhist tõlget ja tekstist kõneks.

Projekt on kavandatud kahe vestlusraja ümber. Iga inimene valib keele, salvestab oma fraasi ja saab tõlke teise inimese keeles. Käesoleva rakenduse puhul põhineb suhtlemine nuppude vajutamisel rääkimise asemel, mitte pidevalt kuulaval assistendil.

Peamine punkt on see, et AI järeldus toimub kohapeal. Kui vajalik tarkvara ja mudel on installitud, ei vaja tõlkija oma põhifunktsiooni täitmiseks internetiühendust.

See muudab praktilise kasutusjuhtumi oluliselt. Pilvepõhine tõlkija võib halva ühenduse korral muutuda ebaturvaliseks. Offline-seade saab jätkata tööd lennukis, kaug piirkondades või kohtades, kus võrgu infrastruktuur ei ole saadaval.

Miks on Gemma 4 E2B tähtis

Projekti keskmes on Gemma 4 E2B, üks Google’i väiksematest Gemma mudelitest, mis on mõeldud servarakenduste jaoks.

Suured AI mudelid on võimsad, kuid need vajavad tavaliselt märkimisväärseid arvutusressursse. Väiksemate servamudelite eesmärk on erinev: nad ohverdavad mõningast ulatust vastutasuks võimalusele töötada otse telefonides, arvutites ja embeditud riistvaras.

Google on seda lähenemist aktiivselt edendanud Gemma 4 ja selle LiteRT-LM töö ajal. Ettevõtte sõnul on LiteRT-LM loodud selleks, et muuta Gemma mudelid kasutatavateks laias valikus seadmetes, sealhulgas Raspberry Pi 5-l. Google’i enda dokumentatsioon toob E2B ja E4B mudelid välja valikuteks serva- ja IoT rakenduste jaoks.

Gemma tõlkija demonstreerib, milline see strateegia välja näeb väljaspool mõõtmist või arendaja demo. Selle asemel, et küsida kaug AI Teenuselt lause tõlkimist, muutub Raspberry Pi AI arvutiks.

See on märkimisväärne muutus selles, kuidas me saame mõelda AI riistvarale.

Ei ole pilve, tähendab rohkem kui lihtsalt offline töötamine

Kohaliku tõlke ilmne eelis on ühenduvus. Kui Wi-Fi või mobiilisignaal puudub, suudab seade siiski täita oma peamist funktsiooni.

Aga privaatsus on vaieldamatult sama oluline.

Pilve tõlketeenusega võivad häälekanded või transkribeeritud vestlused vajada töötlemiseks seadmest lahkumist. Offline-arhitektuur võib hoida kõnetöötlusprotsessi kohaliku riistvara peal. Tundlike vestluste, privaatsete kohtumiste või välitööde jaoks võib see olla oluline eelise.

See ei tähenda automaatselt, et iga kohalik AI rakendus oleks täiesti privaatne või turvaline. Tegelikud privaatsusgarantiid sõltuvad täielikust tarkvara ja riistvara konfiguratsioonist. Sellegipoolest, eliminatsioon nõudest edastada häälteavet kaug AI teenusele, kõrvaldab olulise riski.

Sama põhimõte kehtib ka tõlkest kaugemale. Kohalik AI võiks olla kasulik isiklike assistentide, ligipääsetavuse tööriistade, haridusseadmete, tööstuslike süsteemide ja hädaabi seadmete jaoks, kus ühenduvust ei saa tagada.

Google ehitab suurt kohapealset AI ökosüsteemi

Gemma tõlkija omandab rohkem mõtet, kui vaadata seda osana Google’i laiemast serva AI strateegiast.

Ettevõtte LiteRT-LM komplekt on kavandatud spetsiaalselt generatiivse AI kohapealseks kasutamiseks. Google kirjeldab seda kui oma LiteRT tehnoloogia laiendust, mille võime on optimeeritud generatiivsete mudelite jaoks, samas kui viimane Gemma 4 töö on rõhutanud väiksemate mudelite töötlemist mobiilsete, lauaarvutite ja IoT riistvara peal.

Raspberry Pi on eriti huvitav, sest see asub traditsioonilise arvuti ja embeditud seadme vahel. See on odav, kompaktne ja arendajatele kergesti kättesaadav. Kui mudelid saavad piisavalt võimekad, et täita kasulikke ülesandeid nii väikeste seadmete peal, laieneb AI rakenduste arv dramaatiliselt.

Tõlkija on seetõttu vähem huvitav Google’i Tõlki asendajana, kui tõestusena kontseptsioonist.

See esitab suurema küsimuse: mis juhtub, kui kasulik AI ei pea enam elama pilves?

Kas saad teha Google’i tõlkija ise?

Jah. Üks projekti tugevamaid külgi on see, et Google on teinud rakenduse kättesaadavaks avatud lähtekoodina.

Ametlik repositoorium sisaldab rakenduskoodi, seadistusskripte, juurutuskonfiguratsiooni ja STL faile 3D-printimise korpuse jaoks. Dokumenteeritud riistvaranõue on Raspberry Pi 5 koos 8 GB RAM-iga, koos helisisendi, heli väljundi ja ekraaniga.

Tarkvara saab juurutada pakutud skriptide kaudu. Projekt loob Python keskkonna, allalaadib vajaliku Gemma mudeli ja käivitab kohalikud teenused. Seadme konfigureerimiseks kui püsiv kioskistiilis seade on olemas ka spetsiaalne Raspberry Pi juurutusskript.

See muudab Gemma tõlkija enamaks kui lihtsalt efektseks demonstreerimiseks. Arendajad saavad uurida rakendust, katsetada liidest, vahetada komponente või kasutada arhitektuuri kui lähtepunkti oma serva AI projektide jaoks.

Siiski on endiselt ilmsed piirangud. Seade on prototüüp, mitte viimistleeritud kommertstoode, ja kohaliku AI tulemus sõltub riistvara ja tarkvara konfiguratsioonist. Raspberry Pi ei saa lihtsalt pakkuda sama töötlemisvõimet kui suur pilveteenuse infrastruktuuri klaster.

Aga just see teeb eksperimendi huvitavaks.

Suurem pilt: AI liigub kasutaja lähedale

Aastaid oli domineeriv AI mudel lihtne: teie seade saadab päringu võimsale serverile, server töötleb seda ja saadab tulemuse tagasi.

See mudel ei kao. Pilve AI jääb paljude nõudlike rakenduste jaoks absoluutselt vajalikuks.

Aga sellised projektid nagu Google’i Gemma tõlkija demonstreerivad alternatiivi. Kui mudelid muutuvad väiksemaks ja tööaeg tõhusamaks, suudavad rohkem AI võimeid liikuda otse seadmetesse, mis meil juba on.

Tõlkimine on eriti hea näidend, kuna tööprotsess on lihtne mõista. Räägid, AI töötleb päringu ja teine inimene kuuleb tulemust. Pole nähtavat serveri infrastruktuuri ja pärast seadistamist ei ole vajalik internetiühendus.

Seega võib Google’i projekti kõige olulisem osa olla mitte väike tõlkija ise, vaid näide sellest, et kaasaegne generatiivne AI mudel võib muutuda komponendiks väikeses, odavas ja kaasaskantavas seadmes.

Gemma tõlkija ei ole järgmine Google’i Tõlke toode. See on pilguheit sellesse, mis juhtub pärast AI-d, mis elab ainult pilves: intelligentsemad seadmed, mis saavad töötada sõltumatult, säilitada rohkem kohalikku töötlemist ja jääda kasulikuks isegi siis, kui internet kaob.