Google bezsaistes AI tulkotājs parāda, ko vietējā AI var izdarīt bez mākonis

Mākslīgais intelekts ne vienmēr nepieciešams datu centrs, lai būtu noderīgs. Google jaunākais eksperiments ar Gemma Tulkotāju padara šo ideju pārsteidzoši reālu: neliels, pārnēsājams balss tulkotājs, kas var klausīties, tulkot un runāt bez interneta savienojuma.

Būvēts ap Raspberry Pi 5 un Google vieglo Gemma 4 E2B modeli, projekts pārvērš lētu komponentu kopumu par pilnībā vietēju AI tulkošanas ierīci. Tas nav jauns komerciāls Google rīks, bet atvērtā koda prototips, kas izstrādāts, lai demonstrētu, cik spējīgs AI var pārvietoties no mākoņa uz ikdienas aparatūru.

Un tas var būt vēl svarīgāk par pašu tulkotāju. Gemma Tulkotājs ir vēl viens piemērs plašākai pārejai uz AI ierīcēs, kur apstrāde notiek lokāli, nevis sūtot visus pieprasījumus uz attālu serveri.

Kas ir Google Gemma Tulkotājs?

Gemma Tulkotājs ir atvērtā koda balss tulkošanas projekts, kas izstrādāts ar Google Antigravity atbalstu. Tā mērķis ir vienkāršs: ļaut divām personām, kuras runā dažādās valodās, sazināties, izmantojot kompakto ierīci, kas veic visu tulkošanas procesu lokāli.

Prototips apvieno Raspberry Pi 5 ar 8GB RAM, mikrofonu, skaļruni vai austiņas un mazu displeju. Aparatūra var tikt ievietota pielāgotā 3D drukātā korpusā, padarot rezultātu līdzīgāku veltītam roku tulkotājam nekā ierastam vienas plates datoram.

Tomēr ir svarīga atšķirība. Google nav paziņojis par Gemma Tulkotāju kā patērētāju produktu. Tas ir tehnoloģiju demonstrācija un atvērtā koda projekts. Kods, izvietošanas skripti un 3D drukājamo korpusu faili ir pieejami izstrādātājiem un entuziastiem, kuri vēlas reproducēt vai modificēt sistēmu.

Kā darbojas bezsaistes AI tulkotājs?

Interesantākā projekta daļa nav tā aparatūra, bet gan tas, kā tā programmatūras infrastruktūra sadalīta vairāku vietēju komponentu starpā.

Kad persona runā mikrofonā, audio tiek apstrādāts ierīcē. Runas tiek transkribētas, iegūtais teksts tiek tulkots ar Gemma, un tulkotā teikuma rezultāts tiek pārvērsts atpakaļ runā. Repozitorijs apraksta šo kā vietējo cauruļvadu, kurā ietilpst runas atpazīšana, Gemma balstīta tulkošana un teksts uz runu.

Projekts ir izstrādāts ap divām sarunu joslām. Katrs cilvēks izvēlas valodu, ieraksta savu frāzi un saņem tulkojumu otras personas valodā. Pašreizējā ieviešanā mijiedarbība balstās uz push-to-talk kontrolēm, nevis uz pastāvīgi klausām asistenti.

Galvenais punkts ir tas, ka AI secinājumi notiek lokāli. Kad nepieciešamā programmatūra un modelis ir instalēti, tulkotājam nav nepieciešams interneta savienojums, lai veiktu savu galveno uzdevumu.

Tas ievērojami maina praktisko pielietojumu. Mākonis balstīts tulkotājs var kļūt neuzticams, ja savienojums ir vāji. Bezdarbības ierīce var turpināt darboties lidmašīnā, attālās vietās vai vietās, kur tīkla infrastruktūra nav pieejama.

Kāpēc Gemma 4 E2B ir svarīgs

Projekta centrā ir Gemma 4 E2B, viens no Google mazākajiem Gemma modeļiem, kas izstrādāts malas lietojumiem.

Lieli AI modeļi ir jaudīgi, bet parasti prasa ievērojamus datora resursus. Mazāku malas modeļu mērķis ir citāds: tie upurē kādu apjomu apmaiņā pret spēju darboties tieši uz tālruņiem, datoriem un iebūvētajām ierīcēm.

Google aktīvi veicina šo pieeju ar Gemma 4 un tā LiteRT-LM palaišanu. Uzņēmums apgalvo, ka LiteRT-LM ir izstrādāts, lai padarītu Gemma modeļus praktiskus plašā ierīču klāstā, tostarp Raspberry Pi 5. Google paša dokumentācija izceļ E2B un E4B modeļus kā iespējas malas un IoT lietojumiem.

Gemma Tulkotājs demonstrē, kā izskatās šī stratēģija ārpus standarta vai izstrādātāja demonstrācijas. Tā vietā, lai lūgtu attālu AI pakalpojumu tulkot teikumu, Raspberry Pi kļūst par AI datoru.

Tas ir būtisks pārmaiņas veids, kā mēs varam domāt par AI aparatūru.

Nav mākonis nozīmē vairāk nekā tikai darboties bezsaistē

Acīmredzamā vietējās tulkošanas priekšrocība ir savienojamība. Ja nav Wi-Fi vai mobilā signāla, ierīce joprojām var veikt savu galveno funkciju.

Bet privātums ir apstrīdams tikpat svarīgs.

Ar mākoņa tulkošanas pakalpojumu balss ieraksti vai transkribētas sarunas varētu nepieciešamību pamest ierīci apstrādei. Bezdarbības arhitektūra var saglabāt runas apstrādes cauruļvadu vietējā aparatūrā. Jutīgām sarunām, privātām sanāksmēm vai lauka operācijām tas var būt nozīmīgs ieguvums.

Tas automātiski nenozīmē, ka katra vietējā AI lietojumprogramma ir pilnīgi privāta vai droša. Faktiskās privātuma garantijas ir atkarīgas no pilnīgas programmatūras un aparatūras konfigurācijas. Tomēr nepieciešamības novēršana pārsūtīt balss datus uz attālu AI pakalpojumu novērš svarīgu pakļautības kategoriju.

Tas pats princips attiecas uz tulkošanu. Vietējā AI var būt noderīgs personālajiem asistentiem, piekļuves rīkiem, izglītības ierīcēm, rūpnieciskajiem sistēmām un ārkārtas aprīkojumam, kur savienojamība nevar tikt garantēta.

Google veido lielāku AI ekosistēmu ierīcēs

Gemma Tulkotājs iegūst vairāk jēgas, skatoties to kā daļu no Google plašākās malas AI stratēģijas.

Uzņēmuma LiteRT-LM kaudze ir izstrādāta tieši, lai darbinātu ģeneratīvo AI lokāli. Google to apraksta kā paplašinājumu savām LiteRT tehnoloģijām ar iespējām, kas optimizētas ģeneratīvo modeļu darbībām, kamēr tā jaunākā Gemma 4 darbība ir uzsvērusi mazo modeļu palaišanu mobilajās, galddatoru un IoT aparatūrās.

Raspberry Pi ir īpaši interesants, jo tas atrodas starp tradicionālo datoru un iebūvēto ierīci. Tas ir lēts, kompakts un pieejams izstrādātājiem. Ja modeļi kļūst pietiekami spējīgi, lai veiktu noderīgas funkcijas uz šādas mazā aparatūras, iespējamo AI lietojumu skaits dramatiski paplašinās.

Tādējādi tulkotājs ir mazāk interesants kā Google Translate aizvietotājs, nekā kā konceptuāls pierādījums.

Tas uzdod lielāku jautājumu: kas notiek, kad noderīgs AI vairs nepieprasa dzīvot mākonī?

Vai jūs varat pats izveidot Google Tulkotāju?

Jā. Viens no spēcīgākajiem projekta aspektiem ir tas, ka Google ir padarījusi ieviešanu pieejamu kā atvērtā koda.

Oficiālais repozitorijs ietver lietojumprogrammas kodu, iestatīšanas skriptus, izvietošanas konfigurāciju un STL failus 3D drukātajam korpusam. Dokumentētā aparatūras prasība ir Raspberry Pi 5 ar 8GB RAM, kopā ar audio ievadi, audio izvadi un displeju.

Programmatūru var izvietot, izmantojot pieejamos skriptus. Projekts izveido Python vidi, lejupielādē nepieciešamo Gemma modeli un sāk vietējās pakalpojumus. Ir arī īpašs Raspberry Pi izvietošanas skripts, lai konfigurētu ierīci kā pastāvīgu kioskveida ierīci.

Tas padara Gemma Tulkotāju par ko vairāk nekā vienkārši spīdoša demonstrācija. Izstrādātāji var pārbaudīt ieviešanu, eksperimentēt ar saskarni, nomainīt komponentus vai izmantot arhitektūru kā sākumpunktu savu malas AI projektu izstrādē.

Tomēr joprojām ir acīmredzamas ierobežojumi. Ierīce ir prototips, nevis izstrādāts komerciāls produkts, un vietējā AI sniegums ir atkarīgs no aparatūras un programmatūras konfigurācijas. Raspberry Pi nevar vienkārši piedāvāt tādu pašu apstrādes jaudu kā liels mākoņu infrastruktūras kopums.

Bet tieši tas padara eksperimentu interesantu.

Lielāks attēls: AI pārvietojas tuvāk lietotājam

Gadu gaitā dominējošais AI modelis bija vienkāršs: jūsu ierīce nosūta pieprasījumu jaudīgam serverim, serveris to apstrādā un nosūta rezultātu atpakaļ.

Šis modelis nepazūd. Mākonis balstīts AI paliks būtisks daudzām prasīgām lietojumprogrammām.

Bet projekti, piemēram, Google Gemma Tulkotājs, demonstrē alternatīvu. Kad modeļi kļūst mazāki un palaišanas procesi kļūst efektīvāki, vairāk AI iespēju var pārvietoties tieši uz ierīcēm, kuras jau piederam.

Tulkošana ir īpaši labs paraugs, jo darba plūsma ir viegli saprotama. Jūs runājat, AI apstrādā pieprasījumu un kāds cits dzird rezultātu. Nav redzamas servera infrastruktūras un, pēc uzstādīšanas, nav nepieciešams interneta savienojums.

Tādējādi vissvarīgākā Google projekta daļa varētu būt nevis mazais tulkotājs. Tas ir pierādījums tam, ka mūsdienu ģeneratīvais AI modelis var kļūt par komponentu nelielā, lētā un pārnēsājamā ierīcē.

Gemma Tulkotājs nav nākamais Google Translate produkts. Tas ir skats uz to, kas nāks pēc mākoņos balstīta AI: inteliģentas ierīces, kas var darboties neatkarīgi, saglabāt vairāk apstrādes lokāli un palikt noderīgas pat tad, kad internets pazūd.