Googlen offline- tekoälyn kääntäjä näyttää, mitä paikallinen tekoäly voi tehdä ilman pilveä

Tekoäly ei aina tarvitse tietokeskusta ollakseen hyödyllinen. Googlen viimeisin kokeilu Gemma Translatorilla tekee tästä ajatuksesta yllättävän käsinkoskeltavan: pieni, kannettava äänikääntäjä, joka voi kuunnella, kääntää ja puhua ilman internet-yhteyttä.

Raspberry Pi 5:n ja Googlen kevyen Gemma 4 E2B -mallin ympärille rakennetussa projektissa kokoelma edullisia komponentteja muuttuu täysin paikalliseksi tekoälykäännöslaitteeksi. Se ei ole uusi kaupallinen Google-laitteisto, vaan avoimen lähdekoodin prototyyppi, joka on suunniteltu näyttämään, kuinka kykenevä tekoäly voi siirtyä pilvestä arkipäivän laitteistoon.

Ja se voi olla tärkeämpää kuin itse kääntäjä. Gemma Translator on toinen esimerkki laajemmasta siirtymisestä laitteessa tapahtuvaan tekoälyyn, jossa prosessointi tapahtuu paikallisesti sen sijaan, että jokainen pyyntö lähetettäisiin etäpalvelimelle.

Mikä on Google Gemma Translator?

Gemma Translator on avoimen lähdekoodin äänikäännöshanke, jota on kehitetty Googlen Antigravityn avustuksella. Sen tarkoitus on yksinkertainen: mahdollistaa kahden eri kieltä puhuvan henkilön kommunikointi kompaktin laitteen avulla, joka suorittaa koko käännösprosessin paikallisesti.

Prototyyppi yhdistää Raspberry Pi 5:n, jossa on 8 Gt RAM-muistia, mikrofonin, kaiuttimen tai kuulokkeet sekä pienen näytön. Laitteisto voidaan sijoittaa mukautettuun 3D-tulostettuun koteloon, mikä saa lopputuloksen näyttämään enemmän omistautuneelta käsikäännäntäjältä kuin tavalliselta yksilevyiseltä tietokoneelta.

On kuitenkin tärkeä ero. Google ei ole ilmoittanut Gemma Translatorista kuluttajatuotteena. Se on teknologian esittely ja avoimen lähdekoodin projekti. Koodi, käyttöönotto scriptsit ja 3D-tulostettavat kotelotiedostot ovat saatavilla kehittäjille ja innokkaille, jotka haluavat toistaa tai muokata järjestelmää.

Kuinka offline- tekoälyn kääntäjä toimii?

Projektin mielenkiintoisin osa ei ole sen laitteisto, vaan tapa, jolla sen ohjelmistokomponentit on jaettu useisiin paikallisiin osiin.

Kun henkilö puhuu mikrofonin läpi, ääntä käsitellään laitteella. Puhe transkriboidaan, ja syntynyt teksti käännetään Gemman avulla, minkä jälkeen käännetty lause muunnetaan takaisin puheeksi. Repositorion mukaan tämä kuvataan paikalliseksi prosessiksi, joka sisältää puheentunnistuksen, Gemma-pohjaisen käännöksen ja tekstistä puheeksi -prosessoinnin.

Hanke on suunniteltu kahden keskustelukäytävän ympärille. Jokainen henkilö valitsee kielen, tallentaa lauseensa ja saa käännöksen toisen henkilön kielellä. Nykyisessä toteutuksessa interaktio perustuu push-to-talk-ohjauksiin eikä jatkuvasti kuuntelevaan assistenttiin.

Keskeinen pointti on se, että tekoälyn pääasiallinen päätöksenteko tapahtuu paikallisesti. Kun tarvittava ohjelmisto ja malli on asennettu, kääntäjä ei tarvitse internet-yhteyttä suorittaakseen ydintehtäväänsä.

Tämä muuttaa käytännön käyttötilannetta merkittävästi. Pilvipohjainen kääntäjä voi tulla epäluotettavaksi, kun yhteys on heikko. Offline-laite voi jatkaa toimintaansa lentokoneessa, syrjäisellä alueella tai paikoissa, joissa verkkoinfrastruktuuri ei ole käytettävissä.

Miksi Gemma 4 E2B on merkittävä?

Projektin keskiössä on Gemma 4 E2B, yksi Googlen pienemmistä Gemma-malleista, joka on suunniteltu reunakäyttöön.

Suuret tekoälymallit ovat voimakkaita, mutta ne vaativat tyypillisesti huomattavia laskentatehoja. Pienempien reunamallien tarkoitus on erilainen: ne uhraavat osan mittakaavasta voidakseen toimia suoraan puhelimissa, tietokoneissa ja upotetuissa laitteistoissa.

Google on aktiivisesti painottanut tätä lähestymistapaa Gemma 4:llä ja sen LiteRT-LM -suorittimella. Yhtiö sanoo, että LiteRT-LM on suunniteltu tekemään Gemma-malleista käytännöllisiä laajan valikoiman laitteita varten, mukaan lukien Raspberry Pi 5. Googlen oma dokumentaatio korostaa E2B- ja E4B-malleja vaihtoehtoina reunakäyttöön ja IoT-sovelluksiin.

Gemma Translator osoittaa, miltä tämä strategia näyttää benchmark- tai kehittäjäesittelyjen ulkopuolella. Sen sijaan, että pyydettäisiin etä-Tekoälypalvelua kääntämään lause, Raspberry Pi:stä tulee tekoälytietokone.

Se on merkittävä muutos tavassa, jolla voimme ajatella tekoälyn laitteistoa.

Ei pilveä tarkoittaa enemmän kuin vain offline-työskentelyä

Paikallisen käännöksen ilmeinen etu on yhteenkytkettävyyden puute. Jos Wi-Fi:ta tai mobiilisignaalista ei ole, laite voi silti suorittaa ensisijaisen tehtävänsä.

Mutta yksityisyys on väistämättä yhtä tärkeää.

Pilvipohjaisessa käännöspalvelussa äänitallenteet tai transkriboitu keskustelu voi joutua poistumaan laitteesta käsitellyksi. Offline-arkkitehtuuri voi pitää puheentunnistusprosessin paikallisella laitteistolla sen sijaan. Arkaluontoisissa keskusteluissa, yksityisissä kokouksissa tai kenttätoiminnassa tämä voi olla merkittävä etu.

Tämä ei automaattisesti tee kaikista paikallisista tekoälysovelluksista täysin yksityisiä tai turvallisia. Todelliset yksityisyystakuut riippuvat koko ohjelmisto- ja laitteistokokoonpanosta. Silti ääni- ja datan lähettämisen tarpeen poistaminen etä-Tekoälypalveluun poistaa tärkeän altistumiskategorian.

Sama periaate pätee käännöksen lisäksi. Paikallinen tekoäly voisi olla hyödyllinen henkilökohtaisille avustajille, saavutettavuustyökaluille, koulutusseadille, teollisuusjärjestelmille ja hätävarusteille, joissa yhteenkytkettävyyttä ei voida taata.

Google rakentaa suurempaan laitteessa olevaan tekoälyekosysteemiin

Gemma Translator on järkevämpi, kun sitä tarkastellaan osana Googlen laajempaa reunateknologian tekoälystrategiaa.

Yhtiön LiteRT-LM -pino on suunniteltu erityisesti generatiivisen tekoälyn ajamiseen paikallisesti. Google kuvaa sitä LiteRT-teknologiansa laajennuksena, jolla on generatiivisia malleja varten optimoituja kykyjä, kun taas sen tuore Gemma 4 -työ on korostanut pienempien mallien ajamista mobiili-, työpöytä- ja IoT-laitteistoissa.

Raspberry Pi on erityisen mielenkiintoinen, koska se on perinteisen tietokoneen ja upotetun laitteen välissä. Se on edullinen, kompakti ja kehittäjien saatavilla. Jos mallit tulevat riittävän kyvykkäiksi suorittamaan hyödyllisiä tehtäviä näin pienessä laitteistossa, mahdollisten tekoälysovellusten määrä kasvaa dramaattisesti.

Kääntäjä on siten vähemmän kiinnostava Googlen Kääntäjä-tuotteen korvaajana kuin konseptin todisteena.

Se esittää suuremman kysymyksen: mitä tapahtuu, kun hyödyllinen tekoäly ei enää tarvitse elää pilvessä?

Voitko rakentaa Google-kääntäjän itse?

Kyllä. Yksi projektin vahvimmista puolista on se, että Google on tehnyt toteutuksen saataville avoimena lähdekoodina.

Virallinen repositorio sisältää sovelluskoodin, asennusskriptit, käyttöönottoasetukset ja STL-tiedostot 3D-tulostettavaa koteloa varten. Asiakirjoitettu laitteistovaatimus on Raspberry Pi 5, jossa on 8 Gt RAM-muistia, sekä ääni- ja näytösytimiä.

Ohjelmisto voidaan ottaa käyttöön tarjoamien skriptien kautta. Projekti luo Python-ympäristön, lataa tarvittavan Gemma-mallin ja käynnistää paikalliset palvelut. Saatavilla on myös omistettu Raspberry Pi -käyttöönotto-ohjelma, joka konfiguroi laitteen pysyväksi kioskityyliseksi laitteeksi.

Tämä tekee Gemma Translator -käännöksestä enemmän kuin vain hienostuneen esittelyn. Kehittäjät voivat tarkastella toteutusta, kokeilla käyttöliittymää, vaihtaa komponentteja tai käyttää arkkitehtuuria lähtökohtana omille reunateknologia-hankkeilleen.

On kuitenkin edelleen ilmeisiä rajoituksia. Laite on prototyyppi, ei hiottu kaupallinen tuote, ja paikallisen tekoälyn suorituskyky riippuu laitteisto- ja ohjelmistokokoonpanosta. Raspberry Pi ei voi vain tarjota samaa laskentatehoa kuin suuri pilvinfrastruktuuriryhmä.

Mutta juuri se tekee kokeilusta mielenkiintoisen.

Suurempi kuva: Tekoäly liikkuu lähemmäksi käyttäjää

Vuosien ajan hallitseva tekoälymalli oli suoraviivainen: laitteesi lähettää pyynnön voimakkaalle palvelimelle, palvelin käsittelee sen ja palauttaa tuloksen.

Tämä malli ei ole häviämässä. Pilvitekoäly tulee pysymään elintärkeänä monille vaativille sovelluksille.

Mutta tällaiset projektit kuin Googlen Gemma Translator osoittavat vaihtoehdon. Kun mallit pienenevät ja suorituskyvyt tehokkuus paranee, yhä enemmän tekoälykykyjä voi siirtyä suoraan laitteisiin, joita jo omistamme.

Käännös on erityisen hyvä esittely, koska työprosessi on helppo ymmärtää. Puhelet keskustelu, tekoäly käsittelee pyynnön ja toinen henkilö kuulee tuloksen. Ei ole näkyvää palvelininfrastruktuuria ja asennuksen jälkeen ei vaadita internetyhteyttä.

Projektin tärkein osa on siksi ei niinkään pieni kääntäjä itsessään. Se on osoitus siitä, että moderni generatiivinen tekoälymalli voi tulla osaksi pientä, edullista ja kannettavaa laitetta.

Gemma Translator ei ole seuraava Google Translate -tuote. Se on kurkistus siihen, mitä tapahtuu pilvihallinnan jälkeen: älykkäät laitteet, jotka voivat toimia itsenäisesti, säilyttää enemmän käsittelyä paikallisesti ja olla hyödyllisiä jopa silloin, kun internet katoaa.