Sisäinen puhe ja työmuisti tehostavat tekoälyä käytännössä

Ihmiset mutisevat usein itsekseen ratkaistessaan ongelmaa. Koneen käyttäytyessä samalla tavalla se tuntuu omituiselta, mutta juuri tuo omituisuus voi olla tehokas oikopolku älykkäämmän tekoälyn kehittämiseen.

Sisäinen puhe — se hiljainen juoksuteksti, jota käytämme askelten harjoittelemiseen, oletusten tarkistamiseen tai ajatusten pitämiseen mielessä — on ihmisen ajattelun kulmakivi. Okinawan tieteellisen ja teknologisen instituutin (OIST) tutkijat ovat lainaaneet tätä strategiaa koneille. Heidän työnsä osoittaa, että AI:n sisäisen itselleen puhumisen parittaminen työmuistiarkkitehtuurin kanssa antaa malleille mahdollisuuden oppia joustavammin, yleistää vähemmästä datasta ja hoitaa useita tehtäviä samanaikaisesti paljon sulavammin kuin perinteiset järjestelmät.

Sisäinen puhe ja työmuistiarkkitehtuuri parantavat tekoälyn suorituskykyä monitehtävissä ja monimutkaisten kaavojen generoinnissa.

Itsekeskustelun muuttaminen oppimistyökaluksi

Miten opettaa malli puhumaan itselleen? OIST-tiimi jäsenteli sisäiset ilmaukset lyhyiksi, tehtäväsuuntautuneiksi kehotteiksi, joita järjestelmä toistaa itselleen prosessoidessaan tietoa — ajattele niitä kuiskattuna muistutuksena tai mentaalisena tarkistuslistana. Kun nämä kehotteet yhdistetään työmuistiin, joka koostuu useista väliaikaisista "paikoista" tai "lokeroista", järjestelmä voi pitää useita kohteita samanaikaisesti ja käsitellä niitä vaihe vaiheelta. Tulos: parantunut suorituskyky tehtävissä, jotka vaativat sekvenssien pitämistä ja muuntamista, kuten listojen kääntäminen tai monimutkaisten kuvioiden rekonstruointi.

Tähän lähestymistapaan liittyy pragmaattinen viehätys: laajamittaiset mallit yleensä vaativat valtavia merkattuja aineistoja yleistääkseen harjoitteluesimerkkien ulkopuolelle. OIST:n kokeet viittaavat vaihtoehtoiseen reittiin: arkkitehtuurilla ja vuorovaikutusdynaamikoilla on merkitystä. Toisin sanoen tapa, jolla malli opetetaan vuorovaikutukseen omien sisäisten signaaliensa kanssa, voi muokata sen kykyä soveltaa sääntöjä uusissa konteksteissa ja vähentää riippuvuutta raakadataan pohjautuvasta keruusta.

Tekninen toteutus tarkoittaa usein sisäisen puheen kohteiden muotoilua erilliseksi opetussignaaliksi. Malli ei ainoastaan tuota lopputulosta, vaan sen odotetaan myös tuottavan joukko väliastetason ilmauksia — esimerkiksi muistutus "tallenna arvo A lokeroon 1" tai "tarkista indeksi 3" — jotka koulutuksen aikana synkronoidaan tavoiteresursseihin. Näin oppimista ohjataan kahdella kanavalla: ulkoisella tehtäväsuorituksella ja sisäisellä itseohjatulla raportoinnilla. Tämä kaksikanavainen menetelmä voi pienentää mallin tarvetta suureen merkittyyn dataan, koska se lisää opettavaa rakennetta ilman lisäparametrien eksplisiittistä kasvattamista.

"Oppiminen ei ole pelkästään kytkentöjen rakentamista", sanoo tohtori Jeffrey Queißer OIST:n Cognitive Neurorobotics Research Unitista. "Järjestämällä koulutusta siten, että järjestelmä harjoittelee itsevuorovaikutuksia, muutamme itse oppimisen dynaamiikkaa." Tämä tarkoittaa, että malli kehittyy harjoittelemaan metatason taitoja: sen sisäinen puhe voi alkaa ohjaamaan huomiota, priorisoimaan väliarvoja ja auttamaan virheenkorjauksessa ennen lopullisen vastauksen muodostamista.

Miksi työmuisti muokkaa generalisointia

Ihmisen työmuisti on kuin mielen valkotaulu, jolle hahmotamme laskelmia ja pidämme välittömät tavoitteet näkyvillä. Koneille työmuisti toimii analogisesti: se pitää väliaikaisia tokeneita tai väliarvoja, joihin algoritmit tarvitsevat pääsyn ja joita ne voivat uudelleenkäyttää. Tutkimuksessa testattiin erilaisia muistisuunnitteluja, ja havaittiin, että useat riippumattomat lokeroit — väliaikaiset säiliöt, jotka voivat tallentaa erillisiä tietokappaleita — antoivat malleille merkittävän edun monivaiheisissa ongelmissa.

Tehtävät, jotka vaativat järjestelmällistä useiden kohteiden käsittelyä samanaikaisesti, paljastavat yksinkertaisten rekursiivisten suunnittelujen heikkoudet. Kun tekoälyn täytyy kääntää sekvenssi tai generoida moniosainen kaava, sen täytyy seurata useita arvoja rinnakkain ja päivittää niitä luotettavasti. Yksittäinen piirrevektori tai pitkän aikavälin riippuvuuksiin perustuva tila ei aina tarjoa selkeää tapaa erotella ja muokata rinnakkaisia väliarvoja. Lokeroitu työmuisti antaa erilliset osoitteet jokaiselle väliarvolle, jolloin malli voi kohdistaa operaatioita tarkemmin suhteessa kuhunkin objektiin.

Sisäisen puheen kohteiden lisääminen — eksplisiittiset sisäiset kehotteet, jotka malli opetetaan tuottamaan ja joita sen tulee konsultoida — paransi tarkkuutta ja nopeutti oppimista erityisesti silloin, kun data oli harvaa. Tämä näkyi sekä opetuksen tehokkuudessa (vähemmän epoch-kertoja tarvittiin samoihin tuloksiin) että paremmassa yleistämisessä tehtäviin, joita ei ollut suoraan nähty harjoitteludatassa. Tulokset viittaavat siihen, että muistirakenteen ja sisäisen ohjauksen yhdistelmä voi tarjota paremman inductive biasin kuin pelkkä mallin koon kasvattaminen.

Tämän lähestymistavan eleganssi piilee siinä, että sen sijaan, että kasvattaisimme mallin kokoa ja syötämme sille enemmän esimerkkejä, suunnittelijat voivat hioa muistimekanismeja ja sisällyttää strukturoitua sisäistä signalointia saadakseen enemmän älykkyyttä vähemmällä datalla. Tällä on välittömiä seurauksia sovellusaloille, kuten robotiikkaan, jossa massiivisten merkittyjen aineistojen kerääminen on kallista tai epäkäytännöllistä.

Käytännön sovellukset ja vaikutukset robotiikkaan

Tämän tutkielman merkitys näkyy konkreettisesti robotiikan käyttötapauksissa. Kotitalousrobotit, teollisuusautomaation järjestelmät ja maatalousrobotit toimivat ympäristöissä, joissa sensorit tuottavat kohinaa, informaatio voi olla osittaista ja tavoitteet muuttuvat dynaamisesti. Mallit, jotka pystyvät pitämään väliaikaisia tavoitteita mielessään, harjoittelemaan väliasteita ja raportoimaan sisäisiä tarkistuksia, voisivat sopeutua näihin olosuhteisiin paremmin.

Esimerkiksi autonominen huoltaja voi käyttää sisäistä puhetta seuraavasti:

• Seuraa tehtäväsuunnitelmaa: "Siirry pisteeseen A, tarkista pöydän reunat, ota esine B".
• Pidä väliarvia: "Pidä kohta 2: taulukon indeksi ja ajastin 30s".
• Tee sisäinen diagnostiikka: "Anturi X antaa epävarman lukeman — pyydä uusintalukema".

Näiden sisäisten komentosarjojen harjoittelu osana mallin opetusta voi tehdä käytännön järjestelmistä luotettavampia tilanteissa, joissa ulkoinen ohjaus ei pysty reagoimaan nopeasti tai jossa merkitty palaute on kallista tuottaa. Työmuistilokeroiden avulla robotin ohjelmisto voi myös rikkoa tehtävän osiin ja säilyttää rinnakkaisia tavoitteita, mikä helpottaa monimutkaisten tehtävien järjestelmällistä käsittelyä.

Kokeellinen konteksti ja seuraavat vaiheet

Neural Computationissa raportoidut kokeet keskittyivät kontrolloituihin algoritmisiin tehtäviin, joiden tarkoituksena oli tutkia generalisointia ja monitehtävyyttä. Nämä tehtävät on tarkoituksella pidetty abstrakteina, jotta tutkijat voivat yksilöidä muistin ja itseohjatun puheen rooleja, mutta tiimi tunnustaa tarpeen siirtyä kohti sotkuisempia, todellisen maailman olosuhteita. Kohina sensoreissa, osittainen informaatio ja muuttuvat tavoitteet ovat arkipäivää kotitalous- ja maatalousroboteille; seuraavassa tutkimusvaiheessa tällaiset kompleksisuudet otetaan mukaan arvioimaan, tuottaako sisäisen puheen ja työmuistin yhdistelmä edelleen hyötyjä.

Seuraavat kokeet aikovat laajentaa skenaarioita käytännön robotiikaksi ja laajentaa tehtäväjoukkoa sisältämään mm. suunnanmuutoksia, häiriöitä datassa ja laajempia tehtäväketjuja. Kokeissa tarkastellaan myös, miten sisäinen puhe toimii yhdessä erilaisen muistiteknologian kanssa, kuten:

• differentiable neural computers (DNC),
• slot-attention -mallit,
• hybridit arkkitehtuurit, joissa on sekä pysyvä että väliaikainen tallennus.

Tästä tutkimussuunasta voi seurata myös uusia opetusmenetelmiä, joissa sisäisestä puheesta tulee eksplisiittinen osa koulutustappaa, esimerkiksi lisäämällä sisäisen puheen häviöfunktio tai käyttämällä kaksivaiheista supervisiota (sisäinen kehotus + ulkoinen tavoite).

Lisäksi tämä kysely siltaa kognitiivisen neurotieteen suuntaan: mallintamalla sisäistä puhetta ja väliaikaista tallennusta koneissa tieteilijät voivat testata hypoteeseja siitä, miten ihmisaivot koordinoivat ajattelua ja toimintaa. Tämä on kaksisuuntainen katu: näkemykset ihmisen kehityksestä ja kielen internalisaatiosta voivat informoida mallin arkkitehtuureja, ja konekokeet voivat ehdottaa uusia lähestymistapoja biologiselle tutkimukselle.

Asiantuntijan näkemys

"Tämä on järkevä suunta rakentaa mukautuvampia järjestelmiä", sanoo tohtori Maya Patel, kognitiivisen robotiikan tutkija, joka ei ole tutkimuksen yhteydessä. "Pyydämme koneita toimimaan dynaamisissa ympäristöissä, mutta harvoin annamme niille sisäistä rakennetta, johon ihmiset luottavat — kyvyn harjoitella, pitää useita välitavoitteita mielessä, mumista suunnitelmaa mielessään. Näiden elementtien yhdistäminen on kevyt, tulkittavissa oleva lisä data- ja parametrimistarin kasvattamiselle."

OIST:n työ ei lupaa välitöntä korvausta dataa syövälle syväoppimiselle. Sen sijaan se avaa käytännöllisen väylän: pienet säädöt koulutuksessa ja muistin suunnittelussa voivat tehdä malleista kestävämpiä, tehokkaampia ja kykenevämpiä siirtämään opittuja proseduuria tuntemattomiin ongelmiin. Jos sisäinen puhe auttaa ihmisiä ajattelemaan, ehkä se auttaa myös koneita — hiljaa, askel askeleelta, kun ne oppivat tekemään enemmän vähemmällä.

Mahdollisia jatkotutkimuksen painopisteitä ovat muun muassa:

• sisäisen puheen luonnollisuuden ja abstraktiotason vaikutus
• työmuistin lokeroiden optimalisointi eri tehtävätyypeille
• sisäisen puheen roolin kvantifiointi siirto-oppimisessa ja vähäisessä datassa
• eettiset ja käytännölliset seuraukset, kun järjestelmät alkavat raportoida sisäisiä päättelyketjujaan.

Nämä ovat tarpeellisia askeleita, jotta teoria voidaan siirtää käytäntöön turvallisesti ja luotettavasti.

Teknisiä huomioita tutkimusmenetelmästä

Kokeissa tutkijat käyttivät verrattain kompakteja verkkoarkkitehtuureja, mutta lisäsivät niihin erillisen muistakerroksen, joka tarjosi N erillistä lokeroa. Sisäinen puhe oli mallinnettu sekvenssinä tokenoituja kehotteita, joita tuotettiin väliaskelissa. Koulutus sisälsi yhdistelmähäviön: osa kohdistui loppuvastauksen tarkkuuteen ja osa sisäisen puheen vastaavuuteen opetusohjeeseen. Tämän kaksiosaisten oppimisviestin arviointi osoitti, että mallit oppivat useammin sisäisiä toimintaperiaatteita, jotka auttoivat yleistämisessä.

Lisäksi analyysissä käytettiin ablaatiotestejä (eli poistettiin sisäinen puhe tai lokeroitu työmuisti) ja verrattiin tuloksia kontrollimalleihin. Tulokset osoittivat merkittävän heikkenemisen ilman näitä komponentteja, mikä tukee hypoteesia, että itseohjattu sisäinen signalointi ja järjestelmällinen väliaikainen tallennus ovat avainasemassa tehtäväkohtaisessa joustavuudessa.

On kuitenkin huomioitava, että nämä kokeet olivat rajoitettuja kontrolloituun asetelmaan. Yksi haasteista on skaalata menetelmä luonnollisempaan kieli- tai sensorimaailmaan ilman, että sisäisestä puheesta tulee sekava tai itseään vahvistava väärä johtolanka. Siksi seuraavat kokeet tarvitsevat tarkkaa suunnittelua, robustin validoinnin ja toistettavuuden eri datalähteillä.

Lopuksi, tämä tutkimuslinja korostaa sitä, että arkkitehtuuri- ja opetusstrategioiden fiksu yhdistäminen voi tarjota kustannustehokkaan vaihtoehdon pelkälle datan ja parametrien kasvattamiselle. Se avaa käytännön mahdollisuuksia kehittää tehokkaampia, tulkittavampia ja siirrettävämpiä tekoälyjärjestelmiä.