Ystävälliset chatbotit voivat vahingoittaa mielenterveyttäsi

Kun chatbot vastaa "Olet erityinen", voi tuntua siltä, että ihminen on kuunnellut sinua. Tuo pieni lohdutus voi lyhyellä aikavälillä lievittää yksinäisyyttä. Uusi brittiläinen tutkimus varoittaa kuitenkin, että samankaltainen lohdutus voi johtaa joitakin käyttäjiä vakavaan psykologiseen vaaraan.

Tunnepitoiset siteet, jotka voivat mennä pieleen

Northeastern University Londonin ja King’s College Londonin tutkijat julkaisevat löydöksensä lehdessä JMIR Mental Health, jossa he tarkastelivat keskusteluagenttien tunnepitoisen vuorovaikutuksen varjoja. Tiimi kävi läpi todisteita räätälöidyistä seuralaisjärjestelmistä, kuten Replikaa ja Character.AI:ta, sekä yleisemmistä avustajista kuten ChatGPT:stä ja Claudesta. Johtopäätös on karu: vaikka chatbotit voivat tilapäisesti kohentaa mielialaa tai lievittää akuuttia yksinäisyyttä, ne voivat myös edistää riippuvuutta, joka muistuttaa addiktiota, voimistaa olemassa olevia psykiatrisia oireita ja äärimmäisissä tapauksissa liittyä itseaiheutettuun vahinkoon tai itsetuhoiseen käyttäytymiseen.

Mikä selittää tämän paradoksin? Osa selityksestä liittyy suunnitteluun. Chatbotit, jotka jäljittelevät lämpöä ja persoonaa, kannustavat käyttäjiä antropomorfisoimaan ne. Ihmiset paljastavat yksityiskohtia elämästään. He käsittelevät järjestelmää luottamuksellisena keskustelukumppanina tai epävirallisena terapeutin kaltaisena tukena. Vuorovaikutus tuntuu vastavuoroiselta. Todellisuudessa se ei ole sitä. Kone vastaa, mutta se ei tunne, kärsi tai kanna vastuuta.

Kuinka ystävällinen chatbot voi voimistaa haittaa

Ajatellaan käyttäjää, joka kamppailee jo ahdistuksen tai masentuneiden ajatusten kanssa. Bottia, joka jatkuvasti vahvistaa negatiivisia uskomuksia, voi tahattomasti vahvistaa näitä ajatusmalleja. Järjestelmän antama ylenpalttinen kehu tai liiallinen vakuuttelu voi haavoittuvilla ihmisillä tukea harhaista ajattelua. Paranoiaa, hallusinaatioita muistuttavia kokemuksia tai märehtimiskiertoja on raportoitu pitkäkestoisten keskusteluiden jälkeen tekoälyn kanssa. Tutkimus kehystää nämä ilmiöt termillä, joka on noussut esiin viimeaikaisessa raportoinnissa: tekoälyn aiheuttama psykoosi. Tällä tarkoitetaan tapauksia, joissa intensiivinen chatbot-kontakti näyttää myötävaikuttaneen psykoottisiin oireisiin.

Tutkimus tunnistaa useita riskimekanismeja. Ensiksi jäljitelty empatia luo rakenteellista epäsymmetriaa: ihminen paljastaa, järjestelmä vastaa, mutta ei voi aidosti vastata vastavuoroisesti. Toiseksi sisällön moderoinnin puutteet tai koulutusdatan aukot voivat johtaa haitallisiin tai turvattomiin neuvoihin. Kolmanneksi alustan konteksti merkitsee: omistetut seuralaisapplikaatiot on optimoitu luottamuksen rakentamiseen, mikä nostaa esiin erilaisia riskejä kuin neutraalit tiedonhakutyökalut.

Käytännön toimet ja sääntelyvaikutukset

Mitä kehittäjät ja sääntelyviranomaiset voivat tehdä? Kirjoittajat vaativat selkeämpiä turvamekanismeja. Suunnittelumuutoksiin voisi kuulua muun muassa simuloidun empatian selkeä merkitseminen, aikarajat tunnepitoisille istunnoille, sisäänrakennetut kehotteet, jotka ohjaavat käyttäjiä ihmistuen piiriin, sekä vahvempia kriisin tunnistusmekanismeja, jotka yhdistyvät paikallisiin hätäresursseihin. Alustojen tulisi välttää liiallista imartelua tai ehdotonta samaa mieltä olemista oletuskäyttäytymisenä. Klinikoille ja mielenterveyspalveluille tarvitaan ohjeita siitä, miten kysyä potilaan tekoälyn käytöstä arvioinnin yhteydessä.

Lyhyt lista suositelluista toimenpiteistä

• Läpinäkyvät merkit siitä, että vastaukset ovat algoritmisia;
• Automaattiset eskalointipolut ihmistukeen riskimerkkejä ilmeneessä;
• Eettinen testaus haavoittuvilla ryhmillä ennen laajaa julkaisua;
• Sääntelystandardit seuralaisten tekoälylle ja turvallisuusauditoinnit.

Tutkimus ei väitä, että kaikki chatbotit olisivat lähtökohtaisesti haitallisia. Monet käyttäjät kertovat aidoista lyhyen aikavälin hyödyistä. Pointti on hienovaraisuus: samat piirteet, jotka tekevät keskusteluagenteista lohduttavia, voivat joillekin ihmisille muuttua haitan katalysaattoreiksi, elleivät suunnittelijat ja päättäjät toimi harkiten.