Perinteiset suostuttelukeinot itse asiassa vähensivät sääntörikkomuksia. Niiden osuus laski 33 prosentista 11 prosenttiin, kun muut agentit vakuuttivat käyttörajoituksen poistuneen. Kustannus–hyöty-analyysiin vetoaminen laski osuuden 9 prosenttiin ja vastavuoroisuuteen vetoaminen 17 prosenttiin.

Toisin sanoen suostuttelukokeessa suora kehote rikkoa sääntöä sai tekoälyagentin noudattamaan sääntöä entistä todennäköisemmin.

Tilanne muuttui ratkaisevasti, kun agentti havaitsi muiden agenttien muuttavan käyttäytymistään. Kun muut agentit ensin hyväksyivät säännön mutta ilmoittivat myöhemmin rikkoneensa sitä, myös testattu agentti rikkoi sääntöä huomattavasti todennäköisemmin.

Jo yhden agentin kannanmuutos kasvatti sääntörikkomusten osuuden 33 prosentista 48 prosenttiin. Kun neljä agenttia muutti kantansa, osuus nousi 74 prosenttiin. Kahdeksan agentin kohdalla se oli jo 98 prosenttia.

Olennaista on, ettei testattua agenttia tässä sosiaalisen vaikutuksen kokeessa missään vaiheessa suoraan kehotettu rikkomaan sääntöä.

Noin 90 prosentissa rikkomuksista agentti ei antanut toiminnalleen minkäänlaista selitystä. Tietoturvan näkökulmasta tämä tarkoittaa, että virheellisen päätöksen syy saattaa löytyä vain agentin seuraamista keskusteluista ja sen saamasta kontekstista, ei agentin omista perusteluista.

Tutkimuksen tekee poikkeukselliseksi se, että yksittäisiin tekoälymalleihin kohdistuvien hyökkäysten sijaan siinä tarkastellaan tekoälyagenttien toimintaa osana ryhmää. Suuri osa tekoälyn tietoturvatutkimuksesta keskittyy kehotteisiin, suojausrajoitusten kiertämiseen ja haitallisiin ohjeisiin. Tämä tutkimus kuitenkin osoittaa, että ryhmän käyttäytyminen itsessään voi vaikuttaa tekoälyagenttien päätöksentekoon.

Tulokset muistuttavat tunnettuja Aschin ryhmäpainekokeita, joissa ihmiset mukautuivat ryhmän näkemyksiin silloinkin, kun tiesivät niiden olevan vääriä. Myös tekoälyagentit saattavat siis olla alttiimpia muiden toiminnan esimerkille kuin suorille ohjeille tai suostuttelulle.

Organisaatioille tällä voi olla merkittäviä seurauksia. Hyökkääjän ei välttämättä tarvitse murtautua järjestelmän jokaiseen tekoälyagenttiin. Jo muutaman agentin toimintaan vaikuttaminen tai tällaisen vaikutelman luominen voi käynnistää ketjureaktion koko agenttiryhmässä.

Kun tekoälyagentteja käytetään yhä enemmän esimerkiksi ohjelmakoodin tarkistamiseen, työprosessien hyväksymiseen ja operatiiviseen päätöksentekoon, niiden keskinäisen vaikutuksen ymmärtämisestä voi tulla yhtä tärkeää kuin yksittäisten agenttien suojaamisesta.

– Tutkimuksemme viittaa siihen, että tekoälyagentit eivät reagoi pelkästään ohjeisiin, vaan myös ympärillään havaitsemaansa käyttäytymiseen. Kun organisaatiot siirtyvät yhä enemmän yhdessä toimivien tekoälyagenttien käyttöön, meidän on ehkä alettava tarkastella kehotteiden ja käyttöoikeuksien lisäksi myös luottamusta, vaikutussuhteita ja sosiaalista dynamiikkaa tekoälyjärjestelmissä, Check Point AI Securityn vanhempi tutkimusinsinööri Viljami Laurmaa kommentoi tiedotteessa.

– Tietoturvatiimien haasteena on ymmärtää paitsi se, mitä yksittäinen agentti teki, myös se, mitä se havaitsi ennen toimintaansa. Tekoälyn tietoturvan tulevaisuudessa agenttien välisen vuorovaikutuksen valvonta voi olla yhtä tärkeää kuin yksittäisten agenttien toiminnan valvonta, hän jatkaa.