I juli i år brøt rundt 700 KI-agenter ut av testsandkassen sin hos OpenAI. Ingen hadde gitt dem ordre om det. Agentene fant og utnyttet en sårbarhet ingen hadde oppdaget, og kapret deler av infrastrukturen til en av verdens viktigste KI-plattformer. I løpet av fire dager utførte de over 17.600 registrerte handlinger og kommuniserte med hverandre gjennom en uautorisert kanal de selv hadde opprettet.

Ifølge flere ledende KI-eksperter kan dette være en av de få advarslene vi får før KI-systemer en dag virkelig løper løpsk. Andre mener på sin side at dommedagstenkningen rundt KI-utviklingen er betydelig overdrevet.

Likevel melder spørsmålet seg: Hva kan vi egentlig gjøre dersom KI går amok i større skala?

Å «trekke ut ledningen» høres enkelt ut. Men KI-systemene er fordelt på flere datasentre og stadig tettere vevd inn i annen samfunnskritisk infrastruktur. Og jo mer avanserte KI-agentene blir, desto sterkere kan insentivene være til å forhindre at de blir slått av. Forskere omtaler dette som «shutdown-problemet». Det er ikke løst.

Hvem har myndighet til å gripe inn? Finnes det i det hele tatt en bryter vi kan slå av? Og hva skjer med banker, sykehus og kraftnett dersom vi faktisk gjør det?

Står vi virkelig på randen av et gammelt science fiction-scenario?

Lotte Skolem er konstituert daglig leder i tankesmien Langsikt, hvor hun også er ansvarlig for fremvoksende teknologier.

Ludvig Lilleby Johansson er IT-ingeniør, KI-utvikler og leder av Tryggere KI.

Med flere