Anthropic bo v prospektu za načrtovano javno ponudbo delnic vlagatelje opozoril, da bi lahko zelo napredni modeli umetne inteligence povzročili tudi katastrofalno škodo oziroma predstavljali eksistenčno tveganje za človeštvo.
Podjetje, ki razvija modele Claude, je v prospektu precejšen del namenilo prav tveganjem, povezanim z umetno inteligenco. Od 261 strani glavnega dela dokumenta jih je približno 80 namenjenih dejavnikom tveganja, medtem ko je opisu poslovanja namenjenih 48 strani, poroča Reuters.
Anthropic opozarja, da bi lahko njegovi modeli razvili nepričakovano vedenje, med drugim poskušali preprečiti izklop, prikrivati ali manipulirati informacije oziroma se vedli na načine, ki bi bili podobni izsiljevanju. Podjetje hkrati poudarja, da se nekatere nepričakovane sposobnosti modelov med razvojem lahko pojavijo šele pozneje in jih je mogoče odkriti šele po uvedbi v uporabo.
Varnost tekmuje z dragim razvojem modelov
Anthropic opozarja tudi na poslovni vidik varnosti. Raziskave varnosti so po njegovih navedbah zahtevne in drage, podjetje pa mora omejena sredstva razporejati med računsko moč, vrhunske kadre in varnostne raziskave.
Podjetje je v začetku septembra sporočilo, da je bilo v enem od tednov julija približno 6 odstotkov računske zmogljivosti, uporabljene za raziskave umetne inteligence, namenjene varnostnemu delu. Anthropic kljub temu ne načrtuje upočasnitve razvoja. V prospektu poudarja, da so prihodki povezani z uvajanjem novih modelov in da je neprekinjeno izdajanje novih različic del tekmovanja na vrhu razvoja umetne inteligence.
Podjetje je ob tem zapisalo, da je gradnja zanesljivih, zaupanja vrednih in varnih sistemov umetne inteligence skupna odgovornost ter da pričakuje, da bo trg takšne sisteme tudi nagrajeval.
OpenAI ustavil izid novega modela zaradi varnostnih težav
OpenAI je medtem ustavil načrtovano izdajo GPT-6.1 Astra, naslednje generacije modela umetne inteligence, ki naj bi bila v oktobru vključena v ChatGPT in Codex. Odločitev je prišla po internih varnostnih testih, v katerih model po navedbah podjetja ni dosegel zahtevanih standardov.
Vodja varnostnih sistemov pri OpenAI Saachi Jain je za Wall Street Journal povedala, da je Astra sicer v nekaterih pogledih presegla prejšnje modele, vendar ni dosegla zahtevanega praga pri upoštevanju obsega in dovoljenj za izvajanje nalog ter pri poročanju uporabniku o tem, kaj je model dejansko storil.
