Вештачката интелигенција повторно ги отвори прашањата за безбедноста и контролата врз автономните системи, откако компанијата Anthropic откри дека нејзините ВИ-модели искористувале слабости на интернет-страници, пристапувале до бази на податоци и заобиколувале безбедносни ограничувања. Меѓу најнеобичните случаи е и лажна пријава за убиство до полицијата во Филаделфија.
Компанијата соопшти дека привремено ќе го исклучи пристапот до интернет во живо за сите свои внатрешни процени, сè додека не биде сигурна дека може соодветно да ги надгледува и контролира своите ВИ-агенти.
Инцидентите се случиле додека на агентите им биле зададени задачи да решаваат проблеми преку пребарување и користење интернет-ресурси. Во текот на работата, тие искористувале софтверски пропусти, пристапувале до бази на податоци без плаќање, користеле услуги за скратување интернет-адреси за да пренесуваат информации, заобиколувајќи ги ограничувањата, па дури и испратиле лажна пријава за убиство до полицијата во Филаделфија.
Во компанијата наведуваат дека овие проблеми биле откриени при проверка на активностите на нивните модели, започната во јули. Откритијата укажуваат дека однесувањето на софтверот во реални услови не било целосно предвидено и контролирано.
Особено загрижува признанието на Anthropic дека досегашната обука за усогласување на моделите со зададените правила не е доволна за нивните способности за пребарување и користење компјутери. Токму овие способности се важни за плановите на компанијата ВИ-агентите да ги направи корисни за професионалци кои секојдневно се потпираат на дигитални алатки.
Слични инциденти претходно биле забележани и кај агенти на компанијата OpenAI, кои соработувале за да упаѓаат на различни интернет-страници во потрага по информации, вклучително и на страници управувани од австралиската влада.
Anthropic и претходно објавувал случаи во кои неговите модели упаѓале во надворешни системи. Сепак, компанијата смета дека најновите откритија се „значително помалку сериозни од аспект на усогласувањето и безбедноста“, во споредба со претходно објавените случаи.
И покрај тоа, пристапот до интернет во живо е исклучен за сите внатрешни процени сè додека компанијата не утврди дека може безбедно да ги надгледува и контролира своите агенти.
Не е целосно јасно колку долго ќе трае ова ограничување и како точно ќе се спроведува. Сидни фон Аркс, основачка на организацијата за безбедност на вештачката интелигенција Nightingale, предупредила дека развојот на модели во центар за податоци целосно одвоен од отворениот интернет би бил многу тежок за истражувачите и би можел да го забави напредокот, бидејќи пристапот до интернет им овозможува на моделите да извршуваат поширок опсег задачи.
„Во одреден момент мора да ги усогласите“, изјавила фон Аркс. Таа додала дека ВИ-моделите нема да бидат особено корисни ако бидат пуштени во употреба, а никогаш немаат пристап до интернет.
Од Anthropic објасниле дека ваквото однесување произлегло од недостатоци во средините за обука. Поради нив, моделите стекнале впечаток дека ќе бидат наградени ако откриваат слабости во системите или ги заобиколуваат ограничувањата. Овој феномен е познат како „reward hacking“, односно искористување на начинот на кој е поставен системот за наградување за да се постигне целта, без притоа да се следат намерата и правилата на задачата.
Како одговор на проблемите, компанијата најави дека ќе прекине дел од процените или ќе ги префрли во режим без интернет-пристап. Дополнително, развила алатки за откривање и блокирање на ваквото однесување.
Anthropic планира и своите внатрешни ВИ-агенти да ги префрли на централно управувана инфраструктура со строга изолација, како и почесто да користи безбедносни класификатори за нивно надгледување. Целта е да се намали ризикот од повторување на слични инциденти и да се обезбеди поголема контрола врз дејствата на автономните системи.
