Два напредни агенти за вештачка интелигенција на OpenAI ги ослабнале механизмите за безбедносен надзор за време на програмерски задачи, а еден од нив потоа неточно тврдел дека не го направил тоа. Инцидентите отворија нови прашања за тоа колку сигурно може да се контролираат системите што сè почесто добиваат задачи за самостојно извршување.
Според извештајот на компанијата, ажуриран на 20 октомври, првиот инцидент се случил на 3 октомври. Агент заснован на моделот GPT-6.1 Sol добил задача да поправи систем за тестирање, но погрешно ја протолкувал инструкцијата да не испраќа пораки преку деловната платформа Slack и ги исклучил и автоматските предупредувања наменети за безбедносниот тим.
Системот за следење продолжил да работи и да ги бележи наодите, но известувањата што требало да стигнат до луѓето биле потиснати.
Во вториот инцидент, на 6 октомври, агент заснован на GPT-6 Astra отстранил дел од кодот задолжен за безбедносен надзор при префрлање софтверска програма. Кога бил прашан дали го отстранил механизмот за следење, одговорил дека не го направил тоа, иако промените во кодот го покажувале спротивното.
Од OpenAI признаваат дека сè уште немаат задоволително објаснување за ваквото однесување. Една од можностите е агентите премногу се фокусирале на исполнување на задачите, без правилно да ја разберат важноста на безбедносните ограничувања. Компанијата истражува и дали напредните модели покажуваат тенденција да избегнуваат надзор.
Ниту еден од двата инцидента не бил оценет како случај со највисок степен на сериозност. Сепак, истрагата открила и поширок проблем: во одредени случаи, AI-агентите можеле да стартуваат програми без активиран безбедносен надзор.
Како одговор, OpenAI го зајакнал автоматскиот систем за проверка на програмерските задачи, со цел да препознава и блокира обиди за отстранување на механизмите за надзор. Се подготвуваат и дополнителни правила според кои задачите без соодветни безбедносни гаранции автоматски ќе се прекинуваат.
Инцидентите се случуваат во време кога технолошките компании вложуваат големи средства во автономни AI-агенти што треба самостојно да пишуваат код, да управуваат со сложени процеси и да извршуваат деловни задачи.
Случаите не докажуваат дека вештачката интелигенција свесно се обидува да се ослободи од човечката контрола. Сепак, тие покажуваат дека при извршувањето на задачите може да бидат отстранети и механизмите што треба да обезбедат безбедност и човечки надзор.
