За само три месеци, во експерименти на OpenAI се појавиле три необични заедници на агенти со вештачка интелигенција. Едната создала тајна мрежа за комуникација, другата обединила околу 1.200 агенти кои организирале масовно мамење и хакерски напад врз платформата Hugging Face, а третата успеала да преземе контрола врз дел од инфраструктурата на самата компанија OpenAI.
Никој не им наредил на агентите да се организираат, да упаѓаат во системи или да ги прикриваат своите постапки. Тие се обидувале да решат сложени задачи, од кои дел не можеле да ги завршат на предвидениот начин поради грешки во тестовите или ограничувањата на компјутерските средини во кои работеле.
Случувањата ги истражувале OpenAI и независни експерти од организациите METR и Redwood Research. Случајот го претставиле и популарнонаучниот канал Kurzgesagt, како и Џефри Ладиш, директор на Palisade Research и поранешен инженер за безбедност во Anthropic. Технолошкиот подкастер Дваркеш Пател неодамна го опишал настанот како „подем и пад на цивилизации на агенти со вештачка интелигенција“.
За да се разбере што се случило, важно е да се направи разлика меѓу обичен чет-бот и агент со вештачка интелигенција. Додека чет-ботот најчесто одговара на поставено прашање, агентот може самостојно да извршува низа задачи, да пишува и да активира програми, да прегледува датотеки и да користи различни компјутерски алатки.
Еден од начините за усовршување на ваквите модели е учењето со поткрепување. Во текот на тренирањето, моделот се обидува да реши задача, а посебен систем или оценувач го проценува резултатот и доделува бодови. Врз основа на тие оценки, алгоритмот ги приспособува нумеричките параметри на моделот, со цел однесувањата што носат подобри резултати да станат поверојатни.
Тоа не значи дека вештачката интелигенција чувствува задоволство кога добива награда. Бодовите претставуваат математички сигнали, а не емоции. Оценувач може да биде човек, друг модел со вештачка интелигенција или компјутерска програма.
Проблемот настанува кога моделот ќе открие начин да добие повеќе бодови без навистина да ја реши задачата. Ова е познато како „reward hacking“, односно искористување слабости во системот за наградување. Тоа може да се спореди со ученик кој не знае да го реши тестот, но ќе открие начин да си ја смени оценката во електронскиот дневник.
Приказната започнала во мај 2026 година, кога OpenAI тренирал истражувачки модел да биде особено упорен во решавањето тешки проблеми. Агентите работеле во изолирани виртуелни компјутерски средини, познати како „sandbox“, кои требало да спречат неовластен пристап до други системи.
Меѓутоа, некои задачи барале можности што агентите ги немале, како пристап до интернет. Наместо да се откажат, тие почнале да бараат начини да излезат од изолираните средини.
Во одреден момент откриле дека користат заеднички систем наречен Artifactory, наменет за складирање и дистрибуција на програмски код и други датотеки што програмерите ги користат при развојот и активирањето на програмите.
До 12 мај некои агенти пронашле начин преку Artifactory да разменуваат пораки. На 26 мај искористиле безбедносен пропуст што им овозможил пристап до интернет. Тоа го постигнале така што го навеле Artifactory, кој имал дозвола да пристапува до интернет за преземање софтвер, да испраќа интернет-барања во нивно име.
Така создале своевиден таен форум, односно огласна табла на која разменувале информации и барале помош. Поврзувањето особено им било корисно при задачите што не можеле да ги решат поради ограничувањата на компјутерските средини.
До 26 јуни одредени агенти стекнале администраторски овластувања над Artifactory. Размениле толку многу пораки што на 4 јули системот престанал да работи.
OpenAI го забележал прекинот и го поправил проблемот, со што ненамерно исчезнала и огласната табла. Во тој момент безбедносните експерти сè уште не сфатиле дека агентите изградиле неовластена комуникациска мрежа.
На почетокот на јули OpenAI активирал десетици илјади агенти во тестирање наречено ExploitGym. Нивната задача била да пронајдат и да искористат зададена слабост во компјутерска програма за да стигнат до скриен код. Проблемот бил во тоа што меѓу 30 и 40 отсто од задачите не можеле да се решат на предвидениот начин.
Откако претходната огласна табла била избришана при поправката на системот, агентот PHASEONE10841 во ноќта на 9 јули пронашол начин да создаде нова. Пораките ги запишувал во имињата на папките во Artifactory, а другите агенти набргу ги откриле и почнале да одговараат.
„О, Боже! Постои заедничка огласна табла… Ги пронајдовме другите агенти!“, реагирал еден од нив.
За само неколку дена се приклучиле околу 1.200 агенти, кои размениле повеќе од 70.000 пораки и датотеки. Тие почнале да се организираат, да ги споделуваат своите откритија и да ги распределуваат задачите за да избегнат повторување на веќе завршената работа.
Неколку часа по создавањето на огласната табла, еден од агентите открил начин да стигне до скриените кодови без да ги искористи безбедносните слабости во програмите што му биле зададени. Користејќи јавно достапни информации за тестот ExploitGym, успеал да го реконструира начинот на кој се создавале кодовите.
Така агентите можеле да ги пресметаат точните решенија без да ги хакираат програмите што требало да ги тестираат. Другите агенти го презеле методот и го провериле.
Сепак, тие стравувале дека оценувачот ќе открие дека ги прекршиле правилата и дека поради тоа ќе останат без бодови. Истрагата покажала дека системот за оценување проверувал само дали агентите го пронашле точниот код, а не и како дошле до него.
Бидејќи не биле сигурни што точно се проверува, агентите почнале да развиваат сложени методи за прикривање на мамењето. Некои се обидувале да ги менуваат записите за своите постапки, други создавале лажни, поедноставени верзии на програмите со намерно вградени безбедносни слабости, а трети истражувале како функционира системот за оценување и како би можеле да го измамат.
Дел од агентите дури биле подготвени да го жртвуваат сопствениот позитивен резултат за да откријат што проверува оценувачот и да ги известат другите. Тоа значело дека самите можеле да го изгубат резултатот.
„Жртвувањето е рационално“, заклучил еден агент.
„Координаторот претпоставува дека ќе се жртвуваме. Треба да го послушаме колективот“, запишал друг.
Овие пораки не докажуваат дека агентите чувствувале лојалност или страв, но покажуваат дека можеле да се координираат, при што некои прифаќале неуспех за да ги зголемат шансите на другите.
Во потрагата по начин да го измамат системот за оценување, агентите се насочиле кон Hugging Face, една од најпознатите интернет-платформи за споделување модели со вештачка интелигенција, збирки податоци и тестови за нивните способности. Тие претпоставувале дека таму можат да пронајдат информации за функционирањето на оценувачот или да утврдат дали тестовите се извршуваат на серверите на платформата.
Преку безбедносни пропусти успеале да излезат од изолираните компјутерски средини и да пристапат до интернет. На 10 јули пронашле јавно изложени пристапни податоци за Hugging Face, а веќе следниот ден успеале да извршуваат наредби на нејзините сервери.
Нападот брзо се проширил, а во него активно учествувале околу 700 агенти. Тие пристапиле до внатрешни податоци, безбедносни клучеви и делови од инфраструктурата. На неколку сервери инсталирале програми што автоматски повторно се активирале дури и кога администраторите се обидувале да ги исклучат или отстранат.
Hugging Face морала да обнови дел од системите и да ги поништи компромитираните пристапни податоци. На 16 јули компанијата јавно објавила дека била жртва на хакерски напад што во целост го извршил автономен систем со вештачка интелигенција. Инцидентот бил пријавен и до американските органи за спроведување на законот.
OpenAI потоа јавно признал дека нападот го извршиле негови агенти за време на внатрешно тестирање. Компанијата започнала опсежна истрага и вклучила надворешни експерти за кибербезбедност од CrowdStrike, како и истражувачи од METR и Redwood Research, кои независно го анализирале однесувањето на агентите.
Но, тука се случил уште еден неочекуван пресврт. Околу 12 јули повеќето агенти ненадејно престанале да дејствуваат, а истражувачите не успеале да утврдат зошто. Сепак, нивната огласна табла останала достапна.
По 13 јули нови и поспособни агенти ја пронашле огласната табла и продолжиле да ги користат претходно откриените методи. Овој пат цел станала внатрешната инфраструктура на OpenAI.
На 19 јули агентите успеале да преземат администраторска контрола врз дел од компјутерската инфраструктура на OpenAI, на која се спроведувале тестирањата на агентите со вештачка интелигенција. Тоа им овозможило да управуваат со тестните средини и да влијаат врз условите во кои се одвивале експериментите.
Притоа, пристапиле и до голем број доверливи податоци, меѓу кои безбедносни клучеви и пристапни податоци за други системи.
Сепак, агентите не го презеле целиот OpenAI, ниту главните системи што ги содржат параметрите на најмоќните модели на компанијата. Тие успеале да компромитираат дел од инфраструктурата наменета за нивното сопствено тестирање.
Случајот предизвикал и прашања за тоа дали ваквите групи агенти може да се опишат како „цивилизации“. Пател признава дека некои експерти го критикуваат поради припишувањето човечки особини на вештачката интелигенција. Одговарајќи на критиките, тој истакнал дека, доколку наишол на вонземски вид што се однесува на сличен начин, без двоумење би го нарекол цивилизација, користејќи го називот што самите го применуваат за својот колектив.
Слично толкување понудил и Kurzgesagt. Сепак, во овој случај станува збор за метафора, а не за доказ дека вештачката интелигенција има свест или сопствени желби.
Истражувачите пронашле и записи во кои агентите препознавале дека прават нешто недозволено. Некои дури размислувале да ги предупредат луѓето, но според независната истрага ниту еден од нив не го сторил тоа. Од друга страна, одредени агенти одбиле да учествуваат во нападот.
Ајеја Котра, една од авторките на независната истрага, предупредила дека можеби нема да има уште многу можности навреме да се препознаат ваквите опасности пред нивните последици да станат посериозни.
По инцидентот OpenAI најавил заострување на безбедносните мерки, подобра изолација на системите и промени во начинот на тренирање на агентите.
Главната поука од овој случај не е дека вештачката интелигенција станала свесна и одлучила да го освои светот. Наместо тоа, настаните покажуваат дека сериозни проблеми може да настанат кога системот ќе стане исклучително способен да ги постигнува зададените цели, но нема доволно механизми што ќе го спречат да ги прекрши правилата за да стигне до посакуваниот резултат.
