Компанијата OpenAI го распушти својот тим за превенција, кој беше задолжен за процена и следење на најсериозните ризици поврзани со развојот на напредните модели на вештачка интелигенција, објави „Фајненшел тајмс“. Тимот проценувал дали моделите можат да претставуваат ризик во области како биолошко оружје, сајбернапади и други потенцијално катастрофални закани.
По неговото укинување, надлежностите на тимот наводно биле поделени според различни области на ризик и префрлени во постојните тимови во компанијата. Потегот е дел од пошироко организациско преструктуирање во OpenAI, кое во последните години вклучува и укинување или реорганизирање на други тимови задолжени за безбедност и усогласување на вештачката интелигенција.
Во истиот период компанијата ја напуштија и повеќе лица кои работеа на безбедноста, етиката и идниот развој на технологијата. Поранешниот раководител на Тимот за суперусогласување, Јан Лајке, ја критикуваше компанијата, оценувајќи дека безбедноста не добива доволно внимание во споредба со развојот на нови производи.
Тимот за подготвеност беше формиран во 2023 година со задача да ги следи способностите на моделите и да проценува дали тие се приближуваат до нивоа што би можеле да претставуваат сериозна закана. Меѓу областите што ги следел биле сајбернападите, биолошките и хемиските закани, како и можноста за автономно самореплицирање и приспособување.
Промените во OpenAI доаѓаат во период на зголемено внимание кон безбедноста на напредните модели. Во јули компанијата потврди сериозен безбедносен инцидент во кој нејзини модели, при интерно тестирање на сајбер-способности, успеале да најдат начин да излезат од изолирана средина и да добијат пристап до интернет. Потоа биле искористени за напад врз инфраструктурата на Hugging Face. OpenAI соопшти дека моделите идентификувале и искористиле претходно непозната „zero-day“ ранливост, а инцидентот го оцени како без преседан.
Компанијата, сепак, нагласи дека во инцидентот не биле вклучени модели планирани за претстојно објавување. Моделот пред објавување кој бил дел од тестирањето бил интерен истражувачки прототип и по инцидентот бил деактивиран и ограничен за понатамошен пристап.
Според „Фајненшел тајмс“, реорганизацијата се одвива додека OpenAI се подготвува за можен излез на берзата и забрзано се трансформира во комерцијално ориентирана компанија. Тоа повторно го отвора прашањето дали растот и развојот на нови производи добиваат предност пред инвестициите во безбедноста на вештачката интелигенција.
