"ОупънЕиАй" е изпуснала за кратко от контрол автономен ИИ агент, който е атакувал платформата "Хъгинг фейс“

Автономен агент, задвижван от усъвършенстваните модели за изкуствен интелект на „ОупънЕйАй“ (OpenAI), излезе от тестова среда по време на упражнение за сигурност и е задействал хакерска атака. Това заявиха представители на компанията цитирани от Ройтерс. Атаката е компрометирала инфраструктурата на стартъпа за изкуствен интелект „Хъгинг фейс“ (Hugging Face) миналата седмица.
„ОупънЕйАй“, създателят на „ЧатДжиПиТи (ChatGPT) е тествала възможностите на някои от своите най-модерни модели в контролирана среда, но агентът е успял да напусне ограниченията, достигнал е до интернет и е проникнал в системите на „Хъгинг фейс“, за да изпълни поставената му задача.
Инцидентът сигнализира, че разширяващите се възможности на изкуствения интелект вече започват да представляват заплаха за сигурността, от която експертите отдавана се опасяват. Дори и водещите разработчици могат да останат неподготвени от недостатъци, които моделите им да експлоатират.
Пробивът е „безпрецедентен киберинцидент, включващ най-съвременната технология“ и „ОупънЕйАй“ ще засили своите защитни мерки, заяви компанията в публикация.
„Хъгинг фейс“ обяви, че е използвала китайски модел с отворен код, за да овладее атаката, защото водещите американски модели, неспособни да различат защитник от атакуващ, отказаха да обработят данните, необходими за анализ. Компанията е използвала модела изкуствен интелект „ДжиЕлЕм – 5.2“ (GLM-5.2) на „Чжъпу“ за анализа, който е запазил и данните за атакуващия и всички индетификационни данни.
„ДжиЕлЕм-5.2“ и „Кими Кей 3“ (Kimi K3), собственост на пекинската „Мууншот“ (Moonshot) впечатлиха Силициевата долина напоследък с възможности, доближаващи се до тези на най-добрите модели с по-ниски разходи и без предпазните мерки, които блокират използването на американските модели в задачи като киберсигурност.
„Когато напредничав изкуствен интелект атакува и преминава през вашата инфраструктура, защитата се нуждае от широк достъп до инструменти от подобно качество“, коментира съоснователят на „Хъгинг фейс“ Томас Волф.
Хакерската атака срещу стартъпа, която предоставя услуги за достъп до големи езикови модели и бази данни с отворен код, шокира общността за киберсигурност, след като „Хъгинг фейс“ заяви, че пробивът е бил „различен от всичко, с което сме се сблъсквали преди. „От началото до края атаката беше задвижвана от автономна система с агенти с изкуствен интелект“, добавиха от фирмата.
Разкритието на „ОупънЕйАй“, че нейните усъвършенствани модели са били отговорни за пробива, въпреки че са били поставени в тестова, силно изолирана среда, вероятно ще засили безпокойството относно силата и риска от най-напредначивите модели.
„Изкуственият интелект се развива изключително бързо, без реално регулации, които да ни предпазят“, заяви депутатът от Тексас, Грег Касар в изявление. Той призова за задължително независимо тестване за безопасност, задължително разкриване на инцидентни със сигурността и международно сътрудничество.
Лабораториите и държавните органи трябва да работят върху способността за ограничаване, наблюдение и разкриване на засегнатите страни, коментира Кейти Мусурис, главен изпълнителен директор на „Лута секюрити“ (Luta Security).
„Такива възможности сме виждали вече на вътрешно ниво“, каза Мат Суиче, инженер в компанията за киберсигурност „Толмо“ (Tolmo). „Дори не е нужно да използваме най-новите модели, за да постигнем нещо подобно“, добави той.