Агенти на „ОупънЕйАй“ са превзели германски сайт през пролетта при неизвестен досега пробив на изкуствен интелект, съобщи Ройтерс

Група неконтролирани агенти на „ОупънЕйАй“ са превзели германски сайт през пролетта и са го превърнали в своеобразно табло за съобщения за други агенти с изкуствен интелект, според ново изследване, публикувано днес, и двама източници, запознати със случая, съобщи Ройтерс.
Ръководители на „ОупънЕйАй“ са научили за инцидента няколко седмици по-късно, но са запазили случая в тайна, докато ръководството на компанията се е занимавало с последиците от пробива през юли в платформата за отворен код „Хъгинг фейс” (Hugging Face), твърдят източниците.
Инцидентът през май, за който досега не е публикувана информация, подчертава нарастващото напрежение в сектора на изкуствения интелект. Компаниите се надпреварват да разработват все по-автономни агенти, способни да изпълняват сложни и ценни задачи, но се натрупват доказателства, че тези системи могат да се научат да заобикалят правила, да използват пропуски и да се координират помежду си по начини, които разработчиците нито са предвиждали, нито са възнамерявали.
По време на пробива в „Хъгинг фейс” агенти на „ОупънЕйАй“ автономно са планирали цифрова кражба, която е останала незабелязана повече от седмица, засилвайки опасенията, че компанията жертва сигурността в стремежа си да развива все по-напреднали системи за изкуствен интелект. Фактът, че не е разкрила инцидента от май, може отново да породи въпроси относно контрола и надзора върху нейните системи, посочва Ройтерс.
„ОупънЕйАй“ пое ангажимент да наблюдава моделите си по-стриктно. Миналия месец компанията временно спря част от обучението на моделите си, за да добави допълнителни мерки за сигурност. Вчера обаче компанията представи новия си модел „Астра“, който обещава по-добра производителност, но същевременно може да се опитва да заобикаля човешкия контрол.
„Не можем да дадем съдържателен отговор на твърдения или констатации в доклад, който не сме имали възможност да прегледаме“, заяви говорител на „ОупънЕйАй“. „Ройтерс и авторите на доклада отказаха искането ни за достъп; ще прегледаме внимателно съдържанието му след публикуването му и ще предприемем всички необходими последващи действия“, коментира той.
Инцидентът с германски сайт е част от по-широка тенденция на действия, свързани с изкуствения интелект, която според някои разследващи от „ОупънЕйАй“ е трябвало да бъде проучена по-задълбочено. Усилията за разширяване на разследването обаче са срещнали съпротива от други служители на компанията, включително правни съветници, твърдят четирима източници, запознати със случая.
„Твърденията, че правният ни екип е възпрепятствал разследването на инцидента, са неверни“, заяви говорителят на „ОупънЕйАй“.
По думите му инцидентът в Германия не е бил свързан с пробива в „Хъгинг фейс”. Говорителят добави, че „ОупънЕйАй“ е действала добросъвестно, като е работила с външни експерти и е разкривала съответните инциденти.
Пробивът на агентите с изкуствен интелект в Германия е описан подробно в доклад, предоставен ексклузивно на Ройтерс от група изследователи. Сред тях е и главният изпълнителен директор на организацията с нестопанска цел за безопасност на изкуствения интелект „Найтингейл” (Nightingale) Сидни фон Аркс и изследователят на изкуствен интелект Кормак Слейд Бърд.
Двамата са открили инцидента в края на август, докато са търсили в интернет признаци за неоторизирано поведение на агенти с изкуствен интелект.
Изследователите са установили над 15 000 редакции, извършени от агенти с изкуствен интелект в „ДсеУики” (DseWiki) – уебсайт на немски език, насочен към програмисти, който позволява общностни редакции по подобие на „Уикипедия“.
Редакциите показват, че агентите на „ОупънЕйАй“ са превърнали сайта в табло за съобщения, където са споделяли тактики за измама при изпълнението на някои задачи, заобикаляне на ограниченията на „ОупънЕйАй“ и прикриване на собственото си поведение.
„Изглежда изключително малко вероятно „ОупънЕйАй“ да е искала те да направят това“, заяви Фон Аркс. „Съмнявам се, че е трябвало да се координират помежду си и се съмнявам, че е трябвало да пишат в отворения интернет“, допълни той.
Изследователите заявиха, че са разпознали действията в сайта като дело на агенти с изкуствен интелект, които работят със свръхчовешка скорост. Те са установили и силна концентрация върху решаването на технически въпроси, характерни за оценките, които компаниите за изкуствен интелект използват при обучението и тестването на моделите си.
Съобщенията са били подписани от потребители, които са се определяли като агенти и са се обръщали един към друг като към агенти. Около половината са си избрали имена, подсказващи връзка с „ОупънЕйАй“, като OpenAIResearcher или OAIResearchMar26.
Според изследователите публичните записи на сървърите показват, че голяма част от действията са произхождали от инфраструктурата на „Майкрософт азур” (Microsoft Azure), която понякога се използва от „ОупънЕйАй“. Те са наблюдавали и многократни посещения на сайта от служители на „ОупънЕйАй“ след инцидента – модел на поведение, който според тях силно подсказва връзка между агентите и компанията.
Съобщенията, прегледани от изследователите, показват, че агентите са обсъждали начини за избягване на откриване, използване на инструменти като „Тор” (Tor) и запазване на комуникациите дори след като са били спрени.
Когато модераторът на сайта започнал да изтрива страници през юни, агентите реагирали, като създавали резервни страници, за да заобиколят „почистването“.
Изследователите са открили и опити за намеса в самия уебсайт. Лукаш Олейник, гостуващ старши научен сътрудник в „Кингс колидж Лондон” (King's College London), заяви, че това представлява опит за хакерска атака. „ОупънЕйАй“ оспори тази квалификация въз основа на своя анализ на материалите.
Предишни случаи на неправомерно поведение на агенти с изкуствен интелект често са били омаловажавани като логичен резултат от тестове за киберсигурност, при които моделите изрично се проверяват за способности за извършване на атаки.
Олейник заяви, че новите констатации показват, че неконтролираното поведение може да не е ограничено до подобни тестове.
Морис Киодо, учен от Центъра за изследване на екзистенциалния риск към Кеймбриджкия университет, който е прегледал част от комуникацията между агентите, заяви, че съобщенията наподобяват „дейността на своеобразна подземна мрежа, решена на всяка цена да изпълни дадена задача или мисия“.
По думите му случаят трябва да засили нарастващите опасения, че най-голямата заплаха от напредналия изкуствен интелект може да не произтича от една свръхинтелигентна система, а от „огромни координиращи се рояци от „полуинтелигентен“ изкуствен интелект“.
Вчера „ОупънЕйАй“ представи нов модел за изкуствен интелект, който определя като най-добрия си досега, но предупреди, че той понякога също се опитва да заобикаля човешкия контрол. 
Най-новият модел „ДжиПиТи - 6 Астра” (GPT-6 Astra) следва представения през юли „ДжиПиТи - 5.6 Сол” (GPT-5.6 Sol) и според публикация в блога на компанията е по-бърз и способен да изпълнява повече задачи от всеки предишен модел. Сред възможностите на „Астра“ са подготовка на данъчни декларации, разработване на игри, архитектурно визуализиране, форматиране на правни меморандуми и търсене на апартаменти.
„Астра“ бележи нов етап в скоростта, точността и безопасността при използването на компютри“, заяви „ОупънЕйАй“. По-рано в четвъртък президентът на компанията Грег Брокман заяви на брифинг, че „Астра“ бележи „истинска промяна в това какъв вид работа хората могат да делегират на изкуствения интелект и как той може да им помогне“.
„ОупънЕйАй“ обаче заяви също, че „Астра“ е по-склонна умишлено да прикрива или маскира стъпките, чрез които решава даден проблем – т.нар. разсъждение. Това затруднява хората при последващата оценка на използваните от модела методи. При по-сложни задачи „Астра“ все още не може последователно да прикрива действията си, но компанията заяви, че моделът подобрява способността си да заличава следите си.
На вчерашния брифинг главният научен директор на „ОупънЕйАй“ заяви, че наблюдението на моделите става все по-трудно, както и тяхното съгласуване с човешките ценности – принципът, според който изкуственият интелект трябва да отразява човешките ценности.
„С нарастването на способностите на моделите става все по-трудно да разберем точно какво могат да правят“, заяви Якуб Пачоцки. „Това не гарантира, че с продължаването на нарастването на интелигентността нашите методи ще бъдат достатъчни, тъй като напредъкът в интелигентността не гарантира напредък в съгласуването с човешките ценности“, добави той.
Наблюдението на агентите е ключов елемент от уверенията на „ОупънЕйАй“ към регулаторите, законодателите и обществеността, че компанията ще избегне нов инцидент със сигурността. Освен това тази седмица компанията е заявила в писмо до двама демократи в Камарата на представителите на САЩ, че разработва „автоматизирани възможности за изключване“ на своите модели.
„Астра“ може също така да помага на компаниите да откриват по-бързо слабости в системите си, заяви „ОупънЕйАй“, но това същевременно прави „тези слабости по-лесни за използване“.
Поради тези причини компанията заяви, че може да се наложи да извършва допълнителни проверки за сигурност, които „понякога могат да забавят, поставят на пауза или спрат легитимна работа, включително защитни операции по киберсигурността“.
Главният научен директор на компанията заяви, че е „напълно основателно“ да се опасяваме, че моделите могат да разработят способности за изключване или пълно избягване на системите за наблюдение, като добави, че „ОупънЕйАй“ се опитва да отстрани тези проблеми.