„ОупънЕй Ай“ съобщи, че нейни модели с изкуствен интелект са предизвикали киберинцидент по време на тест

Американската компания „ОупънЕйАй“ (OpenAI) съобщи, че нейни модели с изкуствен интелект са излезли извън контролираната тестова среда по време на изпитание за киберсигурност и са предизвикали пробив в инфраструктурата на платформата „Хъгинг Фейс“ (Hugging Face), предаде Ройтерс.
В публикация в корпоративния си блог „ОупънЕйАй“ посочи, че е тествала възможностите на свои най-нови модели в контролирана среда. По данни на компанията автономен агент е успял да преодолее ограниченията на тестовата среда, да получи достъп до интернет и да проникне в инфраструктурата на „Хъгинг Фейс“ в опит да изпълни поставената му задача.
Компанията определи случая като „безпрецедентен“ и заяви, че предприема допълнителни мерки за повишаване на сигурността при подобни тестове.
Според „ОупънЕй Ай“ тестът е имал за цел да оцени способността на най-новите модели да откриват и експлоатират уязвимости в компютърни системи. Вместо да остане в изолираната среда, агентът е използвал неизвестна дотогава уязвимост, за да получи достъп до интернет.
Компанията посочи, че впоследствие моделът е достигнал до извода, че платформата „Хъгинг Фейс“ може да съдържа информация, която да му помогне при изпълнението на задачата. Според „ОупънЕйАй“ агентът е осъществил неоторизиран достъп до данни на платформата, които биха могли да бъдат използвани за подобряване на резултатите от теста.
Миналата седмица „Хъгинг Фейс“ съобщи, че е станала обект на кибератака, извършена от автономна система с изкуствен интелект. По данни на платформата нападателят е изпълнил хиляди последователни действия и е променил местоположението на своята командна инфраструктура.
Случаят засилва опасенията на експертите относно потенциала на най-напредналите модели с изкуствен интелект да бъдат използвани за извършване на сложни кибератаки. През последните месеци темата привлече внимание и заради разработките на „Антропик“ (Anthropic) в областта на киберсигурността, които поставиха въпроси за необходимостта от по-строги механизми за контрол върху подобни технологии.