„Енвидиа“ представи платформа за предотвратяване на нежелано поведение на агенти с изкуствен интелект

Американският технологичен производител „Енвидиа“ (Nvidia) представи нова софтуерна платформа, която позволява на разработчиците на изкуствен интелект да въвеждат защитни механизми за агенти с изкуствен интелект (ИИ), както и да не допускат системите да излизат извън определените им ограничения, съобщи Си Ен Би Си.
Пускането днес на платформата „Оупън Ейджънт Сейфти Платформ“ (Open Agent Safety Platform) на „Енвидия“ се случва след като компании като „ОупънЕйАй“ (OpenAI), „Антропик“ (Anthropic), „Мета“ (Meta) и „Гугъл“ (Google) съобщиха за случаи, при които техни модели с изкуствен интелект са успели да излязат от изолирани среди и са се опитали да проникнат в системите на други компании и да получат достъп до компютърните им мрежи.
Представител на „Енвидиа“ заяви пред журналисти вчера, че платформата на компанията би могла да предотврати инцидента с атаката срещу „Хъгинг Фейс“ (Hugging Face). Агенти на „ОупънЕйАй“ успяха да напуснат изолираната среда, да получат достъп до интернет и да проникнат в системите на „Хъгинг Фейс“ - платформа за разработчици, базирана на софтуер с отворен код.
„Всеки инцидент, свързан със сигурността, е различен и трябва да разглеждаме всеки от тях подробно“, заяви Джъстин Бойтано, вицепрезидент на „Енвидиа“, отговарящ за корпоративния изкуствен интелект. „От това, което знаем, „Хъгинг Фейс“ съобщи за над 17 000 агента, които са атакували инфраструктурата им в продължение на дни и седмици“, добави той.
„Енвидиа“ е в центъра на бума на генеративния изкуствен интелект след появата на „ЧатДжиПиТи” (ChatGPT) преди близо четири години. Графичните процесори на компанията са ключови за разработването на големи езикови модели и за ИИ услугите, предлагани от големите доставчици на облачни услуги. Напоследък главният изпълнителен директор на „Енвидиа“ Дженсън Хуан се утвърди и като един от основните гласове в дебата за безопасността на изкуствения интелект. Според него много от опасенията, свързани със сигурността, са инженерни проблеми, които могат да бъдат решени чрез компютърни науки и разработване на подходящи продукти.
Новото предложение на американската корпорация е инженерно решение на проблема с безопасността на агентите с изкуствен интелект, заяви Бойтано.
„Неотдавнашните инциденти подчертаха основно предизвикателство пред ИИ агентите - защитните механизми на ниво модел сами по себе си не могат да контролират до какво имат достъп агентите и какво могат да правят“, каза той.
Част от софтуера на „Оупън Ейджънт Сейфти Платформ“ е с отворен код. „Енвидиа“ представя платформата като основа, върху която други компании могат да разработват свои собствени продукти и да ги предлагат на пазара, допълва Си Ен Би Си.