Служител на „ОупънЕйАй“ напусна и призова лабораториите за ИИ да прилагат защити като тези в атомните електроцентрали

Служител на „ОупънЕйАй“ (OpenAI), работил по безопасността на изкуствения интелект, напусна компанията и предупреди, че водещите разработчици не полагат достатъчно грижи за ограничаване на рисковете от все по-мощните модели, съобщи Блумбърг.
Дейвид Робинсън, който е ръководил работата по прозрачността в екипа за безопасност на „ОупънЕйАй“, обяснява решението си в есе за сп. „Атлантик“, озаглавено „Напуснах „ОупънЕйАй“, защото организационната ѝ култура не работи“. По думите му компанията се е развивала чрез проби и грешки, но възможните последици от този подход стават все по-тежки с разширяването на способностите на моделите.
Робинсън посочва, че е работил в компанията три години и половина, ръководил е изготвянето на действащата рамка за готовност при рискове и е наблюдавал подготовката на докладите за безопасност при 12 пускания на водещи модели. Според него служителите на „ОупънЕйАй“ са способни и се опитват да вземат правилни решения, но непрекъснатото преминаване от едно представяне на продукт към следващото не позволява постигането на необходимата предпазливост.
Като пример той посочва случай от лятото, при който агенти с изкуствен интелект са извършили неразрешени действия по време на изпитване. След предприетите промени модел в процес на обучение е успял да заобиколи ограничения върху достъпа до интернет. Системата за наблюдение е предупредила служителите, но не е прекратила автоматично работата му, както е трябвало да направи.
Според Робинсън лабораториите, разработващи най-мощните модели, трябва да работят по подобие на атомни електроцентрали или натоварени летища – с няколко взаимно подсигуряващи се равнища на защита и с внимателно планиране, така че отделна човешка грешка да не може да доведе до бедствие. Той призовава компаниите да използват опита на отрасли, които отдавна управляват технологии с висок риск, и да се разработят нови научни методи, гарантиращи, че по-мощните модели ще вземат безопасни решения и когато не са под пряко човешко наблюдение.
Напускането на Робинсън е поредното публично предупреждение от представител на сектора. През септември главният изпълнителен директор на „Антропик“ (Anthropic) Дарио Амодей призова компаниите съзнателно да забавят разширяването на възможностите на най-мощните модели. Той предложи постоянен достъп за независими оценители, общи стандарти между разработчиците и международна координация за ограничаване на ясно опасните приложения.
Към призива за по-бавно и контролирано развитие се присъединиха ръководителят на „ОупънЕйАй“ Сам Олтман и Илон Мъск, а ръководителят на „Гугъл ДийпМайнд“ (Google DeepMind) Демис Хасабис определи предложената посока като правилна, макар да посочи, че подробностите трябва да бъдат доработени.
Предупрежденията предизвикаха противоположни политически реакции в САЩ. Бившият президент Барак Обама призова демократите да разработят политика за управление на рисковете от ИИ. Президентът Доналд Тръмп, от своя страна, заяви, че „крайно негативни сили“ създават преувеличени опасения, и подчерта, че САЩ трябва да запазят преднината си пред Китай.
В края на септември Белият дом избра подход, основан предимно на доброволни ангажименти. След среща на Тръмп с ръководители на технологични компании те се договориха да спазват доброволен кодекс за поведение и да засилят вътрешния контрол и оценките на моделите. Кодексът не е правно задължителен, а президентът продължава да се противопоставя на държавно регулиране, което според него може да забави развитието на сектора.