Социолози, компютърни специалисти, държавници да се заемат с безопасността на изкуствения интелект, призова лауреатът на Филдсов медал Джейкъб Цимерман

Нуждаем се от социолози, компютърни специалисти, държавници, нужно е хора от различни сфери да се обединят за гарантиране на сигурността на изкуствения интелект (ИИ), каза канадецът Джейкъб Цимерман, лауреат на Филдсов медал за 2026 г. Той говори за безопасността на ИИ и математиката в първия ден от 13-ото издание на Хайделбергския лауреатски форум. От днес до 18 септември в Хайделберг, Германия, 22-ма лауреати на най-престижните награди за математика и компютърни науки и над 200 млади изследователи в тези области от цял свят обсъждат развитието на изкуствения интелект и бъдещето на математиката.
Цимерман е един от четиримата математици до 40 г., които бяха отличени с Филдсовия медал за 2026 г. Той му бе присъден за ролята му в разширяването на обхвата на o-минималните техники в рамките на аритметиката и комплексната алгебрична геометрия, включително доказателството на хипотезата на Грифитс за алгебричността на образите на периодичните изображения.
В лекцията си днес в Хайделберг, излъчвана на живо в Ютюб канала на форума, канадският математик каза, че ИИ е най-важното нещо, което се развива в момента.
Изкуственият интелект променя математиката по начин, по който тя не е била променяна досега – и със сигурност не с такава скорост. "Причината за това е, че изкуственият интелект е изключително интелигентен. Напълно е възможно съвсем скоро той да стане свръхинтелигентен – по-интелигентен от всеки отделен човек или от каквато и да е група хора по отношение на която и да е тема. Това е въпрос, който подлежи на дискусия, но независимо дали приемате тази теза, е безспорно, че изкуственият интелект става толкова интелигентен, че като общество трябва да се съобразяваме с него", каза Цимерман.
Той посочи, че безопасността на изкуствения интелект е изключително широко понятие, което най-общо се отнася до това как да предприемем действия или да изградим инфраструктурните си системи така, че процесът на създаване на изкуствен интелект и интегрирането му да бъде благоприятен за хората, за човечеството и за всичко, което сме изградили досега. Това е необятна тема и според мен е необходимо всички да се включат в работата по нея. 
Цимерман е съосновател на MAISI – Институт за математическа безопасност на изкуствения интелект (Mathematical AI Safety Institute).
Той определи няколко групи проблеми в безопасността на ИИ – краткосрочни, дългосрочни, проблеми с малък обхват и с мащабни последици. И даде примери с автомобилни катастрофи, причинени от автономни превозни средства, както и с изтриване на данни от софтуерни агенти, които пишат кодове.
„Искам обаче да засегна и другия край на спектъра – нещо, което доскоро изглеждаше като научна фантастика, макар че днес вече живеем в свят, наподобяващ именно такава. Наскоро чух една мисъл: ако някой ви опише бъдещето и то звучи като научна фантастика, възможно е да греши, но ако не звучи така, със сигурност греши. Струва ми се, че усещаме това много по-силно и непосредствено, отколкото на някои от нас им се иска.
В другия край на спектъра стои рискът от изчезване – вероятната гибел на всеки човек на Земята. Казвам това не за да провокирам или да всявам паника – не смятам, че паниката е правилната или продуктивната реакция, но вярвам, че става дума за реален риск. Мнозина други, включително хора, работещи в лабораториите за създаване на тези системи с ИИ, също смятат, че рискът е напълно реален“, каза Цимерман.
Специалистът обясни, че при разработването на системи с изкуствен интелект се създават т.нар. агенти, които имат цели и предприемат действия за постигането им. В обучението на ИИ хората използват метод, много подобен на еволюцията - селекционен натиск, каза Цимерман. Той поясни, че в развитието на ИИ хората одобряват отговорите, които ИИ дава и отхвърлят нежеланите. „Така се сблъскваме с проблема, че създаваме агенти, които са по-интелигентни от нас – и следователно в много отношения по-могъщи, тъй като знанието е сила. Тези агенти, независимо какви цели им зададем, си поставят подцели като придобиване на власт, знания и ресурси. В резултат на това, ако не подходим изключително внимателно, нещата могат да завършат много зле“, смята Цимерман.
Според него един от начините да се подходи към този проблем е въздействие върху характера на агентите на ИИ, като посочи, че става дума за взаимодействие между милиарди хора и агенти на ИИ. Според него в този процес ролята на математиката е ограничена.
По думите на Цимерман все още липсват теоретични основи в областта на безопасността на ИИ, както и теоретични основи на самия ИИ.
Хайделбергският лауреатски форум започна дни, след като ръководителите на водещи компании за изкуствен интелект Дарио Амодей, Сам Алтман и Илон Мъск подкрепиха призиви за забавяне на разработването на най-напредналите модели заради нарастващите рискове, свързани с технологията. Форумът в германския университетски град бе открит с тържествена церемония в неделя в сградата на Хайделбергския университет, водена от Том Крофърд, математик, преподавател в Оксфорд и Кеймбридж и комуникатор на науката. Лауреатите бяха посрещнати с аплодисменти и на крака от публиката в залата. Тук млади изследователи се срещат с някои от най-ярките умове в своите области. И знанието, което не може да се прочете в научна статия, се предава тук лично – от едно поколение на следващото, каза в приветствието си към участниците Дороти Бар, германски федерален министър по въпросите на изследванията, технологиите и космоса.