Институтът INSAIT към Софийския университет и платформата „Нетфликс“ разработиха нов модел с изкуствен интелект

Институтът за компютърни науки, изкуствен интелект и технологии (INSAIT) към Софийския университет “Св. Климент Охридски” и една от най-големите световни стрийминг платформи „Нетфликс“ (Netflix) разработиха нов AI модел - VOID, който може да премахва обекти от видео и едновременно с това да пресъздава реалистично как се променя сцената. Това съобщи пресцентърът на Министерството на образованието и науката (МОН).
За разлика от стандартните инструменти, които просто „запълват“ изтритите части, VOID разбира как обектите си взаимодействат. Ако например човек държи предмет и бъде премахнат, моделът симулира как предметът пада или се движи естествено, сякаш сцената е заснета без него. Това може да даде много по-голяма свобода на производителите на видео съдържание и би спестило значителен финансов ресурс за презаснемане на различни сцени, се казва в съобщението.
Технологията стъпва върху CogVideoX и използва специален подход с т.нар. quadmask, който позволява да се разграничат обектите, зоните на взаимодействие и фонът. Това помага на системата да запази логиката и динамиката на кадъра, без видими артефакти. Тъй като реални тренировъчни данни почти липсват, екипите на „Нетфликс“ и INSAIT използват симулирани сцени, генерирани чрез Blender. Така моделът се учи какво се случва в реалния свят, когато даден обект изчезне.
В сравнение със съществуващи решения, VOID постига по-добра визуална последователност и по-реалистично поведение на обектите. Моделът е с отворен код, което дава възможност на разработчици и изследователи от цял свят да работят и надграждат технологията.
Това е пореден проект, който подчертава ролята на INSAIT в създаването на технологии със световно значение, се отбелязва в съобщението на МОН.
Институтът за компютърни науки, изкуствен интелект и технологии (Institute for Computer Science, Artificial Intelligence and Technology) - INSAIT, беше официално открит на 11 април 2022 г. В партньорство е с двата най-големи технологични университета на Швейцария - с Федералния технологичен институт в Цюрих (ETH Zurich) и с Политехническия университет в Лозана (EPFL). Институтът е част от структурата на Софийския университет "Св. Климент Охридски". Идеолог за създаването му е известният български изследовател проф. Мартин Вечев, който ръководи Лабораторията за сигурни, надеждни и интелигентни системи на ETH Zurich.