Компанія Microsoft презентувала “Magma” — інтегровану модель штучного інтелекту, яка об’єднує обробку зорових і мовних даних для взаємодії з програмним забезпеченням (ПЗ) та роботизованими системами.
“Magma” є першою ШІ-моделлю, яка не лише аналізує текст, зображення та відео, а й може активно взаємодіяти з ними – наприклад, орієнтуватися в інтерфейсах або маніпулювати фізичними об’єктами. Проєкт створено у співпраці з дослідниками KAIST, Університету Меріленда, Університету Вісконсіна-Медісон та Університету Вашингтона.
На відміну від попередніх мультимодальних систем, які використовували окремі моделі для аналізу даних та управління, “Magma” поєднує ці можливості в єдиній архітектурі. Microsoft позиціонує цю модель як важливий етап у створенні агентного ШІ, який не лише розпізнає навколишнє середовище, а й здатний самостійно розробляти стратегії та виконувати багатокрокові завдання.
“Magma” базується на двох ключових технологіях: “Set-of-Mark”, яка допомагає ідентифікувати об’єкти для взаємодії, та “Trace-of-Mark”, що аналізує відео та вивчає шаблони руху.
Завдяки цим механізмам модель здатна виконувати складні завдання, зокрема навігацію в інтерфейсах і керування роботизованими системами. Це робить її не просто системою сприйняття, а повноцінним мультимодальним агентом, здатним діяти в реальному світі.
