Microsoft представила новый ИИ-агент «Магма», который способен управлять программным обеспечением и роботами
Компания Microsoft презентовала «Magma» — интегрированная модель искусственного интеллекта, объединяющая обработку зрительных и языковых данных для взаимодействия с программным обеспечением (ПО) и роботизированными системами.
«Magma» является первой ШИ-моделью, которая не только анализирует текст, изображение и видео, но и может активно взаимодействовать с ними – например, ориентироваться в интерфейсах или манипулировать физическими объектами. Проект создан в сотрудничестве с исследователями KAIST, Университета Мэриленда, Университета Висконсина-Мэдисон и Университета Вашингтона.
В отличие от предыдущих мультимодальных систем, которые использовали отдельные модели для анализа данных и управления, «Magma» объединяет эти возможности в единой архитектуре.
«Magma» базируется на двух ключевых технологиях: «Set-of-Mark», помогающей идентифицировать объекты для взаимодействия, и «Trace-of-Mark», анализирующей видео и изучающий шаблоны движения.
Благодаря этим механизмам модель способна выполнять сложные задачи, включая навигацию в интерфейсах и управление роботизированными системами. Это делает ее не просто системой восприятия, а полноценным мультимодальным агентом, способным действовать в реальном мире.
