Google доложила о разработке модели искусственного интеллекта RT-2 (Robotics Transformer 2), предназначенной для интеграции в роботов. Она сочетает в себе умения обрабатывать изображение, голосовые команды и управлять двигательными функциями.
Источник изображения: blog.google
RT-2 является первой моделью класса «зрение-язык-действие» (Vision-Language-Action — VLA). Она основана на архитектуре типа «Трансформер» и обучена на текстах и изображениях из интернета, а её ключевым преимуществом является преобразование данных в команды на выполнение определённых действий. Иными словами, отмечают в Google, она «говорит на языке роботов».
Традиционные методы обучения роботов являются чрезмерно трудоёмкими и дорогостоящими, а значит, они непрактичны для разработчиков — требуется ввод отдельных фрагментов данных по каждым объекту, среде, задаче и ситуации в реальном мире. Облегчить положение помогло внедрение модели машинного зрения PaLM-E, с которой роботы научились лучше ориентироваться в пространстве, а модель RT-1 показала, что роботы даже могут учиться друг у друга.
Нерешенной задачей до настоящего момента оставалось обучение конкретным действиям. Роботы уже могли пускаться в рассуждения высокого уровня, но не могли выполнять элементарных действий на низком. Иными словами, они думали о том, что хотят сделать, но не могли заставить собственное тело должным образом двигаться. Эту задачу решает модель RT-2 — она как единое целое обеспечивает работу алгоритмов рассуждений и управления действиями робота. Даже для задач, которые не входили в массив данных на этапе обучения.
К примеру, чтобы на традиционных алгоритмах научить робота выбрасывать мусор потребовалось бы сначала обучить робота явно идентифицировать мусор, а потом показать, как его взять и потом выбросить. Обученная на большом массиве данных модель RT-2 уже имеет представление о том, что такое мусор, а также о том, как его выбрасывать, хотя этому действию она никогда напрямую не обучалась. Она даже знакома с абстрактной природой мусора: пакет чипсов и банановая кожура становятся мусором, когда человек съел соответственно чипсы и банан — RT-2 понимает и это, что помогает ей выполнять поставленную задачу.
Инженеры Google сравнили эффективность моделей RT-1 и RT-2 в ходе более чем 6000 практических испытаний — новая система не уступает старой в очевидных задачах и показывает почти двухкратный рост эффективности при работе с незнакомыми в явном виде объектами и понятиями: 62 % успешных исходов против 32 % у RT-1.