Meta✴ представила Toolformer, языковую модель ИИ, которая способна самостоятельно научиться использовать внешние инструменты, такие как поисковые системы, калькуляторы и календари, без ущерба её базовым возможностям языкового моделирования.
Источник изображения: Pixabay
То, что внешние инструменты можно добавить к языковой модели для повышения её производительности, не является чем-то новым. Новым в Toolformer является то, что система научилась делать это самостоятельно.
Во время обучения исследователи предоставили Toolformer небольшой набор примеров, демонстрирующих использование каждого API, а затем предложили составить перечень потенциальных вызовов API для большого массива данных языкового моделирования. Бот сделал это в режиме «самоконтроля», что означает способность учиться без необходимости в руководстве человека и обращения к большему набору инструментов.
Главным преимуществом ИИ-бота Toolformer является его способность использовать API, которые позволяют различным приложениям взаимодействовать друг с другом, часто бесшовным и автоматизированным образом. Более того, в зависимости от задачи Toolformer может самостоятельно «решать», какой инструмент необходимо использовать в данном случае и как его применить. Он также интегрирует результаты, полученные в процессе, в прогнозирование будущих случаев использования инструмента.
Предыдущие языковые модели нуждались в большом количестве аннотаций программистов или ограничивались использованием внешних инструментов под конкретные задачи. По словам исследователей, это являлось препятствием для их более широкого применения. В свою очередь, Toolformer может научиться использовать ряд инструментов в обобщённом виде и поэтому не требует специальной подготовки для выполнения конкретных задач.
Эта позволяет ИИ-боту использовать различные внешние программные инструменты, включая поисковые системы, калькуляторы, языковые переводчики и фактические ссылки. Например, как известно, большие языковые модели (LLM) «слабо разбираются» в арифметике. Toolformer может обойти это ограничение с помощью программы-калькулятора. Или, если необходимо, чтобы ассистент на основе LLM добавил дату в свой календарь, Toolformer сможет это сделать, используя ссылку API на приложение календаря.
Toolformer основан на предварительно обученной модели GPT-J с 6,7 млрд параметров. По данным исследователей, производительность Toolformer выше, чем у гораздо более крупной модели GPT-3, которая содержит 175 млрд параметров.