Meta✴ намерена выпустить собственную коммерческую модель искусственного интеллекта, которая поможет стартапам и предприятиям разрабатывать на этой платформе собственное ПО, сообщает Financial Times со ссылкой на собственные источники. Тем самым гигант соцсетей станет полноценным конкурентом Google и дуэту Microsoft и OpenAI, которые лидируют на рынке генеративного ИИ.

Источник изображения: Gerd Altmann / pixabay.com

В начале года Meta✴ выпустила большую языковую модель LlaMA, предназначенную для исследователей, тогда как новая платформа будет предусматривать инструменты для корпоративных клиентов. Компания традиционно публикует исходные коды своих ИИ-моделей, что контрастирует с действиями конкурентов — данные и код GPT-4 от OpenAI третьим лицам недоступны. В Meta✴ же полагают, что «открытость — лучшее противоядие от окружающих ИИ страхов». Вице-президент и старший научный сотрудник в области ИИ в Meta✴ Ян ЛеКун (Yann LeCun) недавно заявил, что конкурентная среда в отрасли в корне изменится, когда выйдут платформы с открытым исходным кодом, которые так же хороши, что и закрытые.

Тем не менее даже при открытом и бесплатном характере новой платформы в Meta✴ рассматривают возможность взимать с корпоративных клиентов плату за её тонкую настройку и адаптацию под их потребности и наборы исходных данных. Но на старте проекта платных опций не предусматривается. Вице-президент Meta✴ по исследованиям в области ИИ Джоэль Пино (Joelle Pineau) добавила, что при выпуске проекта с открытым исходным кодом компания не отказывается от права интеллектуальной собственности на эту работу и уж тем более не скрывает намерения использовать эти модели в собственных продуктах. Недавно глава компании Марк Цукерберг (Mark Zuckerberg) намекнул, что технологии генеративного ИИ в том или ином виде появятся на ключевых платформах Meta✴: Facebook✴, Instagram✴ и WhatsApp.

Важнейшим преимуществом моделей с открытым исходным кодом является их широкое распространение среди пользователей — они вводят свои данные для обработки искусственным интеллектом, и чем обширнее доступный модели массив информации, тем мощнее становится эта модель. Кроме того, исследователи и разработчики имеют возможность выявлять и исправлять ошибки в платформах, повышая тем самым их безопасность. С одной стороны, стратегия выпуска бесплатных продуктов может показаться несовместимой с коммерческими целями разработчика, но, с другой, она помогает захватывать новые рынки.

В феврале основатель китайской поисковой службы Sogou (входит в Tencent) Ван Сяочуань (Wang Xiaochuan) написал в соцсети Weibo, что «Китаю нужна своя OpenAI». С реализацией плана предприниматель затягивать не стал — его стартап Baichuan Intelligence создал и выложил в открытый доступ большую языковую модель искусственного интеллекта Baichuan-13B.

Источник изображения: Gerd Altmann / pixabay.com

Baichuan считается одним из наиболее многообещающих китайских разработчиков больших языковых моделей — основателем компании является выпускник Университета Цинхуа, который создал поисковую службу Sogou, впоследствии поглощённую местным технологическим гигантом Tencent. Ван покинул Sogou в конце 2021 года. Когда платформа ChatGPT уже стала мировой сенсацией, бизнесмен запустил стартап Baichuan и оперативно собрал инвестиции на $50 млн.

Как следует из названия, обученная на китайском и английском большая языковая модель Baichuan-13B на архитектуре Transformer (она же лежит в основе GPT) имеет 13 млрд параметров — переменных, которые используются при генерации текста. Исходный код платформы выложен на GitHub и оптимизирован для коммерческого использования. Baichuan-13B обучена на 1,4 трлн токенов — для сравнения, модель Meta✴ LlaMa с теми же 13 млрд параметров была обучена на 1 трлн токенов.

Стартап Baichuan развивается с неимоверной скоростью. Открывшаяся в апреле компания к концу месяца расширила штат до 50 человек, а в июне опубликовала первую большую языковую модель Baichuan-7B с 7 млрд параметров. Новая Baichuan-13B доступна бесплатно для учёных и разработчиков, получивших разрешение на её использование в коммерческих целях. Стоит отметить, создатели учли введённые США антикитайские санкции, и модель можно запускать на системах с комплектующими потребительского класса, включая видеокарты NVIDIA GeForce RTX 3090.

В Китае выпущена первая национальная операционная система с открытым исходным кодом openKylin. Проект реализуется в рамках стратегии по сокращению зависимости страны от американских технологий.

Источник изображения: openkylin.top

ОС openKylin основана на ядре Linux — её созданием занималось сообщество из 4000 разработчиков. Платформа будет использоваться в китайской космической программе, а также в финансовой и энергетической отраслях страны. По итогам прошлого года объём рынка операционных систем в КНР составил 15,5 млрд юаней ($2,1 млрд), сообщает Reuters со ссылкой на отраслевой аналитический доклад.

Разработка ОС, в которой не используются американские решения, в последние годы значилась одной из важнейших целей китайской технологической отрасли — свой вклад в создание openKylin внесли многие организации и частные компании. Одним из активных участников стала Китайская группа реагирования на кибераварийные ситуации в промышленных системах управления — ведомство в подчинении Министерства промышленности и информатизации.

Параллельно более десятка китайских компаний разрабатывают собственные операционные системы, направленные на создание альтернатив Microsoft Windows и Apple macOS.

Партнёрство Tesla с прочими автопроизводителями, как следует из слов Илона Маска (Elon Musk), может не ограничиться предоставлением доступа к аппаратным разработкам и сети фирменных зарядных станций. Выступая вместе с главой Ford Motor Джимом Фарли (Jim Farley) на площадке Twitter Spaces, глава Tesla предположил, что откроет сторонним автопроизводителям доступ и к исходному коду программного обеспечения своей компании.

Источник изображения: Tesla

По крайней мере, в части операционной системы Tesla готова на такой шаг, как пояснил Маск: «Возможно, как в случае с Android, которая смогла стать общим стандартом в сегменте смартфонов, мы могли бы сделать доступ свободным к части своего исходного кода». Глава Tesla также выразил готовность оказать поддержку конкурирующей Ford в создании «полностью обновляемого программно транспортного средства», что Джим Фарли считает очень сложной задачей.

Глава Ford также выразил заинтересованность в использовании общих с Tesla поставщиков сырья для производства тяговых аккумуляторов. Компания Илона Маска не боится самостоятельно участвовать в профильной деятельности. По крайней мере, она собирается перерабатывать материалы для изготовления катодов на основе никеля, а вот участвовать в самостоятельном производстве анодов она не торопится, хотя и не исключает подобной возможности.

Маск в очередной раз выразил озабоченность тем, что предприниматели не торопятся заниматься добычей и переработкой сырья для тяговых батарей на территории США. Компания Tesla собирается тащить на себе ряд соответствующих инициатив, но от подобной инертности отрасли Илон Маск не в восторге. По его словам, рынок синтетического графита, который используется при производстве основной части анодов для литиевых аккумуляторов, также достаточно обширен.

Meta✴ объявила о разработке модели искусственного интеллекта с открытым кодом, которая способна обрабатывать шесть потоков данных: текст, звук, статическое и динамическое изображение (видео), температуру, информацию о глубине сцены, а также информацию о движении.

Источник изображения: Meta✴

ИИ-модель ImageBind пока представляет собой исследовательский проект, о возможном практическом применении которого пока не говорится ничего, но этот проект указывает на перспективы генеративных систем. Стоит также отметить, что Meta✴ упорно продолжает делиться своими разработками с общественностью, тогда как её конкуренты масштаба OpenAI и Google становятся всё более закрытыми.

Ключевая концепция исследования — объединение данных различных типов в многомерный индекс. Это своеобразное развитие идеи генеративных ИИ, которые сегодня доступны потребителю. К примеру, генераторы изображений вроде DALL-E, Stable Diffusion и Midjourney обучаются на сопоставлении текста и изображения, то есть двух типов данных: нейросеть ищет закономерности в визуальных данных, которые связываются с описаниями изображений. Это в итоге позволяет системам генерировать картинки по произвольным описаниям. Схожим образом работают генераторы аудио и видео.

Проект ImageBind — попытка поместить в единое пространство сразу шесть типов данных: визуальные, в том числе неподвижные картинки и видео; тепловые, то есть информацию от инфракрасных сенсоров; текст; звук; данные о глубине; данные о движении от инерциального измерительного блока (IMU) — такие используются в смартфонах и смарт-часах. Разработчики платформы пытаются обучить её работать с этими данными так же, как с текстом или изображениями. Обученная таким образом будущая система виртуальной реальности сможет генерировать целостные окружения: так, если попросить её сымитировать морское путешествие, она поместит пользователя на корабль с шумом волн на заднем плане, дополнив его раскачивающейся палубой и океанским бризом.

В перспективе инженеры Meta✴ предполагают и далее расширять потоки сенсорных данных, добавив «осязание, речь, обоняние и сигналы функциональной МРТ мозга». Машины же, в свою очередь, получат возможность самообучаться в реальном времени на информации в различных формах.

Россия в минувшем квартале возглавила список стран по росту числа загрузок ПО с открытым исходным кодом, гласят результаты исследования компании Scarf, которая осуществляет мониторинг около двух тысяч проектов свободного и открытого ПО (FOSS).

Источник изображений: about.scarf.sh

В I квартале 2023 года число загрузок FOSS в России выросло на 220 % по сравнению с предыдущим кварталом. Подобную динамику можно было бы объяснить санкциями и массовым уходом крупнейших разработчиков коммерческого ПО с российского рынка, однако все эти ограничительные меры возникли никак не в I квартале 2023 года, и главное — Россия не единственная продемонстрировала столь стремительный рост интереса к свободному ПО. Вслед за Россией его загрузки резко увеличились в Ирландии (рост на 190 %), Нидерландах (190 %) и Бельгии (140 %).

Среди корпоративных пользователей крупнейшим потребителем FOSS оказалась компания Oracle — за ней следуют Apple, Cisco и Microsoft, а замыкает пятёрку лидеров General Motors, первый из игроков промышленного сектора. В целом число предприятий, пользующихся свободным ПО, за квартал выросло на 18,5 %, хотя в абсолютно выражении число загрузок снизилось на 26 %. Это несоответствие аналитики связали с коммерческими проектами с открытым кодом и их тестированием. Число загрузок всеми корпоративными клиентами увеличилось на 60 % и составило 240 млн.

Калифорнийская Scarf позиционирует себя как Google Analytics в сегменте открытого ПО — компания отслеживает данные по двум тысячам проектов.

Стартап Stability AI, разработавший нейросеть Stable Diffusion с открытым кодом, способную генерировать изображения по текстовому запросу, выпустил набор ИИ-моделей StableLM с открытым исходным кодом, генерирующих текст и предназначенных для конкуренции с большими языковыми моделями, такими как GPT-4 компании OpenAI.

Источник изображения: Pixabay

Набор моделей StableLM с 3 и 7 млрд параметров, доступный в «альфа-версии» на платформах GitHub и Hugging Spaces, может генерировать текст и программный код, а также «демонстрировать, как небольшие и эффективные модели могут обеспечивать высокую производительность при соответствующем обучении».

«Языковые модели станут основой нашей цифровой экономики, и мы хотим, чтобы каждый имел право голоса при их разработке», — написала команда Stability AI в своём блоге на сайте компании.

Источник изображений: Stability AI

Набор StableLM обучался на новом экспериментальном массиве данных, построенном на The Pile, но в три раза большем, с 1,5 трлн токенов контента. Stability AI не сообщила, есть ли у моделей StableLM те же проблемы, что и у других языковых моделей, а именно склонность генерировать токсичные ответы на определённые вопросы и придумывать ложные факты. Но, учитывая, что The Pile содержит непристойные и довольно резкие выражения, это вполне может быть.

«Как это бывает с любой предварительно обученной большой языковой моделью без дополнительной тонкой настройки и обучения с подкреплением, ответы, которые получает пользователь, могут быть разного качества и потенциально могут включать оскорбительные выражения и взгляды, — написала Stability AI. — Ожидается, что это будет исправлено за счёт масштабирования, более качественных данных, отзывов сообщества и оптимизации».

Тем не менее, получившие настройку с использованием методики Alpaca, разработанной в Стэнфорде, на наборах данных с открытым исходным кодом, в том числе от стартапа AI Anthropic, модели StableLM ведут себя как ChatGPT, реагируя на поручения (иногда с юмором), такие, как «написать сопроводительное письмо для разработчика программного обеспечения» и «написать текст для эпической рэп-битвы».

Хотя некоторые эксперты подвергают критике модели с открытым исходным кодом, утверждая, что они могут использоваться в сомнительных целях, например, для создания фишинговых электронных писем или поддержки атак вредоносных программ. Но Stability AI утверждает, что открытый исходный код на самом деле является правильным подходом. «Открытый, детализированный доступ к нашим моделям позволяет широкому исследовательскому и академическому сообществу разрабатывать методы интерпретации и безопасности, выходящие за рамки того, что возможно с закрытыми моделями», — заявила компания.

Тем не менее, против Stability AI подан ряд судебных исков, в которых она обвиняется в нарушении авторских прав миллионов художников, так как разрабатывала Stable Diffusion с использованием изображений, защищённых правом на интеллектуальную собственность.