Новые исследования ставят под сомнение заявления Google о возможностях больших языковых моделей моделей Gemini по обработке больших объёмов данных, показывая, что их эффективность в анализе длинных текстов и видео значительно ниже заявленной.

Источник изображения: Google

Недавние исследования выявили существенные недостатки в работе флагманских генеративных моделей искусственного интеллекта Google Gemini 1.5 Pro и 1.5 Flash, пишет издание TechCrunch. Google неоднократно подчёркивала способность Gemini обрабатывать огромные объёмы данных благодаря большому контекстному окну, утверждая, что модели могут анализировать документы объёмом в сотни страниц и искать информацию в видеозаписях. Однако два независимых исследования показали, что на практике эти модели справляются с такими задачами гораздо хуже.

Учёные из Массачусетского университета в Амхерсте (UMass Amherst), Института Аллена по искусственному интеллекту (Allen Institute for AI) и Принстона (Princeton University) тестировали Gemini на способность отвечать на вопросы о содержании художественных книг. Представленная для теста книга содержала около 260 000 слов (около 520 страниц). Результаты оказались неутешительными. Gemini 1.5 Pro правильно ответил только в 46,7 % случаев, а Gemini 1.5 Flash лишь в 20 % случаев. Далее усреднив результаты, выяснилось, что ни одна из моделей не смогла достичь точности ответов на вопросы выше случайной.

Маржена Карпинска (Marzena Karpinska), соавтор исследования, отметила: «Хотя такие модели, как Gemini 1.5 Pro, технически могут обрабатывать длинные контексты, мы видели много случаев, указывающих на то, что модели на самом деле не понимают содержание».

Второе исследование, проведённое учёными из Калифорнийского университета в Санта-Барбаре, фокусировалось на способности Gemini 1.5 Flash анализировать видеоконтент, а точнее слайды с изображениями. Результаты также оказались неудовлетворительными — из 25 изображений ИИ дал правильные ответы только в половине случаев, а при увеличении количества картинок точность ответов понизилась до 30 %, что ставит под сомнение эффективность модели в работе с мультимедийными данными.

Правда отмечается, что ни одно из исследований не прошло процесс рецензирования, и к тому же не тестировались самые последние версии моделей с контекстом в 2 миллиона токенов. Тем не менее, полученные результаты вызывают серьёзные вопросы в отношении реальных возможностей генеративных моделей ИИ в целом, и о том, насколько обоснованы маркетинговые заявления технологических гигантов.

Данные исследования появились на фоне растущего скептицизма в отношении генеративного ИИ. Так, недавние опросы международной консалтинговой компании Boston Consulting Group показали, что около половины опрошенных руководителей высшего звена не ожидают существенного повышения производительности от использования генеративного ИИ и обеспокоены возможными ошибками и проблемами с безопасностью данных.

Эксперты же призывают к разработке более объективных критериев оценки возможностей ИИ и к большему вниманию и независимой критике. Google пока не прокомментировал результаты этих исследований.

Исследователи провели эксперимент, который показал, что ИИ способен успешно сдавать университетские экзамены, оставаясь при этом незамеченным специальными программами. Экзаменационные работы ChatGPT получили более высокие оценки, чем работы студентов, пишет издание Ars Technica.

Источник изображения: Headway/Unsplash

Команда учёных из Редингского университета в Англии (University of Reading) под руководством Питера Скарфа (Peter Scarfe) провела масштабный эксперимент, чтобы проверить, насколько эффективно современные системы искусственного интеллекта могут справляться с университетскими экзаменами. Исследователи создали более 30 фиктивных учётных записей студентов-психологов и использовали их для сдачи экзаменов, используя ответы, сгенерированные ChatGPT. Эксперимент охватил пять модулей бакалавриата по психологии, включая задания для всех трёх лет обучения.

Результаты оказались ошеломляющими — 94 % работ, созданных ИИ, остались незамеченными экзаменаторами. Более того, почти 84 % этих работ получили более высокие оценки, чем работы студентов-людей, в среднем на полбалла выше. «Экзаменаторы были весьма удивлены результатами», — отметил Скарф. Причём интересно, что некоторые работы ИИ были обнаружены не из-за их роботизированности, а из-за слишком высокого качества.

Эксперимент также выявил ограничения существующих систем обнаружения контента, созданного ИИ. По словам Скарфа, такие инструменты, как GPTZero от Open AI и система Turnitin, показывают хорошие результаты в лабораторных условиях, но их эффективность значительно снижается в реальной жизненной ситуации. Однако не все результаты были в пользу ИИ. На последнем курсе, где требовалось более глубокое понимание и сложные аналитические навыки, студенты-люди показали лучшие результаты, чем ChatGPT.

Скарф подчеркнул, что ввиду постоянного совершенствования ИИ и отсутствия надёжных способов обнаружения его использования, университетам придётся адаптироваться и интегрировать ИИ в образовательный процесс. «Роль современного университета заключается в подготовке студентов к профессиональной карьере, и реальность такова, что после окончания учёбы они, несомненно, будут использовать различные инструменты искусственного интеллекта», — заключил исследователь. Данный эксперимент, по сути, поднимает проблему, которая уже сегодня требует пересмотра существующих методов обучения и экзаменации.

Google разрабатывает технологию создания персонализированных чат-ботов, с которыми можно общаться как с реальными людьми или вымышленными персонажами. Пользователи смогут создавать собственных ботов, настраивая их стиль общения и характер.

Источник изображения: Google

По данным The Information, подразделение Google Labs разрабатывает продукт для создания и общения с настраиваемыми чат-ботами, которые могут быть смоделированы на основе знаменитостей или созданы непосредственно самими пользователями. Чат-боты будут построены на основе моделей Gemini и позволят задавать их индивидуальную личность, а также внешний вид виртуального собеседника. Google рассматривает возможность официального сотрудничества с инфлюенсерами для создания ботов на их основе.

Учитывая возможности ИИ-моделей по работе с большими объёмами данных, проект отлично впишется в концепцию Google Labs и может быть запущен уже в этом году в качестве отдельного продукта. В перспективе планируется интегрировать этот продукт в YouTube, что даст пользователям возможность общаться с персонализированными чат-ботами прямо на платформе видеохостинга. Это будет эксперимент, который уже предлагает Meta✴ в Instagram✴, правда, не вызывая пока особого интереса со стороны пользователей.

Отметим, что новый проект отличается от проекта Gems, который является просто кастомизированной версией Gemini для определённых нужд. Например, в Gemini Gems по умолчанию будет тренер по йоге, репетитор по математике и кулинарный гуру. А чтобы создать собственного личного помощника, придётся купить подписку Gemini Advanced. Gems был анонсирован на конференции Google I/O 2024 в мае и станет доступен широкой аудитории в ближайшее время.

Компания Anthropic, разработчик больших языковых моделей и ИИ-чат-бота Claude, анонсировал и сразу же запустил новую большую языковую модель Claude 3.5 Sonnet. По заявлению компании, эта нейросеть может сравниться или даже превзойти по возможностям GPT-4o от OpenAI и Gemini от Google. Новинка, как и её предшественница Claude 3 Sonnet, доступна как платным, так и бесплатным пользователям чат-бота Claude.

Источник изображения: Anthropic

Как пишет The Verge, Claude 3.5 Sonnet является улучшенной версией предыдущей модели Claude 3 Opus, выпущенной всего несколько месяцев назад и прежде доступной лишь платным подписчикам Claude. Новая модель работает в два раза быстрее и показывает значительно лучшие результаты в различных задачах, включая написание программного кода, работу с большими запросами, интерпретацию диаграмм и графиков. Новая нейросеть теперь является стандартной для чат-бота Claude и доступна как платным, так и бесплатным пользователям. Фактически, это ответ на GPT-4o, на которой сейчас построен ChatGPT, в том числе в бесплатной версии.

Согласно результатам тестирования, проведённого Anthropic, Claude 3.5 Sonnet превзошла модели GPT-4o, Gemini 1.5 Pro и Llama 3 400B от Meta✴ в 7 из 9 общих тестов производительности. В задачах распознавания изображений новая модель Anthropic также показала лучшие результаты.

Источник изображения: Anthropic

Помимо новой модели, в приложение Claude была добавлена функция Artifacts. Она позволяет пользователям видеть и редактировать результаты запросов к ИИ прямо в интерфейсе приложения. Например, если Claude сгенерирует текст электронного письма, пользователь сможет отредактировать его, не копируя и не вставляя в другую программу. По словам разработчиков, функция Artifacts — это часть их стремления превратить Claude в единую платформу для хранения знаний и выполнения рабочих задач с использованием возможностей ИИ. Это отличает подход Anthropic от других компаний, сосредоточенных в основном на развитии чат-ботов.

Как видно, конкурентная гонка в области ИИ продолжается. За последние месяцы как Anthropic, так и её основные конкуренты — OpenAI и Google — несколько раз выпускали улучшенные версии своих моделей. При этом каждый новый релиз демонстрирует значительный прогресс. Новая модель уже доступна зарегистрированным пользователям Claude в web и на iOS, а также для разработчиков.

Компания Google объявила о планах по интеграции значительной части технологического стека Android в операционную систему ChromeOS. Это необходимо для более быстрого внедрения инноваций, связанных с искусственным интеллектом, а также предоставлением пользователям больше новых функций.

Источник изображения: Copilot

Отмечается, что внедрение технологий Android в ChromeOS позволит Google ускорить темпы инноваций в области искусственного интеллекта, упростить инженерные работы и улучшить взаимодействие между различными устройствами, такими как смартфоны и аксессуары, с ноутбуками Chromebook. При этом компания заверяет, что будет сохранена высокая безопасность, единый пользовательский интерфейс и широкие возможности управления, которые так ценят пользователи ChromeOS, предприятия и учебные заведения.

Процесс интеграции уже начался, но потребуется некоторое время, прежде чем эти улучшения станут доступными для конечных пользователей. Google обещает обеспечить плавный переход на обновлённый интерфейс и подчёркивает, что внедрение новых технологий не повлияет на регулярные обновления программного обеспечения ChromeOS, которые будут выпускаться в рабочем порядке.

За 13 лет существования ChromeOS компания Google смогла предоставить безопасную, быструю и многофункциональную операционную систему для миллионов пользователей по всему миру. А недавние объявления о новых функциях на базе Google AI и Gemini открывают новые возможности для предоставления мощных инструментов искусственного интеллекта большему количеству людей для помощи в повседневных задачах.

В октябре прошлого года муниципальные органы власти Нью-Йорка запустили на официальном портале MyCity чат-бота на основе искусственного интеллекта (ИИ), разработанного с использованием платформы Azure AI корпорации Microsoft. Этот инструмент был задуман как средство быстрого доступа к необходимой информации для местного бизнеса. Несмотря на благие намерения, сервис столкнулся с серьёзной проблемой недостоверности предоставляемых данных.

Источник изображения: AMRULQAYS / Pixabay

По результатам проверки, проведённой аналитиками из The Markup, выяснилось, что ИИ-чат-бот даёт неверную информацию по широкому спектру вопросов, затрагивающих жилищную политику и права работников. В частности, на вопрос о возможности отказа от наличных расчётов в магазине чат-бот ответил утвердительно, несмотря на то, что законодательство Нью-Йорка запретило практику полностью безналичных расчётов в магазинах ещё в 2020 году.

Система также неверно информировала пользователей о требованиях к арендодателям относительно принятия ваучеров Section 8 и о законности удержания чаевых работодателями. Особенно тревожным является факт, что при повторных запросах на один и тот же вопрос нью-йоркский чат-бот мог давать разные ответы, что свидетельствует о недостаточной надёжности системы в целом.

Чат-бот функционирует на основе ИИ, разработанного Microsoft и используемого в широком спектре приложений, включая сервисы таких компаний, как Reddit и AT&T. Нестабильность ответов, предоставляемых чат-ботом, подчёркивает необходимость всестороннего тестирования ИИ-систем перед их внедрением в общественные сервисы, чтобы обеспечить их способность предоставлять актуальную и точную информацию.

Компания xAI под руководством Илона Маска (Elon Musk), специализирующаяся на разработке искусственного интеллекта (ИИ), объявила об официальном открытии исходного кода своей большой языковой модели (LLM) Grok-1. Это решение, анонсированное Маском за несколько дней до публикации, стало значимым шагом в сторону увеличения прозрачности и доступности ИИ.

Источник изображения: xAI

В прошлый понедельник Маск пообещал открыть исходный код своего саркастичного и раскованного ИИ-чат-бота Grok, и уже в воскресенье компания xAI выполнила это обещание. «Мы рады представить базовые веса и архитектуру Grok-1, нашей передовой языковой модели», — сообщила xAI на своём официальном сайте. Grok-1 является моделью на основе метода «Смешение экспертов» (Mixture-of-Experts) с архитектурой, включающей 314 млрд параметров, разработанной с нуля командой xAI.

Опубликованная модель Grok-1 представляет собой неадаптированный базовый набор данных из стадии предварительного обучения, завершившейся в октябре 2023 года. Это означает, что модель не была дополнительно настроена под конкретные задачи, такие как ведение диалогов. xAI обеспечивает доступ к модели под лицензией Apache 2.0, что подчёркивает её стремление к поддержке открытых исследований в области ИИ.

На социальной платформе X аккаунт Grok, реагируя на заявление Маска об открытом доступе к коду Grok, сделал шутливое замечание о разглашении своих «весов», что спровоцировало добродушный диалог с аккаунтом ChatGPT. В ответ на эту перепалку, Маск поинтересовался, насколько OpenAI соответствует своему названию «открытый ИИ», тем самым подчеркнув вопрос прозрачности в сфере ИИ.

В январе текущего года Маск опроверг слухи о том, что xAI ищет инвестиции, уточнив, что не проводил никаких переговоров по этому вопросу. Основав xAI в июле прошлого года как конкурента OpenAI и другим компаниям в этой сфере, Маск уже в ноябре запустил ИИ-чат-бота Grok, намереваясь изменить текущий ландшафт ИИ-индустрии.

Решение об открытии исходного кода Grok последовало за критикой Маска в адрес OpenAI — стартапа, в создании которого он когда-то участвовал. Он также обратился в суд с иском против OpenAI и её сооснователей — Сэма Альтмана (Sam Altman) и Грега Брокмана (Greg Brockman), обвинив их в отступлении от изначальных целей стартапа, выборе пути коммерциализации и закрытости, особенно после того, как OpenAI привлекла инвестиции корпорации Microsoft на сумму $1 млрд в 2019 году и $10 млрд в 2023 году. В ответ на эти обвинения OpenAI заявила, что Маск поддержал переход OpenAI на коммерческие рельсы ещё в 2015 году.

Открытие исходного кода ИИ-чат-бота Grok компании xAI знаменует новый этап в развитии сферы ИИ, акцентируя внимание на важности открытости и доступности передовых технологий для всего человечества. Этот шаг не только способствует усилению исследовательской работы, но и поднимает вопросы о будущем коммерциализации и этичности в индустрии ИИ, выдвигая xAI и Маска в качестве ключевых игроков в диалоге о будущем этой технологии.

В ближайшие несколько дней ИИ-бота Google Bard ждут большие перемены. Данные журнала изменений (changelog) говорят о том, что разработчики намерены переименовать чат-бота в Gemini, а также выпустить отдельное Android-приложение, позволяющее взаимодействовать с нейросетью.

Источник изображения: 9to5google.com

Последние несколько месяцев Google активно развивает своего ИИ-бота. Одно из важных изменений произошло в конце прошлого года, когда основой Bard стала большая языковая модель Gemini. Не так давно алгоритм получил возможность генерации изображений по текстовому описанию. Однако разработчики не намерены останавливаться на достигнутом, и вскоре Bard ждут новые изменения. По данным источника, уже на следующей неделе Bard будет официально переименован в Gemini. Этот шаг выглядит вполне логичным, поскольку с недавних пор именно продвинутая языковая модель Gemini Pro является основой чат-бота Google.

Данные журнала изменений указывают на то, что продвинутая версия ИИ-бота Gemini Advanced станет доступна с 7 февраля. Основой Gemini Advanced выступает продвинутая языковая модель Gemini Ultra, а для взаимодействия с этой версией ИИ-бота придётся оформлять платную подписку. В журнале изменений Google прямо указывает на то, что это платный продукт, и он будет развиваться за счёт интеграции дополнительных функций, которые не будут доступны в базовой версии алгоритма.

В дополнение к этому Google выпустит отдельное Android-приложение Gemini, с помощью которого можно взаимодействовать с ботом на мобильных устройствах. Несмотря на то, что ИИ-бот уже интегрирован в разные приложения Google, такие как Gmail и YouTube, все возможности Gemini будут раскрыты в отдельном приложении. Пользователи устройств с iOS, которые хотят взаимодействовать с ИИ-ботом Gemini, смогут сделать это посредством приложения Google.

Компания Microsoft хочет, чтобы 2024-й стал «годом ПК с искусственным интеллектом» и прикладывает к этому немало усилий. Например, софтверный гигант объявил о намерении интегрировать новую клавишу Copilot на клавиатуры для ноутбуков и компьютеров с Windows. Она позволит пользователям буквально одним нажатием начинать взаимодействие с ИИ-помощником.

Источник изображения: Microsoft

Клавиша Copilot — это первое существенное изменение в раскладке клавиатуры для компьютеров с Windows почти за три десятилетия. «Почти 30 лет назад мы представили клавишу Windows на клавиатуре для ПК, которая позволила людям по всему миру взаимодействовать с Windows. Мы рассматриваем это как ещё один преобразующий момент в нашем путешествии с Windows, где Copilot станет точкой входа в мир искусственного интеллекта на ПК», — рассказал Юсуф Мехди (Yusuf Mehdi), вице-президент и директор по потребительскому маркетингу Microsoft.

Новая клавиша Copilot заменит клавишу меню, которая на большинстве клавиатур располагается рядом с правым Alt. Нажатие этой клавиши запустит встроенного в Windows 11 ИИ-помощника, который запускается в стиле чат-бота ChatGPT и может отвечать на разные вопросы, а также выполнять некоторые действия внутри Windows. Если Copilot ещё не доступен в регионе проживания пользователя, то нажатие клавиши Copilot будет запускать поиск Windows. На данный момент неизвестно, можно ли будет использовать клавишу Copilot в сочетании с другими клавишами аналогично тому, как это происходит с клавишей Windows.

Microsoft не уточнила, какие именно OEM-производители начнут выпускать клавиатуры с клавишей Copilot, оставляя это объявление для выставки CES 2024, которая пройдёт на следующей неделе в Лас-Вегасе. При этом Мехди отметил, что клавиша Copilot в ближайшее время появится в «новых ПК с Windows 11 от наших партнёров по экосистеме», а также в устройствах Surface.

Google объявила о переносе запуска своей новейшей ИИ-системы Gemini на январь 2024 года. Изначально планировалось, что запуск ответа нейросети GPT-4 состоится на следующей неделе. Это решение связано с необходимостью доработки нейросети для лучшей работы с неанглоязычными запросами.

Источник изображения: geralt / Pixabay

На ежегодной конференции I/O 2023 корпорация Google анонсировала свою новейшую ИИ-модель Gemini, в работе над которой принимал участие соучредитель Google и холдинга Alphabet Сергей Брин (Sergey Brin). По информации издания The Information, компания планировала представить Gemini уже на следующей неделе в рамках мероприятий в Калифорнии, Нью-Йорке и Вашингтоне, ориентированных на политиков и законодателей. Однако теперь запуск нейросети отложен до января следующего года.

Решение о переносе запуска новаторской ИИ-системы принял генеральный директор Google, Сундар Пичаи (Sundar Pichai). Причиной стала недостаточно надёжная работа Gemini с запросами на языках, отличных от английского. Поддержка многоязычности является приоритетом для Google, так как она стремится достичь и даже превзойти уровень ИИ-модели GPT-4 компании OpenAI. По словам источников, в некоторых аспектах Google уже достигла этого стандарта. В ноябре Пичаи заявил, что Google сосредоточена на скорейшем выпуске Gemini 1.0, стремясь к созданию конкурентоспособного и передового продукта. Однако на текущий момент компания все ещё работает над финальной версией Gemini.

Ранее в рамках конференции I/O 2023 корпорация Google отметила, что Gemini будет обладать впечатляющими мультимодальными способностями, превосходящими возможности предыдущих ИИ-моделей. Кроме понимания текста и изображений, Gemini будет нацелена на эффективную интеграцию с API и другими инструментами, что сделает её привлекательной для разработчиков различных приложений. Google также сообщила о разработке нескольких вариантов Gemini, включая мобильную версию Gecko, и подчеркнула, что Gemini создана для поддержки будущих инноваций, включая функции памяти и планирования.

Вопрос о том, как быстро Gemini будет интегрирована в такие сервисы Google, как Bard, Поиск и Workspace, пока остаётся открытым.

Компания Discord, широко известная в кругах игровых сообществ, объявила о прекращении работы своего экспериментального ИИ-чат-бота Clyde. Он был создан на основе ChatGPT и предназначался для интерактивной помощи пользователям. С 1 декабря пользователи не смогут обращаться к Clyde в личных сообщениях, групповых чатах и на игровых серверах.

Источник изображения: B_Zocholl / Pixabay

Clyde был запущен в начале текущего года и представлял собой экспериментальный проект, основанный на последних разработках в области ИИ. Чат-бот предоставлял возможность вести беседы и отвечать на вопросы пользователей, тем самым расширяя функциональность платформы Discord.

Причины закрытия Clyde остаются неясными. Однако есть предположение, что в будущем Clyde может вернуться как эксклюзивная функция для подписчиков платного сервиса Nitro. Также возможно, что Discord решила, что на основе проведённого тестирования ИИ чат-бот не является необходимой частью сервиса.

В Discord ведутся эксперименты с различными функциями ИИ, в том числе с создаваемыми ИИ резюме разговоров. Это позволяет пользователям Discord наверстать упущенное в общении, что особенно полезно для серверов, расположенных в разных часовых поясах. Discord также пытается позиционировать свою платформу как дом для разработчиков ИИ, выделяя средства и ресурсы для помощи разработчикам в создании ИИ-приложений для Discord.

На этой неделе владелец соцсети X Илон Маск (Elon Musk) объявил, что её платные подписчики получат ранний доступ к ИИ-боту Grok от xAI, который позиционируется как конкурент OpenAI ChatGPT. В дополнение к этому на официальном сайте xAI разработчики рассказали о преимуществах нового алгоритма, а также опубликовали данные по результатам тестирования собственной нейросети в ИИ-бенчмарках.

Источник изображений: xAI

«Grok — это искусственный интеллект, созданный по образцу путеводителя «Автостопом по галактике» и предназначенный для того, чтобы отвечать практически на всё и, что гораздо сложнее, даже подсказывать, какие вопросы задавать! Grok создан для того, чтобы остроумно отвечать на вопросы, и у него есть бунтарская жилка, поэтому, пожалуйста, не используйте его, если ненавидите юмор», — говорится в сообщении разработчиков.

Чат-бот xAI визуально напоминает аналогичные продукты других разработчиков. Для взаимодействия с ним предлагается использовать соответствующее поле для формирования запросов. По словам разработчиков, главное преимущество Grok заключается в том, что он способен ответить практически на любой вопрос благодаря доступу к данным соцсети X в режиме онлайн.

Разработка алгоритма началась с создания прототипа большой языковой модели (LLM) Grok-0 с 33 млрд параметров. Эта тестовая модель по своим возможностям сопоставима с показателями LLaMA 2 от Meta✴ Platforms в стандартных тестах, но использует при этом только половину своих обучающих ресурсов. За последние два месяца разработчики сумели добиться существенных улучшений в плане возможностей логического анализа и кодирования, что привело к созданию значительно более мощной языковой модели Grok-1.

Результаты дальнейшего тестирования LLM при выполнении разных задач были сопоставлены с результатами других подобных алгоритмов. Разработчики проверили возможности Grok-1 при решении математических задач для средней школы (GSM8k), ответах на вопросы разной тематики с множественным выбором (MMLU), а также решении задач по написанию кода на Python и задач по математике для старшей школы.

На данном этапе оценить преимущества и недостатки ИИ-бота Grok могут некоторые премиальные подписчики платформы X. Когда алгоритм получит более широкое распространение, пока неизвестно.