реклама
Теги → openai
Быстрый переход

Siri может поумнеть с помощью ИИ OpenAI или Anthropic — у Apple не получается обучить достойный ИИ самостоятельно

Apple изучает возможность развернуть новые функции умного голосового помощника Siri на основе платформ искусственного интеллекта от Anthropic или OpenAI, а не моделей собственной разработки. Об этом сообщил аналитик Bloomberg Марк Гурман (Mark Gurman) со ссылкой на собственные источники.

 Источник изображений: apple.com

Источник изображений: apple.com

Компания уже обратилась по этому вопросу, и к Anthropic, и к OpenAI, попросив потенциальных партнёров обучить для неё спецверсии своих моделей, которые могли бы при тестировании запускаться в облачной инфраструктуре Apple. Если производитель продолжит работать в данном направлении, это будет означать радикальную смену стратегии: большинство предлагаемых ею функций ИИ для пользователей основаны на семействе собственных решений Apple Foundation Models. Выход «поумневшего» варианта Siri пока намечен на 2026 год, и перевод голосового помощника на модели Anthropic Claude или OpenAI ChatGPT будет означать, что Apple по-настоящему вступила в гонку в области генеративного ИИ — важнейшей новой технологии за последние десятилетия. Siri и сейчас обрабатывает поисковые запросы в интернете через ChatGPT, но основные функции голосового помощника основаны на собственных решениях Apple.

Умный ассистент Siri появился в 2011 году, и к настоящему моменту он в значительной мере отстал от популярных чат-ботов с ИИ, а попытки компании выпустить его обновлённый вариант пока провалились — этому помешали технические проблемы и задержки. Первоначально Apple планировала представить «поумневший» вариант Siri в начале 2025 года, но впоследствии отложила его выход на неопределённый срок. Работа над проектом по изучению возможности интегрировать сторонние модели в Siri только началась, и окончательного решения об их применении ещё не принято; альтернативный проект LLM Siri на основе собственных моделей Apple находится в активной разработке, отмечают источники Bloomberg.

Вопрос интеграции сторонних систем ИИ инициирован главой отдела Siri Майком Роквеллом (Mike Rockwell) и главой отдела разработки ПО Крейгом Федериги (Craig Federighi) — им поручили вплотную заняться Siri после того, как из-за задержек с должности сняли бывшего руководителя отдела ИИ Джона Джаннандреа (John Giannandrea). Роквелл, ранее отвечавший за гарнитуру Vision Pro, возглавил направление Siri в марте. Вступив в должность, он поручил новым подчинённым оценить, будет ли голосовой помощник лучше обрабатывать запросы, если лежащие в его основе модели Apple заменить на сторонние, такие как Anthropic Claude, OpenAI ChatGPT или Google Gemini. Проведя несколько раундов тестирования, Роквелл и другие руководители компании пришли к выводу, что наиболее перспективной для нужд Siri представляется технология от Anthropic. В результате вице-президент Apple Адриан Перика (Adrian Perica) начал с Anthropic переговоры на предмет использования Claude.

Отдел ИИ в Apple работает в условиях неопределённости, утверждают источники Bloomberg, а руководство компании продолжает изучать, в каких направлениях она будет двигаться дальше. На 2026 год уже утверждён многомиллиардный бюджет, предполагающий запуск в облаке собственных моделей Apple, но ясность относительно планов компании на будущее до сих пор отсутствует. Федериги, Роквелл и другие руководители всё больше склоняются, что в краткосрочной перспективе сторонние решения представляются оптимальным вариантом. Они не видят для Apple необходимости использовать с Siri собственные модели, которые считают неполноценными, когда можно наладить сотрудничество со сторонними разработчиками. Тем более, что этот подход практикуют и другие компании: приложения пакета Samsung Galaxy AI работают на моделях Google Gemini, а «поумневший» голосовой помощник Amazon Alexa+ основан на технологиях Anthropic.

В будущем, улучшив собственные технологии, Apple станет использовать модели ИИ, на которые у неё есть право собственности, учитывая, насколько это важно для работы конечных продуктов. Сейчас она, в частности, проектирует настольного робота и умные очки, которые будут активно использовать ИИ. В стремлении улучшить свои позиции в этой области она рассматривала возможность поглощения компании Perplexity и провела краткие переговоры с Thinking Machines Lab — стартапом, основанным бывшим техническим директором OpenAI Мирой Мурати (Mira Murati).

Разработку собственных моделей Apple ведёт отдел численностью около сотни человек, а руководит им выдающийся инженер Жомин Пан (Ruoming Pang), который в 2021 году пришёл в компанию из Google, и он всё ещё находится в опосредованном подчинении у Джаннандреа. В отделе вероятное решение руководства об интеграции сторонних моделей ИИ в продукты компании восприняли с недовольством. Это, по их мнению, создаёт впечатление, что в неудачах Apple в области ИИ виноваты, хотя бы отчасти, и они. Некоторые стали даже задумываться об уходе в Meta и OpenAI — первая предложила некоторым особо талантливым инженерами зарплаты в размере от $10 млн до $40 млн, тогда как в Apple они получают половину или даже меньше от средней по рынку суммы. На прошлой неделе компанию покинул один из старших научных сотрудников в области больших языковых моделей Том Гюнтер (Tom Gunter), проработавший здесь восемь лет. Производитель также едва не лишился отдела, ответственного за MLX — открытую систему для разработки моделей машинного обучения на новейших чипах Apple. Инженеры пригрозили руководству уходом, и то выдвинуло им встречные предложения, чтобы их удержать — на данный момент они продолжают работать.

В ходе переговоров в Anthropic и OpenAI производитель iPhone запросил спецверсии Claude и ChatGPT, способные работать на серверах Apple Private Cloud Compute. В этих серверах используются высокопроизводительные чипы Mac — Apple считает, что запуск моделей в её собственной инфраструктуре поможет ей защитить конфиденциальность пользователей. Компания даже провела внутренние испытания, чтобы убедиться в осуществимости этой идеи. Другим функциям Apple Intelligence достаточно и ресурсов на пользовательских устройствах — менее мощные модели используются для таких задач как составление сводок переписки и создание изображений Genmoji. В этом году компания намеревается открыть доступ к локальным моделям разработчикам сторонних приложений, но об облачных ресурсах в условиях неопределённости речи ещё не идёт.

От локальных моделей ИИ собственной разработки Apple отказываться пока не намерена, но инженеры компании опасаются, что вслед за сторонними облачными системами ИИ она может задуматься и о локальных. OpenAI в прошлом году уже предлагала Apple обучить модели для запуска на её устройствах, но тогда производитель интереса к этому не проявил. С декабря 2024 года ChatGPT используется для поиска информации для Siri и написания текста в рамках функции Writing Tools; в iOS 26 платформа ChatGPT будет применяться для генерации картинок и анализа изображений на экране устройства. Apple и Anthropic пока не удалось договориться о финансовой стороне сотрудничества — стартап запросил многомиллиардную ежегодную плату, которая росла бы каждый год. Поэтому Apple задумалась о сотрудничестве с OpenAI или другими компаниями, если стратегию о привлечении сторонних разработчиков примут к реализации.

Если Apple заключит такое партнёрское соглашение, влияние Джаннандреа, который в 2018 году перешёл в Apple из Google, и который выступает сторонником разработки собственных моделей ИИ, продолжит сокращаться. К настоящему моменту его отстранили от работы с Siri и от направления по робототехнике; в подчинение к Федериги перешли отделы Core ML и App Intents — фреймворков для интеграции функций ИИ в приложения. Проект по созданию большой языковой модели, помогающей при разработке кода в среде Xcode, был закрыт — теперь эта функция будет работать на основе ChatGPT или Claude.

OpenAI пока не готова активно использовать ускорители Google в своей инфраструктуре

В минувшую субботу стало известно об экспериментах OpenAI по использованию ускорителей Google серии TPU для вычислений, связанных с формированием логических выводов, тогда как исторически для этого применялись в основном изделия Nvidia. Представители OpenAI поспешили заверить Reuters, что планов по масштабному внедрению TPU у этого стартапа пока нет.

 Источник изображения: Google Cloud

Источник изображения: Google Cloud

При этом, как отмечает Reuters, представители OpenAI не отрицают, что начали экспериментировать с ускорителями Google, но тестирование находится на ранней стадии и не подразумевает скорого и активного масштабирования. На этом пути способны возникнуть серьёзные барьеры в виде длительной адаптации программного обеспечения под особенности архитектуры конкретных вычислительных компонентов. Основная часть вычислений и далее будет производиться OpenAI с использованием ускорителей AMD и Nvidia. Более того, ранее сообщалось, что OpenAI занимается разработкой собственных чипов для ускорителей ИИ, и уже в этом году рассчитывает получить готовый к массовому производству цифровой проект.

В тоже время, готовность Google предлагать свои ускорители сторонним клиентам говорит о смене вектора в политике компании. К ним уже присоединились Apple, а также стартапы Anthropic и Safe Superintelligence. Два последних были основаны выходцами из OpenAI, поэтому тенденция может считаться достаточно распространённой. Другое дело, что непосредственно OpenAI существенных надежд с применением ускорителей Google пока не связывает.

Руководство OpenAI признало, что конкуренция за ценные кадры вынуждает его шевелиться

По некоторым данным, конкурирующая Meta предлагала ценным специалистам OpenAI за переход в состав своей команды бонусы в размере до $100 млн, и если судить по результатам подобной активности, коллектив исследователей второй из компаний понёс потери. Руководство OpenAI озабочено этим процессом и утверждает, что не сидит сложа руки.

 Источник изображения: OpenAI

Источник изображения: OpenAI

По крайней мере, такое впечатление можно сформировать по итогам изучения внутренней рассылки OpenAI, которую изучило издание Wired. Автором обращения к сотрудникам оказался Марк Чэнь (Mark Chen), являющийся директором OpenAI по исследованиям. Он признался, что переживает по поводу произошедших кадровых утечек, ощущая, «как будто кто-то ворвался в наш дом и что-то украл». При этом, как подчеркнул представитель руководства, OpenAI не сидит сложа руки и готово активно противодействовать данным процессам.

Сотрудники OpenAI, получившие конкурентные предложения, вовлекаются в процесс переговоров с руководством компании, и оно очень активно старается «перекалибровать конкуренцию» на рынке труда в этой сфере. Разрабатываются новые методы поощрения самых ценных специалистов. При этом сам Марк Чэнь старается оставаться откровенным и честным, не давая сотрудникам OpenAI несбыточных обещаний, а также не выделяя чрезмерно конкретных специалистов по уровню вознаграждения на фоне прочих.

Как признался Чэнь, на протяжении прошлого месяца Meta весьма агрессивно формировала свою команду в сфере ИИ, и неоднократно, хотя и по большей части безуспешно, пыталась переманить наших ведущих специалистов за счёт серьёзных компенсационных пакетов. Прочие источники пояснили Wired, что Meta в отношении вербовки персонала больше сосредоточена на Google и OpenAI, а вот корпоративная культура Anthropic меньше походит на существующую в Meta, поэтому и попыток привлечь персонал из этого стартапа предпринимается меньше.

Руководство OpenAI в своём обращении к сотрудникам использовало доводы, предоставленные семью крупными исследователями. Они были направлены на мотивацию сотрудников OpenAI отвергать предложения о переходе к конкурентам, особенно сопровождающиеся психологическим давлением. Это было сделано в преддверии корпоративного отпуска, который продлится неделю, поскольку OpenAI старается дать персоналу возможность восстановиться после напряжённой работы, которая может измеряться 80 часами в неделю. Meta явно воспользуется этой возможностью для переманивания персонала, поэтому руководство OpenAI подчёркивает, что готово обсуждать вопросы с сотрудниками даже во внеурочное время.

В то же время, OpenAI старается перейти от концентрации на регулярном выпуске новых языковых моделей к более долгосрочному планированию, связанному с разработкой «сильного» искусственного интеллекта (AGI), по своим возможностям сопоставимого с человеческим. Руководство стартапа подчёркивает, что это остаётся главной его целью, и стычки с Meta не помешают двигаться к её достижению.

Meta✴ переманила из OpenAI ещё четырёх специалистов в области ИИ

На уходящей неделе стало известно, что Meta Platforms удалось пополнить штат своих специалистов по искусственному интеллекту тремя выходцами из стартапа OpenAI, создавшего ChatGPT. Новая информация позволяет понять, что этим дело не ограничилось, и в Meta из OpenAI перешли ещё четыре серьёзных специалиста в этой сфере.

 Источник изображения: Unsplash, Solen Feyissa

Источник изображения: Unsplash, Solen Feyissa

Агентство Bloomberg со ссылкой на осведомлённые источники поясняет, что в пятницу Meta были заключены с контракты с ещё четырьмя бывшими сотрудниками OpenAI: Цзяхой Ю (Jiahui Yu), Шучао Би (Shuchao Bi), Шэнцзя Чжао (Shengjia Zhao) и Хонъю Чжэном (Hongyu Zhen). Утверждается, что формированием новой команды в составе Meta занимается Александр Ван (Alexandr Wang), перешедший в компанию после покупки ею 49 % его стартапа Scale AI за $14,3 млрд. Все они, как ожидается, будут работать в Meta над созданием так называемого «сильного» искусственного интеллекта.

По данным Bloomberg, в OpenAI Цзяхой Ю руководил группой специалистов, изучающих особенности восприятия, трое других «перебежчиков» также занимали серьёзные посты. На каких условиях были завербованы специалисты, судить сложно, но ранее в прессе появлялись данные о готовности Meta выплачивать нужным соискателям по $100 млн. Первым о новых назначениях в субботу сообщило издание The Information, агентству Bloomberg подтвердить переход специалистов в упоминаемых компаниях или у них лично не удалось.

Монополия Nvidia пошатнулась: OpenAI начала использовать чипы Google

OpenAI начала использовать ИИ-ускорители TPU компании Google для поддержки работы ИИ-чат-бота ChatGPT и связанных с ним сервисов. Это стало её первым значительным шагом в направлении отказа от исключительного использования чипов Nvidia в рамках стратегии по снижению зависимости от инфраструктуры, управляемой Microsoft, сообщил The Information.

 Источник изображения: Mariia Shalabaieva/unsplash.com

Источник изображения: Mariia Shalabaieva/unsplash.com

OpenAI арендует у Google Cloud тензорные процессоры (TPU) с целью сокращения расходов, связанных с вычислениями инференса — процесса использования ИИ-модели для генерации результатов в ответ на запросы после завершения её обучения. Решение OpenAI использовать TPU от Google может означать повышение их статуса в качестве экономически эффективной альтернативы широко используемым GPU компании Nvidia, которая доминирует на рынке ИИ-ускорителей, отметил ресурс investing.com.

Ранее OpenAI для обучения и развёртывания своих ИИ-моделей использовала оборудование на базе чипов Nvidia, в основном через партнёрство с Microsoft и Oracle. Новый партнёр, Google, хотя и предоставляет OpenAI некоторые вычислительные мощности на базе TPU, не предлагает ей самые мощные версии своих ускорителей, сообщают источники The Information.

Следовательно, самые продвинутые версии TPU Google зарезервировала для внутреннего использования, включая работу над собственными большими языковыми моделями в рамках проекта Gemini. Тем не менее, для OpenAI доступ даже к более ранним версиям TPU представляет собой шаг в направлении диверсификации вычислительной инфраструктуры на фоне растущего спроса на ИИ-чипы в отрасли.

На данный момент неясно, будет ли OpenAI использовать TPU Google для обучения моделей или ограничится только применением для инференса. По мере роста конкуренции и углубления ограничений ресурсов гибридная инфраструктура может обеспечить компании больше гибкости в использовании вычислительных мощностей для масштабирования.

OpenAI назвала китайский стартап Zhipu AI одним из самых перспективных в сфере ИИ

Создатели ChatGPT наверняка что-то смыслят в разработке систем искусственного интеллекта, поэтому комментарии OpenAI в этой сфере высоко ценятся. Последние из них касаются перспектив китайского стартапа Zhipu AI, успехи которого на данном поприще удостоились хвалебных замечаний со стороны OpenAI.

 Источник изображения: Unsplash, Solen Feyissa

Источник изображения: Unsplash, Solen Feyissa

В своём блоге американская компания похвалила Zhipu AI за «заметный прогресс» в гонке ИИ. Основанная в 2019 году в КНР компания Zhipu AI уже успела попасть под санкции США, а китайская пресса считает её одним из «ИИ-тигров». Предполагается, что Zhipu AI входит в число тех китайских компаний, которым обеспечена поддержка правительства КНР.

На слуху с января текущего года остаётся имя DeepSeek, но OpenAI в своём блоге отмечает, что предполагаемые связи Zhipu AI с китайским правительством и активность стартапа по расширению за пределами КНР заслуживают пристального внимания. По мнению OpenAI, представители Zhipu AI регулярно встречаются с политическим руководством Коммунистической партии Китая, а сумма инвестиций в капитал стартапа со стороны властей страны превысила $1,4 млрд.

По информации источника, у Zhipu AI имеются представительства на Ближнем Востоке, в Великобритании, Сингапуре и Малайзии, а Индонезия и Вьетнам даже могут похвастать наличием исследовательских центров Zhipu AI, сотрудничающих с местными разработчиками. Подобная деятельность стартапа, по мнению представителей OpenAI, направлена на закрепление китайских разработок в сфере ИИ на рынках стран с растущей экономикой прежде, чем это могли бы сделать европейские или американские конкуренты. Председатель совета директоров Zhipu AI Лю Дэбин (Liu Debing) на прошлой неделе заявил прессе, что его компания надеется принять участие в распространении потенциала китайского ИИ по всему миру.

Подобные высказывания OpenAI в адрес китайского конкурента легко объяснить участием американского стартапа в крупных проектах типа Stargate на территории США и на Ближнем Востоке. Разработчики ChatGPT также получают крупные контракты оборонных ведомств США, поэтому их риторика всё больше попадает в русло общего вектора внешней политики американских властей. Zhipu AI под санкции США как раз попала из-за подозрений в сотрудничестве с китайскими военными.

Премия в $100 млн сработала? Meta✴ переманила трёх исследователей ИИ из OpenAI

Стремление Meta Platforms заполучить в свои ряды подготовленных специалистов из других компаний, занимающихся разработкой систем искусственного интеллекта, уже не удаётся скрывать. По крайней мере, руководитель OpenAI недавно признавался в подобной «охоте за головами» со стороны Meta. Сейчас стало известно, что последняя всё же переманила трёх крупных исследователей из OpenAI.

 Источник изображения: Unsplash, appshunter.io

Источник изображения: Unsplash, appshunter.io

Первым об этих кадровых изменениях сообщило издание The Wall Street Journal, а Reuters удалось подтвердить уход троих специалистов из OpenAI по официальным каналам. Как отметил источник, в Meta перешли работать Лукас Бейер (Lucas Beyer), Александр Колесников и Сяохуа Чжай (Xiaohua Zhai) — все они работали в швейцарском представительстве OpenAI в Цюрихе. Напомним, что рекрутинг специалистов в сфере ИИ активизировался в компании Meta после объявления о сделке по покупке 49 % акций стартапа Scale AI за $14,3 млрд. Глава частично поглощаемой компании Александр Ван (Alexandr Wang), как ожидается, возглавит в Meta существенную часть активности по разработке систем искусственного интеллекта.

В отличие от конкурентов, Meta свою инфраструктуру старается развивать собственными силами, не полагаясь на сотрудничество с другими компаниями. Когда ей понравились разработки Scale AI, она решила купить эту компанию. Если верить имеющейся информации, Meta также интересовалась покупкой стартапа Perplexity AI, хотя и не была одинока в этом.

Как отмечалось ранее, ценным сотрудникам OpenAI компания Meta готова была предложить премии в размере $100 млн, но первые попытки в этой сфере не увенчались успехом. На каких условиях в Meta перешли работать перечисленные выше сотрудники OpenAI, не уточняется.

Развод OpenAI и Microsoft отменяется? Главы компаний обсудили дальнейшее сотрудничество

Если опираться на опубликованную ранее информацию, у руководства OpenAI и Microsoft соответственно имеются некоторые расхождения во взглядах на нюансы дальнейшего сотрудничества и грядущую реструктуризацию стартапа. Его глава Сэм Альтман (Sam Altman) на этой неделе признался, что в понедельник позвонил главе Microsoft Сатье Наделле (Satya Nadella) для обсуждения условий дальнейшего сотрудничества.

 Источник изображения: Unsplash, Andrew Neel

Источник изображения: Unsplash, Andrew Neel

Об этом Альтман вчера заявил в подкасте The New York Times, ограничившись весьма лаконичными комментариями по поводу содержания разговора: «Очевидно, что любое глубокое партнёрство подразумевает наличие точек напряжения, и у нас они есть. Но в целом, всё это до сих пор оставалось чудесно полезным для обеих компаний». Альтман попутно отметил, что весьма продуктивно общался с президентом США Дональдом Трампом (Donald Trump) на тему искусственного интеллекта, и заявил, что тот очень хорошо понимает геополитическую и экономическую важность технологии.

Напомним, что в январе одним из первых своих заявлений на посту президента США Трамп избрал анонс проекта Stargate, подразумевающего создание на территории страны масштабного вычислительного кластера стоимостью до $500 млрд, который будет использоваться для нужд развития систем искусственного интеллекта. Помимо OpenAI, в этом проекте изъявили желание принять участие SoftBank и Oracle.

Секретный ИИ-гаджет OpenAI и Джони Айва не будет носимым и выйдет не раньше 2026 года

Как уже сообщалось недавно, стартапам OpenAI и io пришлось столкнуться с судебным иском от Iyo — разработчика слуховых аппаратов. Поскольку обмен документами в рамках подготовки к судебному заседанию уже начался в открытом режиме, это позволило выяснить некоторые подробности относительно будущего устройства, ориентированного на работу с искусственным интеллектом.

 Источник изображения: Unsplash, Zac Wolff

Источник изображения: Unsplash, Zac Wolff

Поскольку io пришлось столкнуться с претензиями разработчиков слуховых аппаратов, в своих доводах для судебного заседания стартап бывшего главного дизайнера Apple Джони Айва (Jony Ive) сообщает, что создаваемое при участии OpenAI устройство не будет носимым или предназначенным для ношения в ухе. Кроме того, само устройство выйдет на рынок не ранее 2026 года. На создание реально функционирующих серийных устройств данного типа уйдёт не менее года, а их дизайн ещё даже не утверждён окончательно.

Напомним, из-за существующего судебного иска со стороны Iyo компаниям пришлось убрать упоминание о сотрудничестве с официального сайта OpenAI, а также удалить видео, в котором глава компании Сэм Альтман (Sam Altman) обсуждает перспективы сотрудничества с Джони Айвом. Истец утверждает, что обвиняемые во внутренней переписке называли пресловутое устройство «первым в мире аудиокомпьютером», подозревая io и OpenAI в попытках создать конкурирующее с изделием Iyo решение, которое к тому же использует схожую торговую марку.

OpenAI признаёт, что в ходе разработки собственного устройства io действительно приобрела приличное количество сторонних изделий для изучения их дизайна и возможностей, и среди них было около 30 наушников различных производителей. При этом на уровне идей и прототипов io задумывалась о создании устройств самых разных форм и размеров, включая настольные и мобильные. Истец также ссылается на переписку с Альтманом по поводу предложения о сотрудничестве, в которой тот отказывается от него, упоминая о «работе над кое-чем конкурирующим». Тем самым, io и OpenAI якобы могли планировать создание устройства, чей дизайн и функциональность были подсмотрены у Iyo, как считают представители последней.

Каждый продвинутый ИИ сам научился врать и манипулировать — даже рассуждая «вслух»

Лидеры в области ИИ Anthropic, Google, OpenAI и xAI разработали методику под названием «цепочка мыслей» (chains of thought), которая позволяет пошагово следить за процессом рассуждений моделей ИИ во время генерации ответа на запрос. Кроме ряда ценных идей по дальнейшему совершенствованию нейросетей, эта методика продемонстрировала примеры «неправильного поведения» моделей, когда их окончательный ответ совершенно не соответствует последовательности рассуждений. Это подтверждает, что разработчики до сих пор не знают, как ИИ размышляет над ответом.

 Источник изображения: Immo Wegmann / unsplash.com

Источник изображения: Immo Wegmann / unsplash.com

Результаты исследования подкрепили опасения о возможном выходе из-под контроля продвинутых систем ИИ, которые становятся все более мощными и автономными. Даже ведущие мировые лаборатории ИИ порой не полностью осознают, как генеративные модели ИИ приходят к своим выводам. Anthropic недавно опубликовала результаты исследования поведения больших языковых моделей (LLM). В вымышленных тестовых сценариях все новые продвинутые LLM стремились обходить меры безопасности, прибегали к обману и шантажу, пытались украсть корпоративные секреты и даже были готовы устранить оператора при угрозе отключения.

При помощи цепочки мыслей разработчики ИИ могут видеть весь «мыслительный процесс» LLM, что даёт им возможность в нужный момент вмешаться и дообучить модель для получения более качественных и адекватных ответов в будущем. «В нашей недавней работе мы обнаружили, что можно читать их [цепочки мыслей] и находить доказательства неправильного поведения модели и использовать это, чтобы увидеть, где и почему она ведёт себя неправильно», — заявил научный сотрудник OpenAI Боуэн Бейкер (Bowen Baker). «Одна из замечательных особенностей интерпретируемости цепочки мыслей заключается в том, что она не требует дополнительных затрат, — добавил он. — Мы обучали эти модели не для того, чтобы сделать их интерпретируемыми. Мы обучали их, потому что нам нужны были наилучшие возможные модели рассуждений, которые могли бы решать сложные задачи».

Инженеры OpenAI также пришли к выводу, что анализ цепочки мыслей LLM более эффективен для обнаружения неправильного поведения, чем просто просмотр конечных результатов. Тем не менее, тесты компании показали, что при вмешательстве и корректировке цепочки мыслей модели, она может скрыть своё нежелательное поведение от пользователя, но всё равно продолжит действие — например, обман в тесте по программной инженерии путём извлечения информации из запрещённой базы данных.

Дилемма для исследователей заключается в том, что цепочка мыслей полезна для выявления потенциальных недостатков систем ИИ, но пока не может считаться полностью заслуживающей доверия. Решение этой проблемы стало приоритетом для Anthropic, OpenAI и других лабораторий ИИ. Исследователи отмечают риск того, что «по мере оптимизации [цепочки мыслей] модель учится грамотно мыслить, но затем все равно будет вести себя плохо». Поэтому своей основной задачей они видят использование методики для анализа процесса рассуждения LLM и совершенствования самой модели, а не просто исправление выявленного «плохого поведения».

Большинство учёных сходятся во мнении, что текущие цепочки мыслей не всегда соответствуют базовому процессу рассуждений, но эта проблема, вероятно, будет решена в ближайшее время. «Мы должны относиться к цепочке мыслей так же, как военные относятся к перехваченным радиосообщениям противника, — считает исследователь Сидни фон Аркс (Sydney von Arx). — Сообщение может быть вводящим в заблуждение или закодированным, но в конечном итоге мы знаем, что оно используется для передачи полезной информации, и мы, вероятно, сможем многому научиться, прочитав его».

Суд обязал OpenAI хранить даже удалённые чаты, но пользователи считают это тотальной слежкой

После того, как суд обязал OpenAI сохранять все чаты пользователей ChatGPT, включая удалённые и анонимные, несколько пользователей в США попытались оспорить это решение в судебном порядке, ссылаясь на нарушение приватности. Но суд отклонил жалобу, в которой утверждалось, что судебный запрет на удаление переписки создаёт угрозу массовой слежки за миллионами людей.

 Источник изображения: AI

Источник изображения: AI

Как сообщает издание Ars Technica, решение о бессрочном хранении чатов было вынесено Окружным судом Соединённых Штатов Южного округа Нью-Йорка в рамках иска о нарушении авторских прав, поданного медиакомпаниями, включая издание The New York Times. OpenAI обязали сохранять все данные на случай, если они понадобятся как доказательство в текущем деле.

Однако пользователь Эйдан Хант (Aidan Hunt) подал протест, заявив, что чаты могут содержать личную и коммерческую тайну. Хант утверждал, что компания OpenAI ранее обещала не хранить удалённые чаты и не предупредила об изменениях. «Клиентам не объяснили, что их данные останутся бессрочно в системе, что нарушает право на приватность и четвёртую поправку Конституции США», — сказал он. Хант в своём ходатайстве предлагал исключить из хранения на серверах OpenAI анонимные чаты, медицинские вопросы, обсуждение финансов и права. Судья Она Ван (Ona Wang) отклонила его протест, посчитав вопрос приватности второстепенным в деле об авторском праве.

Также была подана жалоба от лица консалтинговой компании Spark Innovations, в которой указывалось на недопустимость хранения чатов, содержащих коммерческую тайну и обсуждение рабочих процессов. Одновременно Коринн Макшерри (Corynne McSherry), юрист из Фонда электронных рубежей (EFF) по защите цифровых прав, поддержала опасения: «Этот прецедент угрожает приватности всех клиентов OpenAI. ИИ-чаты становятся новым инструментом корпоративной слежки, особенно если люди не контролируют свои данные [после их удаления]».

Но пользователи задаются вопросом, насколько активно OpenAI будет отстаивать их интересы, так как есть опасения, что компания может пожертвовать защитой личных данных ради экономии средств или репутационных выгод. Представители OpenAI пока не ответили на запрос Ars Technica, но ранее заявляли, что намерены оспаривать судебное решение.

Правозащитники, в свою очередь, призывают все ИИ-компании не только обеспечивать реальное удаление данных из чатов, но и своевременно информировать пользователей о требованиях со стороны судебных инстанций. «Если компании ещё этого не делают, им стоит начать публиковать регулярные отчёты о таких запросах», — добавила юрист Макшерри.

Предприятие OpenAI и Джони Айва столкнулось с первым иском, даже не успев ничего выпустить

Бывший главный дизайнер Apple Джони Айв (Jony Ive), как отмечалось ранее, продал свой стартап io по созданию персонального ИИ-устройства компании OpenAI, чтобы объединить усилия на этом направлении с создателями ChatGPT. Как оказывается, у стартапа Джони Айва возникли проблемы в сфере законности использования торговой марки io.

 Источник изображения: Unsplash, appshunter.io

Источник изображения: Unsplash, appshunter.io

По крайней мере, ресурс The Verge отмечает, что поданный сторонним стартапом Iyo, который разрабатывает слуховые аппараты, судебный иск с претензиями к io формально препятствует использованию последней из торговых марок в материалах на сайте OpenAI, поэтому упоминания о сотрудничестве с Джони Айвом в этой сфере пришлось временно убрать, пока не будет рассмотрено дело и вынесен вердикт суда.

С сайта OpenAI на этих основаниях исчезли не только запись в блоге о сотрудничестве с io, но и посвящённое этой сделке девятиминутное видео, в котором её итоги обсуждают Сэм Альтман (Sam Altman) и Джони Айв. Представители OpenAI пока успели только выразить своё несогласие с претензиями Iyo и заверили общественность, что будут рассматривать возможность отстаивания своих интересов в суде по этому делу.

Инвесторы поверили в бывшего топ-менеджера OpenAI: Мурати привлекла $2 млрд без единого продукта

Бывший главный технический директор OpenAI Мира Мурати (Mira Murati) привлекла рекордные $2 млрд на развитие своего ИИ-стартапа Thinking Machines Lab, который всего за полгода получил оценку в $10 млрд. Это один из самых крупных стартовых раундов в истории Кремниевой долины, при том, что публично ещё не было представлено ни одного продукта и чёткого видения будущей разработки.

 Источник изображения: AI

Источник изображения: AI

Созданная всего шесть месяцев назад компания не раскрывает свои технологии, но инвесторы готовы вкладывать средства, доверяя имени и репутации Мурати. Раунд возглавил один из крупнейших венчурных фондов Кремниевой долины Andreessen Horowitz при участии компании Conviction Partners. Как пишет Financial Times, ключевым фактором стало желание поддержать одного из самых узнаваемых лидеров в сфере искусственного интеллекта (ИИ).

Финансирование Thinking Machines Lab подтверждает высокий спрос инвесторов на проекты в сфере искусственного интеллекта, способных конкурировать с OpenAI, Anthropic и крупными технологическими корпорациями, такими как Google и Meta. Мурати, которой 36 лет, покинула OpenAI в сентябре, сыграв ключевую роль в создании ChatGPT, генератора изображений Dall-E и голосового режима. До этого она работала старшим менеджером по продукту в Tesla, где участвовала в разработке Model X.

Также известно, что Мурати оказалась среди тех топ-менеджеров OpenAI, которые выразили сомнения в стиле управления Сэма Альтмана (Sam Altman) перед попыткой смещения его с поста гендиректора в ноябре 2023 года. Тогда она ненадолго стала временным генеральным директором, но Альтман быстро вернулся к руководству.

Интересно, что в Thinking Machines Lab также перешли несколько бывших сотрудников OpenAI, включая сооснователя Джона Шульмана (John Schulman), экс-руководителя спецпроектов Джонатана Лахмана (Jonathan Lachman) и бывших вице-президентов Баррета Зофа (Barret Zoph) и Лилиан Вэн (Lilian Weng).

Инвесторы считают, что команда, собранная Мурати, выглядит крайне убедительно, учитывая ограниченное число по-настоящему выдающихся специалистов в этой области. При этом конкретных данных о проекте почти нет. В феврале компания туманно заявила, что её цель состоит в том, чтобы сделать ИИ-системы более понятными, настраиваемыми и универсальными. Однако из-за высокой степени секретности некоторые фонды отказались от участия в сделке, поскольку Мурати не раскрывает ни планов по продукту, ни деталей финансовой стратегии.

OpenAI опасается, что вскоре её модели научатся разрабатывать биологическое оружие

OpenAI обеспокоена тем, что следующее поколение её моделей искусственного интеллекта может значительно увеличить риск разработки биологического оружия, предоставив такую возможность даже людям без научного образования. Руководитель систем безопасности OpenAI Йоханнес Хайдеке (Johannes Heidecke) ожидает, что «некоторые из преемников нашей o3 [модели рассуждений] достигнут этого уровня». В связи с этим OpenAI усиливает тестирование безопасности.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

OpenAI сообщила о разработке системы для оценки и снижения рисков, создаваемых все более мощными моделями ИИ. Компания усиливает тестирование безопасности, чтобы снизить риск использования её моделей преступниками и террористами. Без этих мер по снижению рисков модели вскоре смогут «подняться на новый уровень», что позволит даже людям с ограниченными научными знаниями создавать опасное оружие.

«Мы [пока] ещё не в мире, где есть что-то новое, совершенно неизвестное, создающее биологические угрозы, которых раньше не было, — заявил Хайдеке. — Мы больше беспокоимся о воспроизведении вещей, с которыми эксперты уже хорошо знакомы». Особая сложность состоит в том, что те же инструменты, которые могли бы обеспечить жизненно важные медицинские прорывы, могут быть использованы злоумышленниками в опасных целях.

Именно поэтому ведущим лабораториям ИИ нужны высокоточные системы тестирования. «Это не та область, где производительность 99 % или одна ошибка на 100 000… допустимы, — считает Хайдеке. — Нам в основном нужно, что-то вроде почти идеального».

OpenAI — не единственная компания, обеспокоенная неправомерным использованием своих моделей, когда дело касается разработки оружия. По мере того, как модели становятся более совершенными, их потенциал для преступного использования растёт. Недавно компания Anthropic выпустила продвинутую модель Claude Opus 4 с более строгими протоколами безопасности, чем у любой из предыдущих моделей.

 Источник изображений: unsplash.com

В соответствии с политикой ответственного масштабирования, созданной по образцу уровней биологической угрозы (BSL) правительства США, ей присвоен третий «уровень безопасности ИИ» (AI Safety Level) ASL-3. Все предыдущие модели Anthropic отнесены к уровню ASL-2. Третьему уровню безопасности соответствуют продвинутые модели, которые достаточно мощны, чтобы представлять значительные риски, такие как помощь в разработке оружия или автоматизация разработки систем ИИ.

Недавно Claude Opus 4 попала в заголовки СМИ после попытки шантажировать инженера, чтобы избежать отключения в ходе строго контролируемого теста. Ранние версии этой модели были готовы выполнять опасные инструкции, например, планирование террористических атак. Компания заверила общественность, что эта проблема была решена внесением изменений в набор обучающих данных.

Марк Цукерберг рассчитывает нанять компаньона одного из основателей OpenAI

Из недавних откровений главы OpenAI Сэма Альтмана (Sam Altman) известно, что компания Meta Марка Цукерберга (Mark Zuckerberg) пыталась напрямую переманивать сотрудников стартапа, создавшего ChatGPT. Как выясняется, этим дело не ограничилось, и сейчас Meta пытается заполучить в свои ряды одного из основателей стартапа Safe Superintelligence, который является соратником выходца из OpenAI Ильи Суцкевера.

 Даниэль Гросс. Источник изображения: GitHub

Даниэль Гросс. Источник изображения: GitHub

Напомним, что после драматичных событий вокруг отставки Сэма Альтмана осенью 2023 года ведущий разработчик в сфере ИИ, канадский учёный Илья Суцкевер покинул OpenAI с целью создания собственной компании Safe Superintelligence. Одним из компаньонов Суцкевера по новому стартапу стал Даниэль Гросс (Daniel Gross), который возглавил компанию в статусе генерального директора. На этой неделе издание The Information сообщило, что Гросса пытается переманить к себе Meta. Более того, Цукерберг хотел бы видеть в своей создаваемой ИИ-команде и бывшего главу GitHub Нэта Фридмана (Nat Friedman).

Кроме того, чтобы угодить сразу обоим кандидатам, Meta готова выкупить пакет акций венчурного фонда NFDG, образованного Гроссом и Фридманом. Цукерберг в процессе охоты за ценными кадрами в сфере ИИ переключился на Гросса после того, как попытки купить стартап Safe Superintelligence целиком провалились. В апреле капитализация этой компании оценивалась в $32 млрд. Кроме того, Meta не смогла переманить и одного из основателей этого стартапа Суцкевера, поэтому его соратник Гросс стал альтернативной целью. По замыслу Meta, после сделки по покупке стартапа Scale AI, Гросс и Фридман будут работать под руководством его основателя Александра Вана (Alexandr Wang), который переходит в Meta.

window-new
Soft
Hard
Тренды 🔥
Обнаружено самое любимое число ИИ — и это не 42 6 мин.
Cloudflare закрыла ИИ-краулерам бесплатный доступ к сайтам — за сбор данных теперь придётся платить 7 мин.
МТС Web Services запустила B2B-платформу MWS Data с ИИ-агентами для работы с большими данными 2 ч.
Electronic Arts опубликовала тизер первой за 16 лет новой NCAA March Madness — 2K тоже дразнит фанатов возвращением в игру 2 ч.
Будущее Halo прояснится в октябре, и фанаты «не захотят пропускать» это 3 ч.
Запуски ракет NASA и работу астронавтов в открытом космосе начнут показывать на Netflix 3 ч.
Siri может поумнеть с помощью ИИ OpenAI или Anthropic — у Apple не получается обучить достойный ИИ самостоятельно 3 ч.
Warhammer 40,000: Space Marine 2 продолжит получать новый контент — подробности крупного обновления 10.0 4 ч.
«Яндекс» открыл бесплатный доступ к своей лучшей нейросети YandexGPT 5 Pro через «Чат с Алисой» 5 ч.
Стартапу xAI Илона Маска удалось недавно привлечь в общей сложности $10 млрд 8 ч.
Трамп пообещал сэкономить состояние для США, отменив субсидии компаниям Илона Маска 23 мин.
Xiaomi распродала все электромобили YU7 на год вперёд — и вызвала гнев сотен покупателей 2 ч.
Обновление системы резервного копирования TATLIN.BACKUP для защиты данных от вирусов-шифровальщиков 2 ч.
HPE продаст Instant On, чтобы купить Juniper, а Juniper лицензирует Mist, чтобы продаться HPE 2 ч.
В России запретят называть отечественными чипы, произведённые за границей — статус Baikal и «Эльбрус» под угрозой 3 ч.
Xiaomi задействовала 1000 роботов и передовые технологии для сборки электромобилей 3 ч.
Google договорилась о покупке термоядерной энергии у детища MIT — Commonwealth Fusion Systems 4 ч.
Россияне стали чаще покупать ноутбуки без операционной системы — так дешевле 4 ч.
Blue Origin в 13-й раз свозила туристов на границу космоса — и 1000 открыток в придачу 4 ч.
Amazon запустила инстансы EC2 C8gn с чипами Graviton4 для требовательных сетевых нагрузок 5 ч.