OpenAI разработала новый метод под названием «Иерархия инструкций» для повышения безопасности своих больших языковых моделей (LLM). Этот метод, впервые применённый в новой модели GPT-4o Mini, направлен на предотвращение нежелательного поведения ИИ, вызванного манипуляциями недобросовестных пользователей с помощью определённых команд.

Источник изображения: Copilot

Руководитель платформы API в OpenAI Оливье Годеман (Olivier Godement) объяснил, что «иерархия инструкций» позволит предотвращать опасные инъекции промтов с помощью скрытых подсказок, которые пользователи используют для обхода ограничений и изначальных установок модели, и блокировать атаки типа «игнорировать все предыдущие инструкции».

Новый метод, как пишет The Verge, отдаёт приоритет исходным инструкциям разработчика, делая модель менее восприимчивой к попыткам конечных пользователей заставить её выполнять нежелательные действия. В случае конфликта между системными инструкциями и командами пользователя, модель будет отдавать наивысший приоритет именно системным инструкциям, отказываясь выполнять инъекции.

Исследователи OpenAI считают, что в будущем будут разработаны и другие, более сложные средства защиты, особенно для агентных сценариев использования, при которых ИИ-агенты создаются разработчиками для собственных приложений. Учитывая, что OpenAI сталкивается с постоянными проблемами в области безопасности, новый метод, применённый к GPT-4o Mini, имеет большое значение для последующего подхода к разработке ИИ-моделей.

Амбиции руководства OpenAI в сфере разработки и производства собственных ускорителей для систем искусственного интеллекта не являются секретом, и накануне издание The Information сообщило, что компания вела переговоры о разработке соответствующего чипа с Broadcom. Акции последней на этом фоне успели вырасти в цене на 3 %.

Источник изображения: Shutterstock

Как отмечает источник, Broadcom была лишь одним из разработчиков, с которыми вела переговоры OpenAI. Среди вовлечённых в процесс оказались и выходцы из Google, имеющие опыт разработки процессоров семейства Tensor. Некоторых из них OpenAI успела нанять для реализации соответствующих собственных замыслов. Перед специалистами ставилась задача по разработке ускорителей серверного класса для систем искусственного интеллекта.

Глава OpenAI Сэм Альтман (Sam Altman) не раз жаловался на нехватку аппаратной инфраструктуры для подобающего его планам развития систем искусственного интеллекта. Его компания могла бы оказать содействие партнёрам в строительстве не только центров обработки данных, но и предприятий по выпуску компонентов, а также электростанций. В составе Broadcom имеется подразделение, разрабатывающее чипы с учётом пожеланий конкретных заказчиков.

Если бы проект OpenAI удалось реализовать, то процессор Broadcom начал выпускаться не ранее 2026 года в лучшем случае. Попутно руководству OpenAI пришлось вести переговоры с Samsung и SK hynix по поводу оснащения соответствующих ускорителей памятью типа HBM. Выпускать чип OpenAI планировала на мощностях компании TSMC, причём Альтман вёл с последней переговоры и об увеличении объёмов выпуска чипов Nvidia, которые OpenAI также активно использует.

Компания OpenAI официально представила упрощённую и более доступную версию своей самой мощной большой языковой модели GPT-4o. Речь идёт о нейросети GPT-4o Mini, использование которой для разработчиков будет более выгодно с экономической точки зрения, но при этом её производительность выше, чем у GPT-3.5.

Источник изображения: Growtika / unsplash.com

Создание приложений с использованием языковых моделей OpenAI может обернуться огромными расходами. При отсутствии достаточного количества средств разработчики могут отказаться от их использования в пользу более доступных аналогов, таких как Gemini 1.5 Flash от Google или Claude 3 Haiku от Anthropic. Теперь же с запуском GPT-4o Mini в этом сегменте конкуренция будет более острой.

«Я думаю, что GPT-4o Mini действительно соответствует миссии OpenAI — сделать более доступный для людей ИИ-алгоритм. Если мы хотим, чтобы ИИ приносил пользу в каждом уголке мира, в каждой отрасли, в каждом приложении, мы должны сделать ИИ гораздо более доступным», — рассказал представитель OpenAI.

Начиная с сегодняшнего дня, пользователи ChatGPT на тарифах Free, Plus и Team могут использовать GPT-4o Mini вместо GPT-3.5 Turbo, а пользователи на тарифе Enterprise получат такую возможность на следующей неделе. Это означает, что языковая модель GPT-3.5 больше не будет доступна для пользователей ChatGPT, но её по-прежнему смогут задействовать разработчики через соответствующий API, если они не планируют перейти на GPT-4o Mini. Когда именно доступ к GPT-3.5 будет закрыт полностью, пока неизвестно.

Языковая модель GPT-4o Mini поддерживает работу с текстом, изображениями, аудио- и видеоконтентом. При этом алгоритм всё же предназначен для решения простых задач, поэтому он может оказаться полезным для добавления разных узконаправленных функций в приложения сторонних разработчиков. В эталонном тесте MMLU новая языковая модель OpenAI набрала 82 %. Для сравнения, результат GPT-3.5 в этом же тесте 70 %, GPT-4o — 88,7 %, Gemini Ultra — 90 %. Конкурирующие с GPT-4o Mini языковые модели Claude 3 Haiku и Gemini 1.5 Flash набрали в этом тесте 75,2 % и 78,9 % соответственно.

Известный специалист по компьютерным наукам Фэй-Фэй Ли (Fei-Fei Li), которую называют «крёстной матерью искусственного интеллекта», основала стартап World Labs, который всего за четыре месяца своего существования достиг оценки более миллиарда долларов.

Источник изображения: Kimberly White/Getty Images for WIRED

Фэй-Фэй Ли известна своим вкладом в компьютерное зрение — область ИИ, посвящённую помощи машинам в интерпретации и понимании визуальной информации. Она возглавляла разработку ImageNet — обширной визуальной базы данных, используемой для исследований в области распознавания визуальных объектов. С 2017 по 2018 год Ли руководила отделом ИИ в Google Cloud, а в настоящее время консультирует рабочую группу Белого дома по ИИ, сообщает издание The Verge со ссылкой на Financial Times.

Новый проект Ли World Labs стремится использовать человекоподобную обработку визуальных данных, чтобы сделать ИИ способным к продвинутым рассуждениям — это приблизительно то, что пытается сделать OpenAI со своими моделями генеративного ИИ семейства GPT. Неназванный венчурный инвестор, знакомый с работой Ли, пояснил Financial Times: «World Labs разрабатывает модель, которая сможет анализировать трёхмерный физический мир, то есть это касается размеров объектов, того, где они находятся и что с ними происходит в определённый момент».

Стартап уже провёл два раунда финансирования, последний из которых составил около 100 миллионов долларов при поддержке таких известных венчурных фондов как Andreessen Horowitz и фонд ИИ Radical Ventures, партнёром которого, кстати, Фэй-Фэй Ли стала в прошлом году.

В своём недавнем выступлении на конференции TED в апреле Ли рассказала о направлении исследований, над которым будет работать её стартап. Речь идёт об алгоритме, способном экстраполировать изображения и текст в трёхмерную среду и, действуя на основе прошлых тенденций, прогнозировать будущие данные, используя концепцию «пространственного интеллекта». Эксперты отмечают, что эта технология может оказать существенное влияние на такие области как робототехника, дополненная реальность, виртуальная реальность и компьютерное зрение.

Инвестиции в World Labs отражают общую тенденцию сегодняшнего дня, при которой венчурные капиталисты стремятся присоединиться к громким и амбициозным проектам в сфере ИИ, вдохновлённые неожиданным успехом OpenAI, чей проект быстро достиг оценки, превышающей 80 миллиардов долларов.

Канадский учёный словацкого происхождения Андрей Карпатый (Andrej Karpathy) с 2015 по 2017 годы принимал участие в становлении компании OpenAI, затем несколько лет помогал Tesla создавать свой автопилот, но после возвращения в OpenAI на несколько месяцев покинул этот стартап, чтобы основать собственную компанию. Ею стала Eureka Labs, обещающая революционным образом изменить процесс обучения студентов.

Источник изображения: YouTube, BRK216HFS

Поскольку даже в годы своей активности в OpenAI и Tesla Андрей Карпатый не переставал читать лекции и создавать собственные образовательные курсы, тема совершенствования методов обучения близка ему изначально. Как сообщается в лаконичном пресс-релизе на сайте Eureka Labs, основанный им стартап попытается внедрить искусственный интеллект в технологии образования. По большому счёту, Eureka Labs попытается создать ИИ-ассистента для преподавателей, которые с его помощью смогут тратить меньше времени на непосредственное выступление перед аудиторией, и в случае необходимости излагать материал на различных языках, которыми в реальности не владеют.

Не исключено, что речь идёт о создании неких виртуальных аватаров преподавателей, которые будут выдавать оптимизированный с помощью искусственного интеллекта образовательный материал онлайн-аудитории. Первенцем стартапа, тем не менее, станет проект LLM101n, который поможет студентам самостоятельно создавать небольшие системы искусственного интеллекта. Доступ к материалам курса предполагается обеспечить в режиме онлайн, но и в реальном мире группы разработчиков будут совместно трудиться над его освоением. Компания Eureka Labs была зарегистрирована в США только в июне, и пока сложно понять, каким капиталом она располагает, и поддерживает ли её кто-то из инвесторов кроме самого Андрея Карпатого.

Американская компания Synchron, разрабатывающая технологии нейрокомпьютерных интерфейсов (BCI) для восстановления двигательных функций у парализованных людей, объявила об интеграции системы генеративного искусственного интеллекта от OpenAI в свою платформу. Это позволит пациентам с тяжёлой формой паралича взаимодействовать с другими людьми силой мысли.

Пациент с имплантом Synchron использует ИИ-чат-бот для общения. Зелёные плитки — предложенные ИИ фразы. Источник изображений: Synchron

Чат-бот в нейроинтерфейсе, работающий на базе ИИ от создателя ChatGPT, упростит процесс общения для пользователей. Система может генерировать автоматические подсказки в текстовом и аудиоформате в режиме реального времени, учитывая контекст и эмоциональное состояние пользователя (система принимает текстовые, аудио и графические данные), и предлагать оптимальные варианты фраз. То есть ИИ будет помогать в наборе текста силой мысли, предсказывая, что бы хотел сказать человек в той или иной ситуации, и предлагать несколько вариантов слов или фраз на выбор — своего рода продвинутый Т9.

Компания уже испытала технологию на пациенте, которому ранее вживили её BCI. Пациент по имени Марк с боковым амиотрофическим склерозом (БАС), которому вживили имплант Synchron в прошлом году, последние два месяца периодически тестировал новую функцию на базе ИИ-чат-бота. По его словам, она помогает ему экономить драгоценное время и энергию во время общения с близкими. Использование BCI требует сосредоточенности и практики, поэтому, по словам Марка, искусственный интеллект помогает снять с себя часть нагрузки при ответе на сообщения.

Том Оксли (Tom Oxley), генеральный директор и основатель Synchron, подчеркнул важность этой интеграции: «Наши пациенты утратили способность воспроизводить какие-либо действия из-за неврологических заболеваний. Генеративный ИИ может предложить варианты, контекстуально соответствующие окружающей среде, а BCI позволит сделать человеку выбор на основании той или иной подсказки. Система по сути сохраняет фундаментальное право человека на свободу самовыражения и автономию».

Вот что сказал Марк по поводу новой технологии: «Как человек, который, скорее всего, потеряет способность общаться по мере прогрессирования неизлечимой на сегодня болезни, эта технология даёт мне надежду, что в будущем у меня всё ещё будет способ легко общаться с близкими».

Устройство Synchron имплантируется в кровеносные сосуды на поверхности моторной коры головного мозга через яремную вену с помощью малоинвазивной эндоваскулярной процедуры. После имплантации устройство способно выявлять и беспроводным способом передавать из мозга двигательные намерения, что позволяет парализованным людям управлять персональными устройствами без помощи рук, как бы наводя указатель мышки и кликая по опциям. Аналогичным образом человек сможет выбирать слова и фразы, предложенные ИИ. Важно отметить, что платформа Synchron не будет передавать сигналы мозга человека на сервер OpenAI — используется платформа самой компании в облаке AWS.

Обновлённая платформа BCI от Synchron, теперь с генеративным ИИ, позволит пациентам печатать текст с более естественной скоростью и тем самым значительно повысить качество общения. Это первый в своём классе коммерческий продукт, который позволит миллионам людей с нарушениями функций верхних конечностей оставаться с миром на связи.

Группа информаторов из компании OpenAI подала жалобу в Комиссию по ценным бумагам и биржам США (SEC), обвинив организацию в незаконном запрете сотрудникам предупреждать регуляторов о серьёзных рисках, которые может нести искусственный интеллект человечеству.

Источник изображения: Elizabeth Frantz/For The Washington Post

По сообщению газеты The Washington Post со ссылкой на анонимные источники, OpenAI заставляла сотрудников подписывать чрезмерно ограничительные трудовые договоры, соглашения о выходном пособии и соглашения о неразглашении информации. Эти документы могли привести к наказанию работников, если бы они самостоятельно связались с федеральными регуляторами по поводу деятельности OpenAI.

В трудовом договоре содержались в неявном виде такие строки: «Мы не хотим, чтобы сотрудники разговаривали с федеральными регуляторами», — заявил один из информаторов на условиях анонимности из-за страха возмездия. «Я не думаю, что компании, занимающиеся ИИ, способны создавать безопасные и отвечающие общественным интересам технологии, если они ограждают себя от проверок и инакомыслия», — добавил он.

Тем не менее, Ханна Вон (Hannah Wong), пресс-секретарь OpenAI, в ответ на обвинения заявила, что политика компании в отношении информаторов защищает права сотрудников на раскрытие информации и что компания приветствует дискуссии о влиянии технологий на общество. «Мы считаем, что серьёзное обсуждение этой технологии крайне важно, и уже внесли изменения в наш процесс увольнения, исключив из него пункты о неразглашении», — сказала она.

В свою очередь адвокат информаторов Стивен Кон (Stephen Kohn) подчеркнул, что такие соглашения угрожают сотрудникам уголовным преследованием, если они сообщат о каких-либо нарушениях властям, и что это противоречит федеральным законам и нормам, защищающим информаторов. Он также отметил, что соглашение не содержало исключений для раскрытия определённой информации о нарушениях закона, что также является нарушением норм SEC.

Письмо информаторов появилось на фоне растущих опасений, что OpenAI, изначально созданная как некоммерческая организация с альтруистической миссией, теперь ставит прибыль выше безопасности при создании своих технологий. Сообщается, что последняя модель ИИ ChatGPT, была выпущена до того, как компания завершила собственную процедуру проверки безопасности, из-за желания руководства уложиться в установленный срок.

Неназванные сотрудники OpenAI призвали SEC провести тщательное расследование и принять меры против OpenAI, включая применение штрафов за каждый ненадлежащий контракт и требование уведомить всех прошлых и нынешних сотрудников об их праве конфиденциально и на анонимной основе сообщать о любых нарушениях закона SEC.

Адвокат Крис Бейкер (Chris Baker) из Сан-Франциско, который не так давно выиграл дело против Google о трудовом соглашении и компенсацию в размере 27 миллионов долларов для сотрудников компании, заявил, что борьба с «Соглашением о неразглашении» в Кремниевой долине ведётся уже давно. Однако «работодатели понимают, что иногда ущерб от утечек информации намного больше, чем от судебных исков, и готовы идти на риск», — сказал Бейкер.

OpenAI разрабатывает систему искусственного интеллекта, в которой применяется новый подход — проект носит кодовое название Strawberry. Отличием новой модели является её способность рассуждать. Об этом сообщает Reuters со ссылкой на внутренний документ OpenAI, с которым ещё в мае ознакомились журналисты агентства.

Источник изображения: Mariia Shalabaieva / unsplash.com

Точную дату документа установить не удалось, но в нём подробно изложено, как компания намеревается использовать Strawberry для проведения исследований — сейчас модель находится в процессе разработки, сообщил источник издания. Не удалось также установить, насколько модель Strawberry близка к выходу в общий доступ. Она засекречена, и доступ к ней строго охраняется даже внутри OpenAI. В документе описан проект, в рамках которого Strawberry не просто даёт ответы на вопросы, а составляет план для автономной навигации ИИ в интернете для выполнения некоего «глубокого исследования».

В OpenAI отмалчиваться или отрицать существование проекта не стали. «Хотим, чтобы наши модели ИИ видели и понимали мир так же, как мы. Непрерывное исследование новых возможностей ИИ — обычная практика в отрасли, и мы разделяем уверенность, что в будущем эти системы будут совершенствовать свои способности рассуждать», — заявил представитель компании. Работа над проектом велась ещё в прошлом году, но тогда он назывался Q* («Q со звёздочкой»), а инцидент с увольнением Сэма Альтмана (Sam Altman) произошёл вскоре после его запуска и получения первых результатов. Двое сотрудников OpenAI сообщили о том, как в этом году стали свидетелями демонстраций возможностей Q* — модель успешно отвечала на сложные научные вопросы и справлялась с математическими задачами.

Источник изображения: Lukas / pixabay.com

Во вторник в компании прошло внутреннее общее собрание, на котором был показан некий исследовательский проект — ИИ с новыми навыками рассуждения, подобными человеческим. Представитель OpenAI подтвердил факт проведения встречи, но отказался рассказать, что на ней было; Reuters не удалось установить, шла ли речь о проекте Strawberry. Предполагается, что система нового поколения задаст новую планку в аспекте способности ИИ рассуждать — это стало возможным благодаря новому способу обработки модели, которая была предварительно обучена на очень больших наборах данных.

В последние месяцы OpenAI в конфиденциальном порядке давала понять разработчикам и другим сторонним лицам, что находится на пороге выпуска технологии, связанной со значительно более продвинутыми способностями ИИ к рассуждениям, утверждают анонимные источники. Особенностью Strawberry является уникальная методика обработки системы ИИ после процедуры обучения — чаще всего под ней подразумевается «тонкая настройка» модели. В случае Strawberry речь идёт о сходстве с методом StaR (Self-Taught Reasoner), который был разработан в 2022 году в Стэнфордском университете (США): он описывает самообучение ИИ и итеративную подготовку моделью собственных наборов данных для последующего дополнительного обучения — эта схема в теории может использоваться для создания модели ИИ, которая превзойдёт интеллект человеческого уровня.

Важнейшей способностью Strawberry является выполнение задач, которые требуют планирования наперёд и выполнения ряда действий в течение длительного периода времени. Для этого в OpenAI проводятся создание, обучение и оценка моделей на данных «глубокого исследования» — состав этого набора данных и продолжительность периода, на который ИИ составляется план, журналистам установить не удалось. Такая модель реализует собственные исследовательские проекты, в автономном режиме осуществляя веб-серфинг при помощи специального агента — пользователя компьютера (Сomputer-Using Agent, CUA). В рамках проверки работы такая модель будет выполнять задачи, которые поручаются инженерам по ПО и машинному обучению.

OpenAI считается мировым лидером в гонке за создание сильного искусственного интеллекта, не уступающего человеку. Тем временем сотрудники компании регулярно появляются в прессе и подкастах и выражают сильную обеспокоенность по поводу безопасности разрабатываемых ей систем.

Источник изображения: Growtika / unsplash.com

Недавно OpenAI выпустила некий продукт, проверка которого на безопасность была проведена поспешно, но выход самого продукта компания отмечала с размахом. «Они распланировали вечеринку по случаю запуска до того, как узнали, безопасен ли продукт. Мы фактически провалили процесс», — сообщил анонимный источник изданию Washington Post. Это уже не первое сообщение подобного рода — ранее бывшие и действующие сотрудники OpenAI подписали открытое письмо с призывом усовершенствовать практику обеспечения безопасности и прозрачности в компании вскоре после ухода отвечавших за эти вопросы Яна Лейке (Jan Leike) и Ильи Суцкевера (Ilya Sutskever).

На бумаге, однако всё выглядит совершенно иначе. Одно из положений устава OpenAI гласит, что при достижении сильного ИИ другим игроком компания будет оказывать помощь в обеспечении безопасности, а не состязаться с конкурентом. И закрытый характер моделей ИИ от OpenAI также объясняется соображениями безопасности. «Мы гордимся своим послужным списком, в котором представлены самые эффективные и безопасные системы ИИ, и верим в наш научный подход к решению проблемы угроз. Решающее значение имеют обстоятельные дебаты, учитывая важность этой технологии, и мы продолжим взаимодействовать с правительствами, гражданским обществом и другими сообществами по всему миру в интересах нашей миссии», — заявила ресурсу The Verge представитель OpenAI Тая Кристиансон (Taya Christianson).

При запуске передовой модели GPT-4o компания «не срезала углов» в аспекте безопасности, заверила Washington Post ещё один официальный представитель OpenAI Линдси Хелд (Lindsey Held). Но анонимный источник заявил, что срок экспертизы в отношении данного продукта был сокращён всего до одной недели. Ранее компания сообщила о запуске совместного проекта с Лос-Аламосской национальной лабораторией для выявления потенциальных рисков применения ИИ в научной работе. Стало также известно о существовании системы оценки прогресса ИИ в компании.

Общественность и власти обеспокоены тем, что развитие технологий ИИ контролируется небольшой горсткой компаний, а у среднестатистического человека нет рычагов влияния на них. Если заявления многочисленных анонимных источников о безопасности в OpenAI соответствуют действительности, то контроль такой компании над технологией, способной изменить жизнь человечества, действительно вызывает некоторую тревогу.

OpenAI представила новую систему уровней для оценки прогресса в создании искусственного интеллекта, способного превзойти человека. Этот шаг, по словам компании, необходим для того, чтобы помочь людям лучше понять вопросы безопасности и будущее ИИ.

Источник изображения: Andrew Neel/Unsplash

По сообщению издания Bloomberg, на прошедшем на днях общем собрании в OpenAI, руководство представило новую классификацию, которая будет использоваться для внутренних оценок и общения с инвесторами. По словам представителя компании, уровни варьируются от возможностей ИИ «сегодня», таких как взаимодействие на разговорном языке (уровень 1), до ИИ, способного выполнять работу целой организации (уровень 5).

Руководители OpenAI сообщили сотрудникам, что в настоящее время компания находится на первом уровне, но уже близка к достижению второго уровня, который они назвали «Мыслящие» (Reasoners). Этот уровень обозначает системы, способные решать базовые задачи на уровне человека, имеющего степень доктора наук. Также был показан исследовательский проект на базе модели GPT-4, продемонстрировавший новые навыки ИИ.

Источник изображения: David Paul Morris/Bloomberg

OpenAI также работает над созданием так называемого сильного искусственного интеллекта (AGI), который сможет выполнять большинство задач лучше человека. И хотя в настоящее время такая система ещё не существует, генеральный директор OpenAI Сэм Альтман (Sam Altman) заявляет, что AGI может быть создан в текущем десятилетии.

Интересно, что разработчики ИИ долгое время спорят о критериях достижения AGI. Так, в ноябре 2023 года сотрудники из Google DeepMind предложили собственную систему из пяти уровней ИИ, включая такие критерии, как «эксперт» и «сверхчеловек». Эти уровни напоминают систему, используемую в автомобильной промышленности для оценки степени автоматизации автономных автомобилей.

Однако OpenAI планирует использовать свою разработку уровней для оценки прогресса в создании безопасных и эффективных систем ИИ, которые смогли бы решать сложные задачи, но при этом оставаться под контролем человека. Компания придумала третий уровень, который будет называться «Агенты», имея в виду системы ИИ, которые могут выполнять действия под руководством пользователя. ИИ четвёртого уровня сможет генерировать инновационные идеи. А самый продвинутый пятый уровень будет называться «Организации».

Все перечисленные уровни были составлены руководителями и сотрудниками старшего звена OpenAI. Компания будет собирать отзывы от разработчиков, сотрудников, инвесторов и может корректировать уровни с течением времени.

Компания OpenAI объявила о сотрудничестве с Лос-Аламосской национальной лабораторией (США), где была разработана первая в мире атомная бомба, для изучения возможностей и рисков применения систем искусственного интеллекта в научных исследованиях.

Источник изображения: Growtika / unsplash.com

Компания при поддержке крупного научного учреждения намеревается оценить, какую помощь её последняя модель ИИ GPT-4o сможет оказать учёным в исследованиях и разрешении сложностей — для OpenAI это первый партнёрский проект такого рода. Среди прочего, компания намеревается оценить и эффективность входящего в GPT-4o голосового помощника, который пока недоступен общественности. Недавно OpenAI также заявила о сотрудничестве с компаниями Moderna и Color Health — она намеревается показать возможности ИИ в здравоохранении и биотехнологиях. Ранее её коллеги, включая подразделение Google DeepMind, изучали, как ИИ может помочь в создании новых препаратов.

Интенсивное развитие ИИ вызывает у общественности, политиков и работников отрасли опасения, что эти технологии могут использоваться злоумышленниками. «Потенциал роста возможностей ИИ бесконечен. Однако измерение и понимание любых возможных опасностей или неправильного применения передового ИИ, связанных с биологическими угрозами, остаются в значительной степени неизученными. Эта работа с OpenAI — важный шаг к установке рамок оценки текущих и будущих моделей», — прокомментировал проект научный сотрудник из Лос-Аламоса Эрик Лебрун (Erick LeBrun).

Microsoft и Apple отказались от места наблюдателя в совете директоров в OpenAI, появление которого привлекло нежелательное внимание со стороны надзирающих органов по обе стороны Атлантики. В Microsoft заявили, что в нём больше нет необходимости, поскольку за последние восемь месяцев управление стартапом значительно улучшилось.

Источник изображения: efes / pixabay.com

Компания Apple, которая в июне объявила о внедрении чат-бота ChatGPT в свои устройства, также не станет занимать кресло наблюдателя в совете директоров компании, хотя этого от неё ожидали, передаёт Financial Times со ссылкой на собственный источник. Представитель OpenAI заявил, что компания сформирует новый подход к взаимодействию с другими игроками, включая партнёров вроде Microsoft и Apple и инвесторов вроде Thrive Capital и Khosla Ventures.

Microsoft в ноябре прошлого года ввела в совет директоров OpenAI наблюдателя без права голоса после непродолжительного изгнания Сэма Альтмана (Sam Altman) с поста гендиректора компании. Представитель Microsoft мог посещать заседания совета директоров OpenAI, обладал доступом к конфиденциальной информации, но не имел права голоса по таким вопросам как выбор или назначение директоров.

Источник изображения: Mariia Shalabaieva / unsplash.com

Место наблюдателя и инвестиции в объёме более $10 млрд вызвали обеспокоенность у регулирующих органов в Великобритании, ЕС и США по поводу контроля корпорации над стартапом. Microsoft отказалась от места наблюдателя, сославшись на новые механизмы партнёрства с OpenAI, инновации и рост клиентской базы с момента возвращения Альтмана на пост гендиректора. «За последние восемь месяцев мы стали свидетелями значительного прогресса у недавно сформированного совета директоров и уверены в правильности направления движения компании. Учитывая всё это, мы больше не считаем, что наша ограниченная роль наблюдателя необходима», — гласит письмо, направленное Microsoft в OpenAI.

В июне Еврокомиссия установила, что отношения Microsoft и OpenAI не могут регулироваться местными нормами о слияниях и поглощениях, поскольку не было обнаружено подтверждения, что корпорация контролирует стартап. Но ведомство проведёт консультации с третьими лицами по вопросу эксклюзивного характера взаимодействия двух субъектов. Британские и американские регулирующие органы, однако, пока не уверены в независимости OpenAI.

Microsoft и OpenAI в стремлении доказать обратное всё активнее конкурируют друг с другом в области технологических решений для корпоративных клиентов. Microsoft также расширила ассортимент своих предложений на основе искусственного интеллекта в инфраструктуре Azure и наняла гендиректора Inflection в качестве главы направления потребительского ИИ — это расценивается как попытка диверсификации за пределы решений OpenAI.

Санкции властей США в отношении Китая распространяются и на услуги в сфере доступа к аппаратным и программным ресурсам, расположенным за пределами последней из стран. На этом фоне любопытным исключением выглядит способность китайских клиентов Microsoft Azure сохранить доступ к услугам OpenAI, хотя местным разработчикам прямой доступ к ним будет закрыт на этой неделе.

Источник изображения: Microsoft

Как сообщает The Information, ещё в прошлом месяце китайские клиенты OpenAI, которые использовали одноимённый программный интерфейс для разработки своих приложений в сфере искусственного интеллекта, получили уведомления о том, что они лишатся к нему доступа с 9 июля, поскольку территориально находятся в регионе, в котором данные услуги не предоставляются.

При этом опрошенные The Information источники подтвердили, что китайские клиенты облачного сервиса Microsoft Azure до сих пор сохраняют доступ к большим языковым моделям OpenAI. Американская корпорация Microsoft доступ к своему сервису Azure на территории Китая осуществляет через совместное предприятие с 21Vianet, но физически профильные серверные системы находятся за пределами Китая, чтобы исключить способность местных властей влиять на условия предоставления этого сервиса. В таких условиях китайские разработчики сохраняют возможность обучения языковых моделей OpenAI для собственных нужд. Напомним, Microsoft является ключевым инвестором в капитал OpenAI, поэтому услуги компаний тесно интегрируются друг с другом.

В начале прошлого года некий хакер смог проникнуть во внутренние системы обмена сообщениями OpenAI, разработчика ИИ-чат-бота ChatGPT, и похитил сведения о технологических наработках стартапа, пишет The New York Times. По словам источников издания, злоумышленник выведал подробности о новейших достижениях в сфере ИИ компании из дискуссий сотрудников на форуме, но ему не удалось взломать системы, где создаются её продукты и содержится информация о них.

Источник изображения: TheDigitalArtist / Pixabay

Поскольку никакая информация о клиентах или партнёрах не была украдена, OpenAI не стала предавать публичной огласке этот инцидент, хотя и сообщила о нём на общем собрании сотрудников в апреле прошлого года, а также уведомила совет директоров. Руководители не посчитали инцидент угрозой национальной безопасности, полагая, что хакер был частным лицом, и не стали информировать об этом ФБР и правоохранительные органы.

И всё же у некоторых сотрудников OpenAI возникли опасения, что иностранные государства, такие как Китай, могут украсть сведения об ИИ-технологиях, что в конечном итоге может поставить под угрозу национальную безопасность США. Леопольд Ашенбреннер (Leopold Aschenbrenner), менеджер OpenAI, направил совету директоров OpenAI записку, в которой сообщил о недостаточности мер, предпринимаемых компанией для защиты своих секретов от вмешательства иностранных государств.

Весной 2024 года Ашенбреннера уволили из-за утечки другой информации, но он посчитал увольнение политически мотивированным. В связи с этим бывший сотрудник рассказал о происшедшем в прошлом году взломе IT-инфраструктуры OpenAI. «Мы ценим обеспокоенность, которую Леопольд выражал во время работы в OpenAI, но это не является причиной его увольнения», — заявила пресс-секретарь OpenAI Лиз Буржуа (Liz Bourgeois). Также она опровергла утверждения Ашенбреннера о недостаточности мер компании по защите корпоративных систем от хакерских атак.

В прошлом месяце президент Microsoft Брэд Смит (Brad Smith) сообщил конгрессменам в ходе дачи показаний в Капитолии о том, как китайские хакеры использовали системы компании для широкомасштабной атаки на сети федерального правительства. Поэтому опасения по поводу возможной причастности Китая к атаке на сети OpenAI нельзя считать безосновательными.

Вместе с тем на данный момент нет убедительных доказательств того, что современные ИИ-технологии представляют собой серьёзную угрозу национальной безопасности США. Исследования OpenAI, Anthropic и других организаций показали, что ИИ не более опасен, чем поисковые системы. Даниэла Амодей (Daniela Amodei), соучредитель и президент Anthropic, сообщила, что, если бы сведения об ИИ-технологиях компании похитили или же передали другим, это не представляло бы никакого серьёзного риска. «Если бы наши знания передали кому-то другому, могло бы это нанести огромный вред обществу? Наш ответ: нет, вероятно, нет», — сказала представитель компании корреспонденту The New York Times.

Приложение OpenAI ChatGPT для macOS до недавнего времени сохраняло переписку с чат-ботом на компьютере в виде открытого текста — это файлы было легко найти и прочитать. Это значит, что злоумышленник или вредоносное приложение, получив доступ к компьютеру, имели возможность прочитать переписку с ChatGPT и содержащуюся в ней информацию.

Источник изображения: ilgmyzin / unsplash.com

На проблему обратил внимание пользователь соцсети Threads Педро Хосе Перейра Виейто (Pedro José Pereira Vieito). Он напомнил, что ещё в 2018 году с выходом macOS Mojave 10.14 доступ к пользовательским данным был заблокирован на уровне системы, но OpenAI решила пренебречь средствами защиты информации: текст хранился в незашифрованном виде, да ещё и в небезопасном местоположении. Чтобы подчеркнуть серьёзность проблемы, он написал собственное приложение, которое по нажатию кнопки считывало переписку с ChatGPT.

Источник изображения: Pedro José Pereira Vieito

К настоящему моменту ошибка исправлена — журналисты ресурса The Verge связались с OpenAI, и компания выпустила обновление приложения. «Мы осведомлены о проблеме и выпустили новую версию приложения, которая шифрует эту переписку. Мы стремимся предлагать удобный пользовательский интерфейс, сохраняя при этом наши высокие стандарты безопасности по мере развития наших технологий», — заявила представитель OpenAI Тая Кристиансон (Taya Christianson). После установки обновления приложение для перехвата содержимого чатов выполнять свою функцию перестало.

Клиент ChatGPT для macOS распространяется только через сайт OpenAI, а в таком ПО нет гарантии, что соблюдаются требования Apple по изолированной среде, которые применяются к приложениям в Mac App Store. OpenAI также предоставила себе право просматривать переписку пользователей с ChatGPT в целях безопасности и дальнейшего обучения своих моделей, но у пользователей есть возможность от этого отказаться.