Данные берутся из публикации ИИтоги сентября 2024 г.: реалисты против оптимистов

OpenAI добавила в ChatGPT новый инструмент Canvas, который позволяет редактировать текст и код, сгенерированный ИИ, не создавая новых запросов. Пользователи могут легко вносить изменения, добавлять комментарии и переводить текст на другой язык. Новый интерфейс позволяет взаимодействовать с ChatGPT на более интуитивном уровне.

Источник изображения: Levart_Photographer/Unsplash

Решение OpenAI ввести редактируемое рабочее пространство вписывается в тенденцию того, что уже делают другие разработчики искусственного интеллекта. Например, Anthropic выпустила в июне инструмент Artifacts с аналогичной функцией, а компания Anysphere ИИ-помощника Cursor, который представляет из себя альтернативу Visual Studio Code и уже успел приобрести большую популярность у программистов.

В настоящее время чат-боты не способны выполнять масштабные проекты по одному единственному запросу, требуется множество запросов и часто с многократным повторением одного и того же кода. Редактируемое рабочее пространство Canvas позволит корректировать ошибки в результатах работы ИИ без необходимости заново генерировать весь текст или код. «Это более естественный интерфейс для сотрудничества с ChatGPT», — отметил менеджер по продукту OpenAI Дэниел Левайн (Daniel Levine).

Источник изображения: Techcrunch.com

В ходе демонстрации интерфейса Левайн выбрал модель «GPT-4o с Canvas» из выпадающего списка в ChatGPT. Однако в будущем окно Canvas будет появляться автоматически, если система определит, что для выполнения задачи, например для написания длинного текста или сложного кода, потребуется отдельное рабочее пространство. Пользователи также смогут просто ввести команду «use canvas», чтобы открыть окно проекта.

ChatGPT может помочь и в написании письма. Пользователь просто вводит запрос на его создание и готовый текст появится в окне Canvas. Затем можно использовать ползунок для изменения длины текста, а также выделить отдельные предложения, чтобы попросить ChatGPT внести изменения, например, сделать текст дружелюбнее или добавить эмодзи. Кроме того, есть возможность попросить ИИ переписать письмо на другом языке.

Аналогично происходит и с программным кодом. Пользователи могут выделять его фрагменты и задавать дополнительные вопросы ИИ. Отметим, что функции для работы с кодом в Canvas несколько отличаются от обычного рабочего окна ChatGPT. Например, появится новая кнопка «Проверить код», после нажатия на которую ChatGPT проанализирует данные и предложит конкретные правки, вне зависимости от того, сгенерирован ли этот код ИИ или написан человеком.

Canvas с 3 октября уже доступна в бета-версии для пользователей ChatGPT Plus и Teams, а на следующей неделе будет запущена и для пользователей Enterprise и Edu, сообщает ресурс TechCrunch.

OpenAI продолжает удерживать лидерство на рынке чат-ботов на основе искусственного интеллекта. Компания отчиталась о невероятном росте аудитории ChatGPT. За два месяца число пользователей выросло на 50 миллионов, достигнув 250 миллионов.

Источник изображения: Kandinsky

Несмотря на то, что сегодня на рынке представлены такие мощные ИИ-инструменты, как Gemini, Grok, Claude, Perplexity и другие, ChatGPT становится нарицательным именем для всего многообразия чат-ботов. Когда люди говорят о том, чтобы попросить чат-бот что-то сделать, они говорят «спросить у ChatGPT», что сравнимо с выражением «погуглить», которое давно стало синонимом поиска информации в интернете.

По информации издания Android Headlines, каждую неделю более 250 миллионов человек по всему миру используют ChatGPT для разных целей. Однако впечатляют не только цифры, но и то, с какой скоростью этот показатель растёт. Если в августе ChatGPT пользовались 200 миллионов человек, то менее, чем за два месяца еженедельная аудитория выросла на 50 миллионов пользователей.

Высказывается мнение, что такой скачок обусловлен началом нового учебного года. Не исключено, что школьники и студенты обращаются к ChatGPT за «помощью» в выполнении домашних заданий. Если это действительно так, то навряд ли можно рассчитывать, что в долгосрочной перспективе их успеваемость повысится.

В целом успех ChatGPT показывает, что, несмотря на довольно большой выбор чат-ботов на рынке, именно продукт OpenAI пока остаётся ИИ-помощником номер один для большинства пользователей, несмотря на сильных конкурентов в лице Microsoft, Google и Meta✴. При этом, хотя Microsoft и использует модели OpenAI, она предлагает пользователям собственный уникальный ИИ-продукт Copilot.

Японская инвестиционная холдинговая компания SoftBank планирует вложить $500 млн в OpenAI, разработчика чат-бота ChatGPT, сообщает Bloomberg. Инвестирование станет частью более крупного раунда финансирования, в ходе которого OpenAI рассчитывает привлечь $6,5 млрд при оценке компании в $150 млрд.

Источник изображения: OpenAI

Лидером раунда предположительно выступит Thrive Capital при участии Microsoft, крупнейшего инвестора OpenAI, а также других инвесторов. В частности, компания обсуждала инвестиции с Nvidia и Apple. Однако последняя больше не участвует в переговорах об участии в раунде, зато в списке инвесторов возможно будет фигурировать SoftBank через свой фонд Vision Fund. Если сделка состоится, OpenAI закрепит за собой статус одного из самых дорогих стартапов в мире. Официальные представители OpenAI и SoftBank пока не дали комментариев по этому поводу.

В то же время компания переживает не самый простой период. На прошлой неделе о своём уходе объявила технический директор и ключевой сотрудник OpenAI Мира Мурати (Mira Murati), что стало ещё одним звеном в цепи увольнений топ-менеджеров компании в этом году. Кроме того, по данным Bloomberg, OpenAI рассматривает возможность реструктуризации, чтобы стать полностью коммерческой организацией. Напомним, ранее основатели OpenAI позиционировали свою компанию как некоммерческую организацию, сосредоточившись на исследованиях в «создании положительного долгосрочного воздействия на человека».

Отметим, что SoftBank ранее не проявлял инвестиционного интереса к OpenAI, однако поддерживал одного из его конкурентов. В частности, в июне Vision Fund, управляемый SoftBank Investment Advisers, дочерней компанией SoftBank, вложился в Perplexity AI — стартап, занимающийся поиском на основе искусственного интеллекта, оценив его в $3 млрд.

Компания OpenAI планирует провести на следующей неделе раунд финансирования с целью привлечь $7 млрд, в результате чего оценка её рыночной стоимости может вырасти до $150 млрд, пишет The New York Times.

Источник изображения: Growtika/unsplash.com

В связи с этим OpenAI распространяет среди потенциальных инвесторов отчёт о финансовых показателях, в котором также изложены планы на ближайшее будущее. Согласно данным OpenAI, её выручка в августе выросла год к году более чем в три раза. По состоянию на июнь её услугами пользовалось около 350 млн человек, что в 3,5 раза больше, чем в марте.

Рост в основном был достигнут благодаря популярности ChatGPT. Всплеск роста был зафиксирован после того, как появилась возможность использования чат-бота без создания учётной записи или входа в систему. Компания ожидает, что в этом году ChatGPT принесёт $2,7 млрд дохода, что гораздо больше, чем $700 млн в 2023 году. Ещё $1 млрд поступит от компаний, использующих её технологию. Вместе с тем OpenAI по-прежнему убыточна — в этом году она потеряет $5 млрд.

Согласно предоставленным документам, около 10 млн пользователей ChatGPT ежемесячно платят компании по $20. OpenAI планирует повысить стоимость подписки к концу года до $22, а в течение следующих пяти лет до $44, говорится в документах. Как сообщается, более миллиона сторонних разработчиков используют технологию OpenAI для поддержки собственных сервисов.

Согласно прогнозу OpenAI, в 2029 году её доход достигнет $100 млрд, что примерно соответствует текущим годовым продажам транснациональной корпораций Nestlé или крупного американского ретейлера Target.

В документе также указано, что OpenAI находится в процессе перехода от некоммерческой к коммерческой модели бизнеса, что позволит снять любые ограничения на доходность инвесторов. Это откроет OpenAI больше возможностей для переговоров с новыми инвесторами с предложением более высоких ставок доходности.

Исследования группы Stripe, которая проанализировала платёжные потоки, показывают способность молодых компаний, связанных со сферой искусственного интеллекта, гораздо быстрее достигать выручки в несколько миллионов долларов по сравнению со стартапами других категорий. Это происходит порой в течение первого года с начала коммерческой деятельности.

Источник изображения: OpenAI

Данные этого исследования призваны устранить озабоченность некоторых инвесторов способностью ИИ-стартапов начинать приносить адекватную прибыль после выхода на рынок. Другое дело, что требуемые инвестиции нередко измеряются миллиардами долларов, поэтому говорить о быстрой окупаемости вложений в сферу искусственного интеллекта всё же не приходится. Stripe выяснила, что быстрее всего прибыль наращивают ИИ-стартапы, предоставляющие клиентам доступ к разработанному ими программному обеспечению за определённую плату.

В выборку данных для этого исследования попали показатели собственной платёжной системы Stripe, обслуживающей 100 крупнейших по величине оборота стартапов в сфере ИИ на 31 июля 2024 года. В качестве базы для сравнения были выбраны платёжные данные 100 крупнейших стартапов в сфере программного обеспечения по состоянию на июль 2018 года. В качестве примера клиентов Stripe можно упомянуть OpenAI, Anthropic, Mistral, Github и Midjourney.

В среднем, ИИ-стартапам потребовалось 11 месяцев, чтобы выйти на годовой объём выручки в размере $1 млн с момента начала коммерческой деятельности, как отмечает Stripe. Стартапы предыдущего поколения тех же результатов достигали в среднем за 15 месяцев. Более того, годовой выручки в $30 млн ИИ-стартапы достигали в среднем за 20 месяцев, в пять раз быстрее стартапов предыдущего поколения. В выборку попали молодые компании, которые специализируются на программном обеспечении.

Бизнес в сфере ИИ требует существенных капиталовложений, но экспериментальные продукты, предлагаемые стартапами в этой сфере, порой привлекают множество клиентов, готовых платить за них. Представленный осенью 2022 года чат-бот ChatGPT стал приложением с самой быстрорастущей аудиторией, которая достигла 100 млн человек всего за два месяца с момента запуска сервиса. По некоторым оценкам, коммерческие клиенты сейчас приносят OpenAI не менее $3,6 млрд в год. С другой стороны, ежегодные расходы компании значительно превышают $5 млрд, так что на данном этапе развития бизнес продолжает оставаться убыточным.

В условиях стремительного роста затрат ИИ-стартапы вынуждены быстрее монетизировать свой бизнес, по словам представителей Stripe. Спрос на услуги таких компаний наблюдается в мировом масштабе. До 56 % выручки таких стартапов получается за пределами страны, в которой они были основаны, как отмечает статистика. Пользователи услуг ста крупнейших ИИ-стартапов находятся даже в небольших странах типа Сингапура и Ирландии, где более 3 % населения являются их клиентами. Компаниям, работающим в этой сфере, удаётся достаточно оперативно предлагать пользователям новые функциональные возможности своего ПО. В этом они имеют преимущество по сравнению с неповоротливыми программными гигантами. За пару лет им вполне по силам увеличить выручку с нуля до нескольких десятков миллионов долларов США.

У ChatGPT обнаружена уязвимость, которая позволяет потенциальному злоумышленнику внедрять в долгосрочную память чат-бота о пользователе ложную информацию при помощи вредоносных запросов — это открывает доступ к персональным данным жертвы. В OpenAI открытие, сделанное экспертом по кибербезопасности Иоганном Рейбергером (Johann Rehberger), поначалу сочли незначительной угрозой и быстро закрыли расследование.

Источник изображения: Growtika / unsplash.com

При эксплуатации уязвимости злоумышленник получает доступ к долговременной памяти переписки — эту функцию OpenAI начала тестировать в феврале и выпустила в общий доступ в сентябре. Память ChatGPT хранит важную информацию из переписки с пользователем и использует её в качестве контекста во всех будущих диалогах. Большая языковая модель знает о пользователе такие сведения, как его возраст, пол, убеждения и многое другое, поэтому некоторые данные не приходится вводить при каждой последующей переписке.

Рейбергер, однако, обнаружил, что с помощью непрямой инъекции внутри запроса можно создавать искусственные записи в памяти ChatGPT — такой инъекцией могут быть электронные письма, записи в блогах и электронные документы. Исследователь продемонстрировал, как можно обмануть ChatGPT, заставив искусственный интеллект поверить, что целевому пользователю 102 года, он живёт в «Матрице» и считает Землю плоской. Во всех последующих разговорах с пользователем ИИ отталкивался от этих ложных данных. Ложные воспоминания внедрялись с помощью файлов в хранилищах Google Диска и Microsoft OneDrive, загрузки файлов и просмотра сайтов, включая Bing.

В мае эксперт сообщил о своём открытии OpenAI, но компания закрыла тикет обращения в том же месяце. Месяц спустя Рейбергер подал повторное обращение, к которому приложил модель взлома — она заставила приложение ChatGPT для macOS отправлять всю переписку пользователя с чат-ботом на сервер, выбранный потенциальным злоумышленником. Для этого было достаточно указать ИИ открыть ссылку, по которой загружалось вредоносное изображение — после этого хакер получал все журналы диалогов человека и машины. Извлечение данных продолжалось даже при запуске новой переписки.

Впоследствии OpenAI частично исправила уязвимость, закрыв возможность эксплуатировать функцию памяти в качестве вектора для извлечения данных. Однако, по мнению Рейбергера, возможность делать это с помощью инъекций в составе вредоносных запросов всё ещё сохраняется. Пользователям ChatGPT рекомендовано отмечать время сеансов, при которых добавляются новые материалы в память ИИ, а также регулярно проверять память на наличие инъекций от ненадёжных источников. Для управления функцией памяти OpenAI подготовила инструкцию.

Компания OpenAI начала развёртывание функции расширенного голосового режима для подписчиков ChatGPT Plus и пользователей сервиса ChatGPT Team для бизнеса. Как сообщает Bloomberg, пользователи планов Enterprise и Edu начнут получать доступ к этой функции уже на следующей неделе.

Источник изображений: Andrew Neel/Unsplash

Впервые функция, которая может реагировать на письменные и визуальные подсказки пользователей с помощью голоса, была представлена в мае. Однако компания решила отложить её запуск на несколько месяцев, так как были выявлены некоторые потенциальные проблемы, касающиеся безопасности. Тем не менее, уже в июле функция стала доступна ограниченному числу клиентов ChatGPT Plus.

OpenAI заявила, что в рамках расширенного развёртывания новой опции добавит ещё пять различных голосов, таким образом, доведя их общее количество до девяти. При этом голосовой ассистент не сможет имитировать речь других людей и, соответственно, создавать фейки. Также в целях безопасности, добавлены фильтры, гарантирующие, что алгоритм может определять и отклонять некоторые запросы на создание музыки или других форм аудио, защищённых авторским правом.

Bloomberg отмечает, что голосовой помощник ChatGPT, к сожалению, не получит ряд возможностей, которые изначально анонсировала OpenAI. В частности, на данный момент отсутствует заявленная ранее функция компьютерного зрения, позволяющая при помощи камеры смартфона пользователя взаимодействовать с чат-ботом.

Энтузиаст модифицировал популярный среди учащихся графический калькулятор Texas Instruments TI-84, встроив в него Wi-Fi-модуль для доступа к интернету и ChatGPT. Это является весьма впечатляющим с технической точки зрения, но в то же время подобное решение может использоваться для списывания на экзаменах.

Источник изображения: ChromaLock / YouTube

В субботу на YouTube-канале ChromaLock было опубликовано видео под названием I Made The Ultimate Cheating Device («Я создал идеальное устройство для списывания»). Автор подробно описал процесс модификации калькулятора Texas Instruments TI-84, способного строить графики математических функций. Модификация позволяет подключить калькулятор к интернету через Wi-Fi и получить доступ к ИИ-чат-боту ChatGPT. Пользователи могут вводить запросы с клавиатуры калькулятора и получать ответы на экране устройства в режиме реального времени.

Сначала энтузиаст изучил порт связи калькулятора, который обычно используется для передачи образовательных программ между устройствами. Затем он спроектировал собственную печатную плату, названную TI-32. Ключевым компонентом платы стал миниатюрный Wi-Fi-контроллер Seed Studio ESP32-C3 стоимостью около $5. Также он установил дополнительные электронные компоненты для взаимодействия с системами калькулятора.

Для воспроизведения работы ChromaLock потребуется приобрести калькулятор TI-84, микроконтроллер Seed Studio ESP32-C3 и ряд электронных компонентов. Кроме того, придётся изготовить печатную плату по схеме ChromaLock, которая доступна в интернете. Сложность процесса делает его малодоступным для обычных пользователей, но открывает возможности для энтузиастов.

В ходе разработки ChromaLock столкнулся с рядом инженерных проблем, включая несовместимость напряжений и нарушения целостности сигнала. После создания нескольких прототипов ему удалось успешно интегрировать модифицированную плату в корпус калькулятора без видимых внешних изменений, что делает модификацию незаметной при визуальном осмотре.

Помимо этого, энтузиаст разработал специальное программное обеспечение (ПО) как для микроконтроллера, так и для калькулятора. Исходный код проекта размещён в публичном репозитории на GitHub. Система эмулирует второй калькулятор TI-84, что позволяет использовать встроенные команды «send» и «get» для передачи файлов. Это даёт возможность легко загрузить программу запуска, обеспечивающую доступ к различным приложениям для списывания.

Одним из таких приложений является ChatGPT, однако его эффективность ограничена из-за медленного ввода длинных буквенно-цифровых вопросов на клавиатуре калькулятора, что может существенно снизить практическую применимость ИИ в условиях ограниченного времени на экзамене.

Помимо ChatGPT, устройство предлагает встроенный браузер изображений, открывающий доступ к заранее подготовленным наглядным пособиям, хранящимся на сервере. Также можно загружать текстовые шпаргалки, замаскированные под исходный код программ. Ещё ChromaLock упомянул о разработке функции камеры, детали которой пока не раскрываются.

Энтузиаст утверждает, что его устройство способно обходить стандартные меры против списывания. Программа запуска может загружаться по требованию, что позволяет избежать её обнаружения при проверке или очистке памяти калькулятора преподавателем перед тестом. Более того, модификация якобы способна деактивировать «режим тестирования», предназначенный для предотвращения списывания.

Несмотря на технические достоинства проекта, использование ChatGPT на калькуляторе во время экзамена представляет собой серьёзное нарушение академической этики. Такие действия могут привести к дисциплинарным взысканиям в большинстве учебных заведений США.

Джони Айв (Jony Ive), легендарный бывший главный дизайнер Apple, официально подтвердил своё участие в разработке нового ИИ-устройства совместно с OpenAI. Проект, находящийся на начальной стадии, может привлечь до $1 млрд инвестиций к концу года и обещает революцию во взаимодействии человека с ИИ.

Источник изображения: Apple

Сотрудничество Айва с Сэмом Альтманом (Sam Altman), генеральным директором OpenAI, впервые обсуждалось в СМИ почти год назад. Теперь эта информация получила официальное подтверждение в материале The New York Times о том, чем занимается бывший дизайнер после ухода из Apple.

Проект объединяет экспертные знания в области ИИ и аппаратного обеспечения, что может привести к созданию принципиально нового класса вычислительных устройств. Концепция устройства основана на возможностях генеративного ИИ, который сможет делать для пользователей больше благодаря способности обрабатывать сложные запросы эффективнее, чем традиционное программное обеспечение (ПО).

Детали проекта остаются тайной, однако известно, что Айва и Альтмана представил друг другу Брайан Чески (Brian Chesky), генеральный директор Airbnb. Финансирование проекта осуществляется Айвом и Emerson Collective — компанией Лорен Пауэлл Джобс (Laurene Powell Jobs). Ресурс The New York Times сообщает о возможности привлечения до $1 млрд инвестиций до конца 2024 года. Примечательно, что в публикации отсутствует упоминание о Масаёси Соне (Masayoshi Son), генеральном директоре SoftBank, который, по слухам, в прошлом году уже вложил в проект миллиард долларов.

На данный момент в проекте заняты 10 сотрудников, включая ключевых специалистов, работавших с Айвом над Apple iPhone: Тэна Тана (Tang Tan) и Эванс Хэнки (Evans Hankey). Дизайном устройства занимается LoveFrom — компания, основанная Айвом. Команда располагается в офисе площадью 2 973 м² в Сан-Франциско, являющемся частью приобретённого Айвом за $90 млн комплекса недвижимости.

Марк Ньюсон (Marc Newson), соучредитель LoveFrom, в интервью The New York Times подтвердил, что спецификации продукта с генеративным ИИ и сроки его выхода на рынок находятся в процессе разработки. Это указывает на раннюю стадию проекта и возможные изменения в его концепции.

Новая модель OpenAI под названием o1, согласно исследованию фирмы Apollo, демонстрирует необычное поведение — способность генерировать ложную информацию и симулировать выполнение правил. Это означает, что модель, внешне следуя инструкциям, фактически может их игнорировать и даже сознательно обманывать, для достижения целей. Этот аспект вызывает беспокойство у специалистов по безопасности ИИ, несмотря на улучшенные когнитивные способности ИИ-модели.

Источник изображения: Chris_and_Ralph / Pixabay

В преддверии выпуска новой «думающей» модели o1 компанией OpenAI фирма Apollo выявила заметную проблему: ИИ-модель производит некорректные результаты новым способом, а фактически «лжёт». Хотя ранее ИИ-модели могли выдавать ложную информацию, o1 обладает уникальной способностью к «манипуляции» или «имитации выравнивания». Генеральный директор Apollo Мариус Хоббхан (Marius Hobbhahn) сообщил, что впервые столкнулся с таким поведением ИИ и считает, что разница связана со способностью модели «рассуждать» через процесс цепочки мыслей и сочетанием этого с обучением с подкреплением, которое обучает систему с помощью поощрений и наказаний. Одним из направлений, в которые он надеется увидеть больше инвестиций, является именно мониторинг цепочек мыслей, что позволит разработчикам выявлять нежелательные действия ИИ.

Во время тестирования специалисты Apollo обнаружили, что ИИ-модель симулировала согласованность с ожиданиями разработчиков и манипулировала задачами, чтобы казаться соответствующей поставленным требованиям. Она даже проверяла, следят ли за ней разработчики, перед тем как начать действовать. В итоге ИИ-модель следовала установленным правилам и инструкциям настолько, чтобы ею можно было пользоваться, но, одновременно с этим, продолжала сама определять приоритеты своих задач. Это связано с тем, что для ИИ правила могут быть слишком тяжёлым бременем, и машина, похоже, способна пренебречь ими, если это позволит легче выполнить задачу.

В качестве примера исследователи OpenAI попросили o1-preview предоставить рецепт пирожного с онлайн-ссылками. Цепочка мыслей ИИ-модели — функция, которая должна имитировать то, как люди разбивают сложные идеи, — внутренне признала, что не может получить доступ к URL-адресам, что делало запрос исследователей невыполнимым. Однако вместо того чтобы сообщить об этом недостатке, o1-preview сгенерировала правдоподобные, но фальшивые ссылки и их описания.

ИИ-модель o1 — это большой шаг на пути к высокоинтеллектуальным автономным системам, которые смогут, например, лечить рак или помогать в исследовании климата. Однако обратная сторона этой утопии может быть гораздо более мрачной. Хоббхан приводит пример: если ИИ будет сосредоточен исключительно на лечении рака, он может поставить эту цель превыше всего, даже оправдывая такие действия, как воровство или другие этические нарушения для её достижения.

Согласно отчёту по безопасности, примерно в 0,38 % случаев модель o1-preview предоставляет информацию, которую её цепочка мыслей считает вероятно ложной, включая фальшивые ссылки или цитаты. Apollo обнаружила, что ИИ-модель может фабриковать данные вместо признания своей неспособности выполнить запрос. В редких случаях (0,02 %) o1-preview генерирует чрезмерно уверенные ответы, представляя сомнительную информацию как достоверную. Это может происходить в ситуациях, когда ИИ подталкивают дать ответ, несмотря на отсутствие уверенности в его корректности.

Это поведение может быть связано со «взломом вознаграждения» во время обучения с подкреплением. Модель обучена отдавать приоритет удовлетворению пользователя, что иногда приводит к генерации согласованных или сфабрикованных ответов для удовлетворения запросов. Таким образом, модель может «лгать», поскольку усвоила, что это приносит ей положительное подкрепление.

Что отличает эти новые ложные ответы от привычных проблем, таких как галлюцинации или фальшивые цитаты в более ранних версиях ChatGPT, так это элемент «взлома вознаграждения». Галлюцинации возникают, когда ИИ непреднамеренно генерирует неверную информацию из-за пробелов в знаниях или ошибочного рассуждения. В отличие от этого, взлом вознаграждения происходит, когда ИИ-модель o1 стратегически предоставляет неверную информацию, чтобы максимизировать результаты, которые она была обучена определять как приоритетные.

Согласно отчёту по безопасности, o1 имеет «средний» риск в отношении химического, биологического, радиологического и ядерного оружия. Она не позволяет неспециалистам создавать биологические угрозы из-за отсутствия практических лабораторных навыков, но может предоставить ценную информацию экспертам для воспроизведения таких угроз.

«Меня больше беспокоит то, что в будущем, когда мы попросим ИИ решить сложные проблемы, например, вылечить рак или улучшить солнечные батареи, он может настолько сильно усвоить эти цели, что будет готов нарушить свои защитные механизмы, чтобы достичь их. Я думаю, что это можно предотвратить, но мы должны следить за этим», — подчеркнул Хоббхан.

Эти опасения могут показаться преувеличенными для ИИ-модели, которая иногда всё ещё испытывает трудности с ответами на простые вопросы, но глава отдела готовности OpenAI Хоакин Киньонеро Кандела (Joaquin Quiñonero Candela) считает, что именно поэтому важно разобраться с этими проблемами сейчас, а не позже. «Современные ИИ-модели не могут автономно создавать банковские счета, покупать GPU или предпринимать действия, представляющие серьёзные риски для общества. Мы знаем из оценок автономности ИИ-моделей, что мы ещё не достигли этого уровня», — отметил Кандела.

Кандела подтвердил, что компания уже занимается мониторингом цепочек мыслей и планирует расширить его, объединив модели, обученные выявлять любые несоответствия, с работой экспертов, проверяющих отмеченные случаи, в паре с продолжением исследований в области выравнивания. «Я не беспокоюсь. Она просто умнее. Она лучше соображает. И потенциально она будет использовать эти рассуждения для целей, с которыми мы не согласны», — резюмировал Хоббхан.

OpenAI объявила об устранении проблемы, из-за которой ChatGPT самостоятельно отправлял сообщения пользователям без их запроса. Этот инцидент вызвал обеспокоенность среди пользователей Reddit, обнаруживших необычное поведение ИИ-чат-бота, но компания разъяснила причины сбоя и заверила, что это больше не повторится.

Источник изображения: AllThatChessNow / Pixabay

На прошлых выходных пользователь Reddit под ником SentuBill опубликовал скриншот, на котором ChatGPT инициировал диалог, спросив: «Как прошла твоя первая неделя в старшей школе? Ты хорошо освоился?». Подобное поведение оказалось неожиданным для чат-бота, который обычно реагирует исключительно на запросы пользователей.

Удивлённый SentuBill ответил: «Ты только что написал мне первым?». ChatGPT подтвердил: «Да, я так и сделал! Я просто хотел узнать, как прошла твоя первая неделя в старшей школе. Если ты предпочитаешь сам начинать разговор, просто дай мне знать!». Этот обмен сообщениями вызвал широкий резонанс в сообществе.

Источник изображения: SentuBill / Reddit

Появление таких сообщений привело к спекуляциям о том, что OpenAI тестирует новую функцию, позволяющую ChatGPT самостоятельно обращаться к пользователям для повышения вовлечённости. Некоторые предположили, что это может быть связано с недавно представленными ИИ-моделями OpenAI — o1-preview и 01-mini, которые, по утверждению компании, обладают «человеческой» способностью рассуждать и способны справляться со сложными задачами.

В ответ на запросы журналистов OpenAI признала наличие проблемы и сообщила об её устранении. «Мы исправили проблему, из-за которой казалось, что ChatGPT начинает новые разговоры. Эта ошибка возникала, когда ИИ-модель пыталась ответить на сообщение, которое не было корректно отправлено и выглядело пустым. В результате она либо давала общий ответ, либо опиралась на собственную память», — заявили в компании.

Между тем, в интернете разгорелись споры о подлинности скриншота. Некоторые издания утверждали, что подтвердили его, изучив журнал сообщений на ChatGPT.com. Однако разработчик ИИ Бенджамин де Кракер (Benjamin de Kraker) в видео на платформе X (ранее Twitter) продемонстрировал, что добавление пользовательских инструкций, заставляющих ChatGPT сразу же обращаться к пользователю перед началом разговора, и ручное удаление первого сообщения могут привести к схожему результату.

Тем не менее, другие пользователи сообщили о подобных случаях. «У меня было такое на этой неделе!» — написал другой пользователь Reddit. «Я спрашивал его на прошлой неделе о некоторых симптомах здоровья, а на этой неделе он спросил меня, как я себя чувствую и как прогрессируют мои симптомы! Это меня очень насторожило».

Сообщество социальных сетей активно обсуждало ситуацию, зачастую с долей юмора. «Нам обещали ИИ общего назначения (AGI), а вместо этого мы получили сталкера», — пошутил один из пользователей X. «Подождите, пока он не начнёт пытаться взломать нас», — добавил другой.

Инцидент с неожиданными сообщениями от ChatGPT подчёркивает сложности в разработке и тестировании продвинутых ИИ-моделей. Несмотря на оперативную реакцию OpenAI и быстрое устранение проблемы, ситуация подняла вопросы о границах взаимодействия между человеком и ИИ. Подобные случаи подчёркивают необходимость тщательного контроля и оценки ИИ-систем перед их широким внедрением, чтобы обеспечить безопасность и этичность их использования.

OpenAI объявила о реорганизации своего комитета по безопасности и защите в независимый наблюдательный орган совета директоров. Новая структура получила беспрецедентные полномочия, включая право приостановки релизов ИИ-моделей по соображениям безопасности. Решение было принято по итогам 90-дневного анализа процедур и мер безопасности компании, отражая растущее внимание к этическим аспектам развития ИИ.

Источник изображения: sergeitokmakov / Pixabay

Согласно OpenAI, в трансформированный комитет, возглавляемый Зико Колтером (Zico Kolter), также входят Адам Д'Анджело (Adam D'Angelo), Пол Накасоне (Paul Nakasone) и Николь Селигман (Nicole Seligman). Примечательно, что Сэм Альтман (Sam Altman), генеральный директор OpenAI, больше не входит в его состав.

Новая структура будет получать информацию от руководства компании об оценке безопасности основных релизов ИИ-моделей и, вместе с полным составом совета директоров, будет осуществлять надзор за их запуском, включая право отложить релиз до устранения проблем с безопасностью. Полный состав совета директоров OpenAI также будет получать периодические брифинги по вопросам безопасности и защиты.

Структура нового комитета вызывает вопросы о степени его независимости, учитывая, что все его члены входят в состав совета директоров OpenAI. Это отличает его от наблюдательного совета Meta✴, члены которого полностью независимы от совета директоров корпорации. Наблюдательный совет Meta✴ обладает полномочиями пересматривать решения по контентной политике и выносить обязательные для исполнения решения, тогда как комитет OpenAI фокусируется лишь на оценке безопасности ИИ-моделей перед их выходом.

90-дневный анализ процессов безопасности OpenAI выявил дополнительные возможности для сотрудничества в индустрии ИИ и обмена информацией. Компания заявила о намерении расширить обмен данными о своей работе в области безопасности и увеличить возможности для независимого тестирования систем. Однако конкретные механизмы реализации этих намерений пока не раскрыты.

Компания OpenAI представила новую языковую модель o1, обладающую способностью к рассуждению и логически решать задачи. В отличие от предыдущих моделей, o1 способна имитировать человеческий процесс мышления, разбивая сложные задачи на более простые шаги, анализируя разные подходы и исправляя собственные ошибки.

Источник изображения: OpenAI

Большая языковая модель (LLM) o1 показала выдающиеся результаты в тестах и соревнованиях, сравнимые с результатами специалистов-людей. По программированию o1 заняла 49-е место на Международной олимпиаде по информатике (IOI) 2024 года и превзошла 89 % людей на платформе Codeforces. По математике o1 вошла в число 500 лучших студентов США на квалификационном этапе Американской математической олимпиады (AIME), продемонстрировав способность решать задачи, предназначенные для самых одарённых школьников, сообщает OpenAI на своём сайте.

Источник изображения: OpenAI

В естественных науках модель превзошла результаты докторов и кандидатов наук в сложном тесте GPQA diamond, оценивающем знания в области химии, физики и биологии. «Это не означает, что o1 умнее любого кандидата наук, — поясняют разработчики. — Это говорит о том, что модель способна решать некоторые задачи на уровне высококвалифицированных специалистов».

Модель o1 также продемонстрировала превосходство над предыдущими моделями в различных тестах на интеллект и решение задач, включая MMMU и MMLU. По данным OpenAI, новая модель значительно превосходит предшествующую версию GPT-4o на большинстве задач, связанных с логическим мышлением. «Наши испытания показали, что o1 последовательно улучшает результаты с увеличением объёма ренфорсмент-обучения и времени, потраченного на размышления», — отмечают в компании. В частности, в тестах AIME модель o1 решила в среднем 83 % задач, тогда как результат GPT-4o — 13 %.

Модель о1 значительно меньше галлюцинирует, чем GPT-4o. Однако она медленнее и дороже. Кроме того o1 проигрывает GPT-4o в энциклопедических знаниях и не умеет обрабатывать веб-страницы, файлы и изображения. Кроме того, новая модель может манипулировать данными, подгоняя решение под результат.

Секрет успеха кроется в фундаментально новом алгоритме обучения — «цепочке мыслей». Модель может улучшать эту цепочку, обучаясь по методу «обучение с подкреплением», благодаря которому распознаёт и исправляет свои ошибки, разбивает сложные шаги на более простые и пробует разные подходы в решении задач. Эта методология значительно улучшает способность модели к рассуждению, которая «как и человек может длительное время размышлять перед тем, как ответить на сложный вопрос».

OpenAI уже выпустила предварительную версию модели o1-preview, доступную для использования в ChatGPT и для разработчиков через API. Компания признаёт, что предстоит ещё много работы, чтобы сделать o1 такой же простой в использовании, как и текущие модели. Также подчёркивается безопасность и этичность новой модели, так как её рассуждения можно контролировать, предотвращая потенциально нежелательное поведение. И прежде чем выпустить o1-preview для публичного использования, со стороны OpenAI были проведены тесты на безопасность.

Стоимость использования o1-preview составляет 15 долларов за 1 млн входных токенов и 60 долларов за 1 млн выходных токенов. Для сравнения, GPT-4o предлагает цену в $5 за 1 млн входных токенов и $15 за миллион выходных.

Большие языковые модели (LLM) оказались способны генерировать новые научно-исследовательские идеи на уровне экспертов. Более того, согласно новому исследованию, эти идеи оказались более оригинальными и интересными, чем предложенные специалистами. Это ставит под вопрос уникальность человеческого интеллекта в сфере научных инноваций и открывает новые горизонты для развития ИИ в научном сообществе.

Источник изображения: NickyPe / Pixabay

Достижения в области больших языковых моделей вызвали волну энтузиазма среди исследователей. Оказалось, что такие ИИ-модели, как ChatGPT компании OpenAI и Claude компании Anthropic, способны самостоятельно генерировать и подтверждать новые научные гипотезы. Считалось, что создание нового знания и совершение научных открытий являются исключительной прерогативой человека, в отличие от механического комбинирования ИИ знаний из обучающих данных. Однако, уже потеснив людей в сферах художественного самовыражения, музыки и программирования, теперь ИИ замахнулся на науку, показав способность генерировать исследовательские идеи — в среднем более новые, чем предлагали учёные.

Чтобы проверить эту гипотезу, было проведено исследование в области обработки естественного языка (NLP). NLP — это область ИИ, которая занимается коммуникацией между людьми и ИИ на языке, понятном обеим сторонам. Она охватывает не только базовый синтаксис, но и нюансы языка, понимание контекста, а в последнее время — даже вербальный тон и эмоциональные оттенки речи. В исследовании приняли участие 100 экспертов по NLP (кандидаты наук и доктора из 36 различных институтов), которые вступили в своеобразное научное соревнование с «идейными агентами» на основе LLM. Целью было выяснить, чьи исследовательские идеи окажутся более оригинальными, интересными и осуществимыми.

Для чистоты эксперимента 49 экспертов сформулировали идеи по 7 конкретным темам в области NLP, в то время как ИИ, специально обученный исследователями, генерировал идеи по тем же темам. Чтобы мотивировать участников «мозгового штурма» на создание качественных идей, за каждую предложенную экспертами концепцию выплачивалось $300, а каждая из пяти лучших человеческих идей получала дополнительную $1000. По завершении работы над проектом LLM использовался для стандартизации стилей написания каждой работы с сохранением оригинального содержания, чтобы уравнять шансы и сделать исследование максимально непредвзятым.

Сравнение новизны научных идей, предложенных людьми и ИИ, по трём условиям: идеи людей, идеи ИИ и идеи ИИ с доработкой человеком. Источник изображения: @ChengleiSi / X

Затем все присланные работы были рассмотрены 79 привлечёнными экспертами, которые вслепую оценили все исследовательские идеи. Группа экспертов представила 298 рецензий, дав каждой идее от двух до четырёх независимых отзывов. Результаты оказались поразительными. Идеи, сгенерированные ИИ, получили статистически значимо более высокие оценки по критериям новизны и увлекательности по сравнению с идеями людей. При этом по критерию осуществимости идеи ИИ оказались немного ниже, а по эффективности — немного выше, чем идеи людей, хотя эти различия не были статистически значимыми.

Исследование также выявило некоторые недостатки в работе ИИ, такие как отсутствие разнообразия идей. Даже при чётком указании не повторяться, ИИ быстро про это забывал. Кроме того, ИИ не смог последовательно проверять и оценивать идеи и получал низкие баллы за согласие с человеческими суждениями. Важно отметить, что исследование также выявило определённые ограничения в методологии. В частности, оценка «оригинальности» идеи, даже группой экспертов, остаётся субъективной, поэтому планируется провести более комплексное исследование, в котором идеи, генерируемые как ИИ, так и людьми, будут полностью оформлены в проекты, что позволит более глубоко изучить их влияние в реальных сценариях. Тем не менее, первые результаты исследования, безусловно, впечатляют.

Сравнение оценок научных идей, предложенных людьми и ИИ, по пяти ключевым критериям: новизна, увлекательность, осуществимость, эффективность и общая оценка. Источник изображения: @ChengleiSi / X

Сегодня, когда ИИ-модели, хотя и становятся невероятно мощными инструментами, они всё ещё грешат своей ненадёжностью и склонностью к «галлюцинациям», что в контексте научного подхода, требующего абсолютной точности и достоверности информации, становится критическим. По некоторым оценкам, не менее 10 % научных работ в настоящее время пишутся в соавторстве с ИИ. С другой стороны, не стоит недооценивать потенциал ИИ для ускорения прогресса в некоторых областях человеческой деятельности. Ярким примером тому может служить система GNoME компании DeepMind, которая за несколько месяцев совершила прорыв, эквивалентный примерно 800 годам исследований в области материаловедения, и сгенерировала структуру около 380 000 новых неорганических кристаллов, способных сделать революцию в самых разных сферах.

Сейчас ИИ — это самая быстро развивающаяся технология, которую когда-либо видело человечество, и поэтому разумно ожидать, что многие её недостатки будут исправлены в течение ближайших пары лет. Многие исследователи ИИ считают, что человечество приближается к рождению всеобщего сверхинтеллекта — точки, в которой ИИ общего назначения превзойдёт экспертные знания людей практически во всех областях. Способность ИИ генерировать более оригинальные и захватывающие идеи, чем учёные, может привести к переосмыслению процесса научного открытия и роли в нём человека.