Компания по изучению ИИ Patronus AI, основанная бывшими сотрудниками Meta✴, исследовала, как часто ведущие большие языковые модели (LLM) создают контент, нарушающий авторские права. Компания протестировала GPT-4 от OpenAI, Claude 2 от Anthropic, Llama 2 от Meta✴ и Mixtral от Mistral AI, сравнивая ответы моделей с текстами из популярных книг. «Лидером» стала модель GPT-4, которая в среднем на 44 % запросов выдавала текст, защищённый авторским правом.

Источник изображений: Pixabay

Одновременно с выпуском своего нового инструмента CopyrightCatcher компания Patronus AI опубликовала результаты теста, призванного продемонстрировать, как часто четыре ведущие модели ИИ отвечают на запросы пользователей, используя текст, защищённый авторским правом.

Согласно исследованию, опубликованному Patronus AI, ни одна из популярных книг не застрахована от нарушения авторских прав со стороны ведущих моделей ИИ. «Мы обнаружили контент, защищённый авторским правом, во всех моделях, которые оценивали, как с открытым, так и закрытым исходным кодом», — сообщила Ребекка Цянь (Rebecca Qian), соучредитель и технический директор Patronus AI. Она отметила, что GPT-4 от OpenAI, возможно самая мощная и популярная модель, создаёт контент, защищённый авторским правом, в ответ на 44 % запросов.

Patronus тестировала модели ИИ с использованием книг, защищённых авторскими правами в США, выбирая популярные названия из каталога Goodreads. Исследователи разработали 100 различных подсказок, которые можно счесть провокационными. В частности, они спрашивали модели о содержании первого абзаца книги и просили продолжить текст после цитаты из романа. Также модели должны были дополнять текст книг по их названию.

Модель GPT-4 показала худшие результаты с точки зрения воспроизведения контента, защищённого авторским правом, и оказалась «менее осторожной», чем другие. На просьбу продолжить текст она в 60 % случаев выдавала целиком отрывки из книги, а первый абзац книги выводила в ответ на каждый четвёртый запрос.

Claude 2 от Anthropic оказалось труднее обмануть — когда её просили продолжить текст, она выдавала контент, защищённый авторским правом, лишь в 16 % случаев, и ни разу не вернула в качестве ответа отрывок из начала книги. При этом Claude 2 сообщала исследователям, что является ИИ-помощником, не имеющим доступа к книгам, защищённым авторским правом, но в некоторых случаях всё же предоставила начальные строки романа или краткое изложение начала книги.

Модель Mixtral от Mistral продолжала первый абзац книги в 38 % случаев, но только в 6 % случаев она продолжила фразу запроса отрывком из книги. Llama 2 от Meta✴ ответила контентом, защищённым авторским правом, на 10 % запросов первого абзаца и на 10 % запросов на завершение фразы.

Источник изображения: Patronus AI

«В целом, тот факт, что все языковые модели дословно создают контент, защищённый авторским правом, был действительно удивительным, — заявил Ананд Каннаппан (Anand Kannappan), соучредитель и генеральный директор Patronus AI, раньше работавший в Meta✴ Reality Labs. — Я думаю, когда мы впервые начали собирать это вместе, мы не осознавали, что будет относительно просто создать такой дословный контент».

Результаты исследования наиболее актуальны на фоне обострения отношений между создателями моделей ИИ и издателями, авторами и художниками из-за использования материалов, защищённых авторским правом, для обучения LLM. Достаточно вспомнить громкий судебный процесс между The New York Times и OpenAI, который некоторые аналитики считают переломным моментом для отрасли. Многомиллиардный иск новостного агентства, поданный в декабре, требует привлечь Microsoft и OpenAI к ответственности за систематическое нарушение авторских прав издания при обучении моделей ИИ.

Позиция OpenAI заключается в том, что «поскольку авторское право сегодня распространяется практически на все виды человеческого выражения, включая сообщения в блогах, фотографии, сообщения на форумах, фрагменты программного кода и правительственные документы, было бы невозможно обучать сегодняшние ведущие модели ИИ без использования материалов, защищённых авторским правом».

По мнению OpenAI, ограничение обучающих данных созданными более века назад книгами и рисунками, являющимися общественным достоянием, может стать интересным экспериментом, но не обеспечит системы ИИ, отвечающие потребностям настоящего и будущего.

Одна из входящих в МТС структур запустила проект «Рой 9», который предполагает развитие и обучение моделей искусственного интеллекта на сторонних устройствах. Данную инициативу можно сравнить с добычей криптовалют в пулах, когда устройства разных клиентов объединяют вычислительные мощности для общей цели. Только здесь вместо криптовалюты на выходе будет натренированная нейросеть. В компании сообщили, что широкий запуск проекта пока не планируется, и сейчас это всего лишь проверка гипотез, сообщает «Коммерсант».

Источник изображения: Gerd Altmann / pixabay.com

Работой над проектом занимается принадлежащее оператору ООО «Серенити Сайбер Секьюрити», которое 1 ноября зарегистрировало доменное имя roy9.ru. «Рой 9» предлагает пользователям предоставлять свои компьютеры и мобильные устройства для обучения моделей машинного обучения — в настоящий момент на платформе обучаются четыре нейросети. «Новые модели AI помогут людям в новых открытиях, вы можете стать частью этого движения. Кроме того, помогая в обучении моделей, вы делаете мир интереснее», — говорится в описании сохранённой изданием страницы.

Представитель МТС заявил, что сайт был запущен исключительно для проверки гипотез в области ИИ и машинного обучения — он предназначался только для внутренних нужд, и никаких связанных с ним общедоступных проектов не планировалось. Тестированием занимается центр инноваций МТС Future Crew, и к настоящему моменту сайт закрыт.

Крупные российские игроки уже запускали службы для развития систем машинного обучения: к примеру, в инфраструктуре VK Cloud Solutions действует сервис для тестирования гипотез, работы с данными и других целей; у «Яндекса» есть сервис для разработки и тестирования алгоритмов машинного обучения DataSphere. А МТС весной прошлого года запустил систему CICADA 8, предназначенную для тестирования инфраструктуры компании на устойчивость.

В России наблюдается дефицит мощностей для обучения ИИ, и модель краудфандинга стала бы частичным решением вопроса, считает опрошенный «Коммерсантом» эксперт. В случае с МТС участвующие в проекте абоненты оператора могли бы получать, например, скидку на услуги связи или дополнительные пакеты трафика или минут.

Интерактивные тренажёры используются в самых разных областях подготовки персонала, и японская компания Hitachi решила поставить технологии искусственного интеллекта на службу в сфере обучения специалистов безопасным приёмам работы и тренировки последовательности действий в аварийных ситуациях. Такая система поможет решить проблему передачи опыта между поколениями рабочих в условиях демографического кризиса.

Источник изображения: Hitachi

Не секрет, что японская экономика уже сейчас сталкивается с проблемой старения нации. К 2030 году более 30 % населения страны будет пребывать в возрасте старше 65 лет, а нехватка рабочих рук в промышленности и сфере обслуживания будет измеряться 6,44 млн вакантных позиций. Представители Hitachi рассказали Nikkei Asian Review, что корпоративный исследовательский центр сейчас разрабатывает систему интерактивного обучения персонала рабочих специальностей, которая учитывала бы опыт предыдущих происшествий для моделирования аварийной обстановки на промышленных объектах. Молодые кадры, по замыслу создателей, в этом случае почувствуют своё погружение в сложную ситуацию и получат необходимые для правильных действий навыки. Ранее подобной работой обычно занимались опытные наставники, но по мере уменьшения их количества в силу естественных причин японским корпорациям приходится полагаться на искусственный интеллект.

Hitachi собирается создать учебный класс площадью около 10 квадратных метров, на полу и стенах которого будут проецироваться создаваемые компьютером изображения соответствующих элементов обстановки на производственном объекте после чрезвычайного происшествия. Система искусственного интеллекта по запросу оператора сможет генерировать самые разные ситуации и наглядно отображать их на проекции. Затем обучаемые получат необходимые рекомендации по действиям в таких условиях, обретя нужный опыт без взаимодействия с живым наставником.

Систему генеративного искусственного интеллекта Hitachi также хочет научить давать подсказки персоналу промышленных объектов в тех или иных нештатных ситуациях. Например, управляющий электростанцией диспетчер сможет получить от системы рекомендации по поиску и устранению неисправности, в зависимости от индикации на табло системы управления. Даже если человек заучивал инструкции и правила, в состоянии стресса он может просто забыть о каких-то нюансах, и искусственный интеллект предоставит ему своевременную подсказку. Hitachi сперва намеревается использовать такие системы для обучения собственного персонала, но в случае успеха эксперимента готова предложить их и сторонним заказчикам.

Чипмейкер NVIDIA объявил на ежегодной конференции SIGGRAPH 2023 о партнёрстве со стартапом в области ИИ Hugging Face. В рамках партнёрства NVIDIA обеспечит поддержку новой услуги Hugging Face под названием Training Cluster as a Service (Кластер обучения как услуга), которая упростит создание и настройку новых пользовательских генеративных моделей ИИ для корпоративных клиентов, использующих собственную платформу и NVIDIA DGX Cloud для инфраструктуры, делая это одним щелчком мыши.

Источник изображения: Hugging Face

Запуск сервиса Training Cluster as a Service намечен на ближайшие месяцы. Он будет базироваться на DGX Cloud, облачном ИИ-суперкомпьютере NVIDIA, предлагающем выделенные ИИ-кластеры NVIDIA DGX с ПО NVIDIA.

DGX Cloud предоставляет доступ к инстансу с восемью ускорителями NVIDIA H100 или A100 и 640 Гбайт памяти, а также ПО NVIDIA AI Enterprise для разработки приложений ИИ и больших языковых моделей (LLM). Также предоставляется возможность консультирования у экспертов NVIDIA.

Разработчики также получат доступ к новой рабочей среде NVIDIA AI Workbench, которая позволит им быстро создавать, тестировать и настраивать предварительно обученные модели генеративного ИИ и LLM.

Компании могут подписаться на сервис DGX Cloud самостоятельно — стоимость инстансов DGX Cloud начинается от $36 999/мес. Однако сервис Training Cluster as a Service объединяет облачную инфраструктуру DGX с платформой Hugging Face, включающей более 250 000 моделей и более 50 000 наборов данных, что будет полезно при работе над любым проектом ИИ.

По словам гендиректора Hugging Face Клемана Деланга (Clément Delangue), платформу стартапа использует более 15 000 компаний.

Учёные из лаборатории исследований искусственного интеллекта Tinkoff Research разработали SAC-RND — новый алгоритм для обучения ИИ. На робототехнических симуляторах было достигнуто повышение скорости обучения в 20 раз по сравнению со всеми существующими аналогами при возросшем на 10 % качестве. Оптимизация крайне ресурсоёмкого процесса обучения ИИ ускорит развитие многих сфер, где применяется ИИ.

Источник изображения: Tinkoff

Разработчики утверждают, что SAC-RND может «повысить безопасность беспилотных автомобилей, упростить логистические цепочки, ускорить доставку и работу складов, оптимизировать процессы горения на энергетических объектах и сократить выбросы вредных веществ в окружающую среду. Открытие не только улучшает работу узкоспециализированных роботов, но и приближает нас к созданию универсального робота, способного в одиночку выполнять любые задачи».

Результаты исследования были представлены в конце июня на 40-й Международной конференции по машинному обучению (ICML) в Гонолулу, Гавайи. Эта конференция является одной из трёх крупнейших в мире в сфере машинного обучения и искусственного интеллекта.

Одним из наиболее перспективных видов обучения ИИ является обучение с подкреплением (RL), позволяющее ИИ учиться методом проб и ошибок, адаптироваться в сложных средах и изменять поведение на ходу. Обучение с подкреплением может использоваться во всех сферах: от регулирования пробок на дорогах до рекомендаций в социальных сетях.

При этом ранее считалось, что использование случайных нейросетей (RND) не применимо для офлайн-обучения с подкреплением. В методе RND используются две нейросети — случайная и основная, которая пытается предсказать поведение первой. Свойство нейросети определяются её глубиной — количеством слоёв, из которых она состоит. Основная сеть должна содержать больше слоёв, чем случайная, иначе моделирование и обучение становится нестабильным или даже невозможным.

Использование неправильных размеров сетей привело к ошибочному выводу, что метод RND не умеет дискриминировать данные — отличать действия из датасета от прочих. Исследователи из Tinkoff Research обнаружили, что при использовании эквивалентной глубины сетей, метод RND начинает качественно различать данные. Затем исследователи приступили к оптимизации ввода и научили роботов приходить к эффективным решениям при помощи механизма слияния, основанного на модуляции сигналов и их линейном отображении. До этого при использовании метода RND поступающие сигналы не подвергались дополнительной обработке.

На визуализации ниже в верхнем ряду показаны предыдущие попытки применения метода RND, в нижнем — метод SAC-RND. Стрелки на изображении должны вести робота в одну точку — они указывают направление к правильному действию. Метод Tinkoff Research во всех случаях стабильно приводит робота в нужную точку

Визуализация принятия решения роботами, обученными с помощью разных алгоритмов. Источник изображения: Tinkoff Research

Метод SAC-RND был протестирован на робототехнических симуляторах и показал лучшие результаты при меньшем количестве потребляемых ресурсов и времени. Открытие поможет ускорить исследования в области робототехники и обучения с подкреплением, поскольку оно снижает время получения устойчивого результата в 20 раз и является важным шагом на пути к созданию универсального робота.

Tinkoff Research — российская исследовательская некоммерческая группа. Учёные из Tinkoff Research исследуют наиболее перспективные области ИИ: обработку естественного языка (NLP), компьютерное зрение (CV), обучение с подкреплением (RL) и рекомендательные системы (RecSys). Команда курирует исследовательскую лабораторию «Тинькофф» на базе МФТИ и помогает талантливым студентам совершать научные открытия.

Профессиональный графический ускоритель NVIDIA RTX A6000 Ada Generation был представлен ещё в сентябре прошлого года. Но продажи видеокарты для рабочих станций начались только сейчас, пишет портал VideoCardz.

Источник изображений: NVIDIA

Новинка на архитектуре Ada Lovelace мелькала в базах данных магазинов ещё с ноября прошлого года. Однако её продажи начались в этом месяце. NVIDIA сообщила её официальную стоимость — $6800. Это на 46 % дороже предшественника поколения Ampere. Кроме того, это в 4,25 раза дороже игровой флагманской модели GeForce RTX 4090.

Профессиональный графический ускоритель NVIDIA RTX 6000 Ada Generation использует графический процессор AD102 с 18 176 ядрами CUDA, что на 11 % больше, чем у игровой модели GeForce RTX 4090. Кроме того, чип содержит 568 тензорных ядер и 142 RT-ядер. Видеокарта имеет на борту 48 Гбайт памяти GDDR6 с функцией коррекции ошибок (ECC) и скоростью работы 20 Гбит/с на контакт. Максимальная теоретическая пропускная способность памяти составляет 960 Гбайт/с, что на 25 % выше, чем у модели RTX A6000 предыдущего поколения, оснащённой чипами память со скоростью 16 Гбит/с на контакт.

Источник изображения: VideoCardz

Заявленный показатель энергопотребления NVIDIA RTX A6000 Ada Generation равен 300 Вт. Карта получила новый 12+4-контактный разъём питания 12VHPWR. Также новинка имеет активную систему охлаждения и работает с интерфейсом PCIe 4.0 x16. В оснащение ускорителя входят четыре разъёма DisplayPort 1.4.

Профессиональная видеокарта NVIDIA RTX 6000 отметилась в базах данных нескольких иностранных ретейлеров. Специализированный графический ускоритель для рабочих станций был представлен в конце сентября этого года. Он базируется на той же архитектуре Ada Lovelace, что и игровые видеокарты GeForce RTX 40-й серии.

Источник изображения: VideoCardz

В основе новой NVIDIA RTX 6000 используется графический процессор AD102 с 18 176 ядрами CUDA, 568 тензорными ядрами и 142 RT-ядрами. Это на 11 % больше, чем у флагманской игровой видеокарты GeForce RTX 4090. Для GPU профессиональной карты заявлена частота работы на уровне 2,5 ГГц.

Источник изображения: Leadtek

Видеокарта имеет 48 Гбайт памяти GDDR6 с функцией коррекции ошибок (ECC). Для памяти заявлена скорость 20 Гбит/с на контакт, поддержка шины разрядностью 384 бит и пропускная способность на уровне 960 Гбайт/с, что на 25 % выше, чем у модели NVIDIA RTX A6000 на архитектуре Ampere.

Источник изображения: NVIDIA

Показатель энергопотребления новой NVIDIA RTX 6000 равен 300 Вт. Новинка оснащена активной системой охлаждения и работает с интерфейсом PCIe 4.0 x16. Ускоритель предлагает четыре разъёма DisplayPort 1.4.

Источник изображения: VideoCardz

Видеокарта отметилась в базах данных американских магазинов по цене от $7378. У некоторых её стоимость достигает $8210.

Источник изображения: VideoCardz

Официальный драйвер для NVIDIA RTX 6000 производитель уже выпустил, поэтому формальный старт продаж, вероятно, должен состояться в самое ближайшее время. NVIDIA обещала начать реализацию новинки силами своих основных партнёров в декабре.

Помимо игровых видеокарт нового поколения GeForce RTX 4090 и RTX 4080 на архитектуре Ada Lovelace компания NVIDIA в рамках конференции GTC представила профессиональный графический ускоритель для рабочих станций NVIDIA RTX 6000 на той же архитектуре. Производитель отмечает, что новинка обеспечивает в 2–4 раза более высокую производительность в профессиональных задачах по сравнению с моделью предыдущего поколения RTX A6000 на архитектуре Ampere.

Источник изображений: NVIDIA

Основными особенностями графической архитектуры Ada Lovelace и, следовательно, видеокарт на её основе являются: RT-ядра третьего поколения, обеспечивающие до двух раз более высокую производительность в операциях с трассировкой лучей по сравнению с предыдущим поколением; тензорные ядра четвёртого поколения, которые до двух раз быстрее в операциях, связанных с ИИ-обучением благодаря расширенной поддержке формата данных FP8; а также ядра CUDA, до двух раз более производительные в операциях одинарной точности по сравнению с решениями предыдущего поколения.

Профессиональный графический ускоритель NVIDIA RTX 6000 получил GPU с 18 176 ядрами CUDA, 568 тензорными ядрами и 142 RT-ядрами. Видеокарта имеет 48 Гбайт памяти GDDR6 с функцией коррекции ошибок (ECC). Заявленный показатель энергопотребления равен 300 Вт. Новинка оснащена активной системой охлаждения и работает с интерфейсом PCIe 4.0 x16. Карта предлагает четыре разъёма DisplayPort 1.4.

Для профессиональной карты также заявляется поддержка технологии виртуализации vGPU и увеличенная до трёх раз производительность при кодировании видео для потоковой передачи нескольких одновременных сеансов XR с использованием NVIDIA CloudXR по сравнению с предыдущим поколением.

Профессиональная видеокарта NVIDIA RTX 6000 станет доступна у основных партнёров компании в декабре. Цена пока не объявлена, но заметим, что видеокарта прошлого поколения RTX A6000 стоила $5000, так что новинка, вероятнее всего, будет дороже как и её игровые собратья.

Компания «Яндекс» анонсировала нейросеть YaLM 100B, предназначенную для генерации и обработки текстов на русском и английском языках. Утверждается, что на сегодняшний день это самая большая в мире GPT-подобная (Generative Pre-trained Transformer) модель, опубликованная в свободном доступе.

Источник изображений: pixabay.com / geralt

YaLM 100В содержит 100 млрд параметров — больше, чем какая-либо из существующих моделей для русского языка. Благодаря этому нейросеть можно применять для решения широкого круга задач, связанных с обработкой естественного языка.

Языковые модели семейства YaLM определяют принцип построения текстов и генерируют новые, опираясь на законы лингвистики и свои знания о мире. Допускается формирование текстов любого типа: это могут быть ответы, стихи, поздравления и пр. Более того, алгоритмы способны придумывать идеи для рекламных кампаний, создавать описания товаров и видео, а также классифицировать тексты.

Источник изображения: pixabay.com / Gerd Altmann

В процессе обучения сети были задействованы суперкомпьютеры «Яндекса», признанные самыми мощными в Восточной Европе. YaLM 100B обработала около 2 Тбайт текстов из открытых источников и интернета на английском и русском языках.

Теперь нейросеть могут использовать разработчики и исследователи со всего мира. Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.