Холдинг «Газпром-Медиа» (владеет каналами НТВ, ТНТ и ТВ-3, кинокомпанией «Централ Партнершип», хостингом Rutube и др.) запустит экспериментальную студию производства контента с помощью нейросетей. Об этом в беседе с журналистами на Восточном экономическом форуме рассказал глава принадлежащей холдингу цифровой лаборатории D. Lab Эдуард Маас.

Источник изображения: steve_a_johnson / Pixabay

Согласно имеющимся данным, в студии будут использоваться около 20 моделей искусственного интеллекта, включая проекты Open Source (например, генератор изображений Stable Diffusion и языковая модель LLaMA) и собственные разработки «Газпром-Медиа». Студия займётся производством анимации с использованием генеративных алгоритмов, а также будет создавать виртуальных ведущих, перерабатывать архивный контент, работать над рекламными спецпроектами. Объём инвестиций, которые будут направлены для развития проекта, озвучен не был.

Господин Масс считает, что технологии создания контента с помощью генеративных нейросетей будут полезны продакшен-студиям, рекламным агентствам и блогерам, в первую очередь использующим видеохостинг Rutube и социальную сеть Yappy. В дополнение к этому холдинг будет предлагать свои технологии внешним заказчикам, включая представителей банковского сектора и госкорпорации. В настоящее время компания ведёт переговоры с одним из крупнейших банков с точки зрения маркетинга и крупным издательством, где генеративные алгоритмы могут использоваться для иллюстрации книг. Сам же холдинг может использовать эти технологии для создания промо в соцсетях, генерации анимации из аудио, создания виртуальных ведущих и др.

Для производства «сериального хита или топового шоу» предложенные технологии использоваться не будут, уточнил господин Маас. При этом искусственный интеллект может существенно снизить затраты на отдельные производственные процессы. К примеру, такие технологии можно задействовать для отрисовки фонов, персонажей и деталей видеоряда. Нейросети также могут быть полезными для дорисовки вертикальных видео, чтобы делать их горизонтальными, озвучивания произведений реалистично синтезированными голосами и др.

Разработчики систем автономного вождения утверждают, что их программное обеспечение одинаково хорошо распознаёт взрослых светлокожих людей, детей и темнокожих пешеходов. Однако исследование учёных из Королевского колледжа в Лондоне показало, что это не совсем так.

Источник изображения: metamorworks / Shutterstock

Исследователи проверили восемь систем обнаружения пешеходов, построенных на базе нейросетей. В ходе тестирования использовалось более 8 тыс. изображений пешеходов. Оказалось, что системы обнаружения пешеходов на 20 % лучше распознают взрослых людей, чем детей. Кроме того, программное обеспечение на 7,5 % точнее определяет светлокожих людей, чем темнокожих пешеходов. По мнению исследователей, проблема распознавания темнокожих людей заключается в том, что системы автономного вождения преимущественно обучаются на изображениях людей со светлой кожей.

«Хотя влияние несправедливых систем искусственного интеллекта хорошо задокументировано, начиная с того, что ИИ-алгоритмы при приёме на работу предпочитают кандидатов-мужчин и заканчивая тем, что алгоритмы распознавания лиц менее точно определяют темнокожих женщин, чем белых мужчин, опасность, которую могут представлять беспилотные автомобили, очень велика. Раньше представителям меньшинств могли отказать в жизненно важных услугах, а теперь они могут столкнуться с серьёзными травмами», — считает доктор Цзе Чжан (Jie Zhang), один из авторов исследования.

Учёные также установили, что точность распознавания темнокожих людей сильно снижается в условиях недостаточной освещённости и низкой контрастности. Это может приводить к возникновению опасных ситуаций при использовании систем обнаружения пешеходов на основе ИИ в тёмное время суток. Автопроизводители не раскрывают подробностей о программном обеспечении, используемом для распознавания пешеходов. Однако исследователи утверждают, что эти алгоритмы, как правило, построены на основе тех же систем с открытым исходным кодом, которые были проверены в ходе исследования.

Китайский технологический гигант Alibaba представил две языковые модели — Qwen Large Vision Language Model (Qwen-VL) и Qwen-VL-Chat — демонстрирующие расширенные возможности интерпретации изображений и ведения диалогов на естественном языке. Учитывая растущий спрос на доступ к продвинутым ИИ-алгоритмам, появление языковых моделей Alibaba может оказаться весьма своевременным.

Источник изображения: maginative.com

Представленные языковые модели не ограничиваются понимаем текстовых сообщений. Qwen-VL способен воспринимать и понимать изображения, текст и соблюдать ограничения. Алгоритм может обрабатывать запросы, связанные с разными изображениями, и генерировать ответы на них. Qwen-VL-Chat предназначен для более сложного взаимодействия. Например, он может сравнивать несколько изображений, отвечать на серии вопросов, писать истории на основе предоставленных пользователем картинок. К примеру, пользователь может спросить ИИ о местоположении больницы по фото её вывески и получить точный ответ на этот вопрос.

Одно из преимуществ представленных языковых моделей состоит в том, что они работают с высокой точностью. По данным Alibaba, Qwen-VL значительно превосходит существующие схожие языковые модели с открытым исходным кодом по нескольким критериям оценки английского языка. Алгоритм также поддерживает новую функцию «общение с чередованием нескольких изображений», которая предполагает, что пользователь предоставит ИИ несколько изображений, после чего будет задавать связанные с ними вопросы.

Используя стандартные эталоны, специалисты Alibaba оценили возможности новых алгоритмов при выполнении разных задач, начиная от генерации комментариев к изображениям и заканчивая ответами на вопросы по загруженным снимкам. Обе модели также тестировались по разработанному в Alibaba эталону, который основан на оценке GPT-4 для определения диалоговых возможностей и соответствия человеческому восприятию. Отмечается, что Qwen-VL и Qwen-VL-Chat достигли наилучших результатов в разных категориях.

Alibaba стала одной из первых китайских компаний, представивших конкурентоспособную систему генеративного ИИ, что свидетельствует о быстром прогресс исследований в сфере нейросетей в Поднебесной. Выпуская модели с открытым исходным кодом, Alibaba гарантирует, что исследователи, учёные и компании по всему миру смогут использовать их для создания собственных приложений, не прибегая к трудоёмкому и дорогостоящему процессу обучения нейросетей с нуля.