LG представила нейросеть Captioning AI, которая создаёт текстовые описания для изображений

Одно из подразделений компании LG представило генеративную систему ИИ Captioning AI, которая может распознавать элементы изображения и генерировать для них описания и ключевые слова — трудно переоценить пользу, которую подобная технология способна оказать, например, при систематизации баз фотоснимков крупных компаний.

Представители LG AI Research, занимавшейся разработкой Captioning AI, выступили на мероприятии Computer Vision and Pattern Recognition 2023, крупнейшей в мире конференции, посвящённой «компьютерному зрению» — она проходила в воскресенье в Ванкувере (Канада). Как сообщили в LG, сервис основан на разработанной LG AI Research технологии Zero-shot Image Captioning, позволяющей ИИ «понимать» и описывать объекты или сцены, которые нейросеть оценивает впервые без дополнительных подсказок, на основе своего предыдущего опыта — так же, как и люди.

В компании объяснили, что технология отличается от ИИ-сервисов вроде Midjourney, в которых всё происходит ровно наоборот — пользователи вводят текст или загружают картинку, на основе которых ИИ генерирует собственное творение. Создание «субтитров» к картинкам может показаться довольно лёгким, поскольку концепция не нова. Тем не менее, технология вышла на новый уровень. Например, искусственный интеллект действительно может делать выводы и описывать то, чего он не «видел» никогда раньше — посмотреть на пейзаж или человека и вычислить, о каком именно месте идёт речь. Технология позволяет распознавать на изображении фон, персонажей и даже активность и описывать взаимодействие элементов.

Captioning AI может генерировать текстовые описания и ключевые слова для 10 тыс. изображений менее чем за два дня, что в теории позволяет повысить эффективность и продуктивность для компаний, которым необходимо справляться с большими массивами изображений. В среднем система может генерировать 5 предложений и 10 ключевых слов за 10 секунд.

Сервис разработан при сотрудничестве с Shutterstock, одной из крупнейших платформ для размещения визуального контента — от изображений до видео. LG AI Research сотрудничала с этой американской компанией ранее и намерена делать это и впредь расширяя сотрудничество и с другими партнёрами. Как сообщили в Shutterstock, технология Caption AI развивается благодаря «раннему доступу» к программе десяти глобальных клиентов.