Менее чем через месяц после дебюта своего нового набора инструментов редактирования Firefly на основе генеративного ИИ, Adobe уже работает над множеством обновлений, чтобы расширить возможности своих пользователей с помощью Creative Cloud. Если изначально Firefly предлагал ИИ для генерации изображений, то теперь в набор добавились приложения для работы с аудио- и видеоматериалами.
Источник изображения: Adobe
Firefly, созданный на основе разработок компании Sensei, представляет собой набор генеративных моделей ИИ, которые могут создавать и преобразовывать аудио, видео, изображения и 3D-модели с помощью текстовых подсказок так же, как это делают Dall-E и ChatGPT. Функции Firefly уже доступны в экосистеме Adobe, включая Premiere Pro, Illustrator, After Effects и Photoshop, но пока только в рамках программы закрытого бета-тестирования.
Новые функции по работу с аудио и видео помогут профессиональным редакторам сократить объём рутинной работы. Теперь чтобы вставить изображения-заполнители в видеоряд, добавить эффекты или найти перебивку для проекта достаточно просто ввести свои идеи в текстовую подсказку Firefly, а остальное алгоритм сделает сам. Пользователям станет доступно «улучшение преобразования текста в цвет», широкие возможности, которые позволят регулировать уровни яркости и насыщенности, изменять время суток и даже время года с помощью подсказок на естественном языке.
Функции генеративного ИИ охватывают и обработку звука, позволяя вставлять фоновую музыку и звуковые эффекты на основе текстовых запросов. Также ожидается появление анимированных шрифтов и автоматизированной функции b-roll («перебивка»), которая анализирует содержимое сценария для создания раскадровок и предлагает видеоклипы. Причём ИИ Firefly сам будет помогать новым пользователям обучаться использованию новых функций, создавая для них персонализированные практические руководства.