Microsoft анонсировала новый ИИ-инструмент Copilot Actions для пользователей Microsoft 365 Copilot, который позволяет автоматизировать повторяющиеся задачи. Как поясняет Microsoft, Copilot Actions работает по принципу «дай задание и забудь», подобно макросу на базе искусственного интеллекта, который выполняет задачи согласно заданным параметрам.

Источник изображения: Ed Hardie/Unsplash

По сообщению The Verge, новая функция, которая пока находится в режиме закрытого тестирования, автоматизирует такие повседневные задачи, как составление конспектов по итогам собраний в Teams, подготовка еженедельных отчётов, планирование встреч и многое другое.

Представлен также ряд улучшений для Microsoft 365 Copilot в различных приложениях Office. Так, уже в начале следующего года пользователи PowerPoint смогут переводить презентации на 40 языков, а функция Copilot Narrative Builder будет использовать фирменные шаблоны, заметки докладчика, встроенные переходы и анимацию для создания более качественных черновиков презентаций. Кроме того, Copilot сможет интегрировать изображения из SharePoint в презентации PowerPoint.

В ближайшее время в Excel появится новая функция, предоставляющая шаблоны с заголовками, формулами и визуальными элементами для создания таблиц. Microsoft также работает над улучшением Copilot в Outlook, чтобы облегчить планирование встреч и создание их повестки. Эта функция станет доступна пользователям до конца месяца.

Интересно, что Microsoft активно продвигает идею Copilot Agents для бизнеса, включая агентов для продаж и обслуживания. В частности, ИИ-агенты будут внедрены в SharePoint. Они смогут обобщать документы, отвечать на вопросы о данных в файлах SharePoint и создавать пользовательских агентов для обработки запросов, связанных с конкретным сайтом SharePoint или списком файлов.

Microsoft, по всей видимости, готовится к радикальному ребрендингу всех функций на основе ИИ, представленных в последних версиях Windows. Copilot, Windows Recall и другие ИИ-инструменты вскоре могут быть объединены под единым брендом Windows Intelligence. Название Windows Intelligence кажется явной попыткой подражать маркетинговому решению Apple, объединяя все опции на основе ИИ, доступные в Windows, под общим именем.

По устоявшейся многолетней традиции, первой компанией, внедрившей в свои продукты маркетинговый «интеллект», стала компания Apple, хотя в реальности она весьма далека от лидерства в области ИИ. В октябре был представлен сервис Apple Intelligence с новыми ИИ-функциями, доступными пока лишь в предварительной версии на платформах iOS, iPadOS и macOS.

Недавно появились сообщения, что исследователи обнаружили в файле шаблона для редактора объектов групповой политики AppPrivacy.adml термин Windows Intelligence. Похоже, что Microsoft выбрала это название для объединения множества ИИ-функций, интегрированных в операционную систему Windows.

Если сообщения исследователей окажутся правдой, Microsoft вскоре может отказаться от названия Copilot после более чем года его использования. Microsoft и раньше использовала термин Intelligence, но тогда речь шла об обновлениях безопасности, а не о функциях ИИ.

Источник изображения: Microsoft

Эксперты издания TechSpot уверены, что подобное использование в качестве товарного знака общепринятого термина является «не совсем жизнеспособным способом ведения бизнеса». Усилия по ребрендингу уже подвергаются критике в социальных сетях, а пользователи Windows обвиняют Microsoft в «убийстве» операционной системы путём копирования маркетинговых стратегий Apple.

Помимо усилий по ребрендингу ИИ-функций, Microsoft планирует дальнейшие многомиллиардные инвестиции в разработку и продвижение искусственного интеллекта. Ожидается, что ещё до конца года крупные технологические компании потратят более $200 млрд на разработку ИИ, несмотря на обеспокоенность этой беспрецедентной ставкой со стороны инвесторов Уолл-стрит.

Microsoft активно продвигает функции ИИ, хотя им предстоит ещё долгий путь, прежде чем они станут неотъемлемой частью экосистемы Windows. Так, функция Windows Recall для записи всех действий пользователя изначально была встречена множеством негативных отзывов. И, хотя она была существенно доработана в обновлении Windows 11 24H2, по-прежнему нет никаких гарантий сохранности конфиденциальной информации.

Microsoft представила радикальное обновление помощника с искусственным интеллектом Copilot — он получил зрение и голос, благодаря чему стал более персонализированным. Новые возможности Copilot включают режим виртуального ведущего новостей, который зачитывает заголовки; голосовая функция позволяет общаться с ним естественным образом, как Advanced Voice Mode от OpenAI; наконец, ИИ-помощник может «увидеть» то, на что ему укажет пользователь.

Источник изображений: blogs.microsoft.com

Microsoft Copilot был радикально переработан на мобильных устройствах, в веб-версии и в приложении для Windows — он теперь напоминает ИИ-помощник Pi, созданный компанией Inflection, значительное число сотрудников которой перешло в Microsoft. Бывший гендиректор Inflection и сооснователь Google DeepMind Мустафа Сулейман (Mustafa Suleyman) сейчас возглавил ИИ-отдел Microsoft. Существенной переработке подвергся интерфейс ИИ-помощника — теперь это персонализированная страница Copilot Discover, более полезная и привлекательная, чем одно только текстовое поле для запросов к чат-боту. Домашняя страница настраивается на основе истории пользователя с чат-ботом; со временем на ней будут представлены полезные поисковые запросы, советы и релевантная информация.

ИИ-помощник получил полноценный голосовой интерфейс аналогично ChatGPT — теперь с ним можно общаться, задавать вопросы, прерывать его, как при разговоре с товарищем или коллегой. В Copilot доступны четыре варианта голоса, один из которых придётся выбирать при первом использовании. Вторая крупная ставка Microsoft — функция зрения Copilot Vision, позволяющая ассистенту видеть то, что видит пользователь на открытой веб-странице. Можно задавать вопросы о тексте, изображениях и любом другом содержимом, и помощник даст естественный ответ. Это поможет при совершении покупок в интернете — система предложит различные варианты товаров и отзывы. Подключать Copilot Vision придётся вручную, и просматриваемый системой контент нигде не хранится и не используется для обучения ИИ, уверяет Microsoft. Кроме того, компания наложила ограничения на типы сайтов, с которым может работать Copilot Vision; платные и конфиденциальные материалы система тоже не поддерживает. В одном из приведённых Microsoft примеров функция используется для сканирования рукописных кулинарных рецептов — ИИ поясняет, о каком блюде идёт речь, и сколько времени уйдёт на его приготовление.

Copilot Daily, ещё одна функция, представляет аудиосводку новостей и погоды, которую ИИ-помощник зачитывает как диктор новостной службы. Сводка представляет собой короткую заметку, которую пользователь может слушать по утрам — в качестве источников используются только ресурсы, которые согласились на использование контента системой Copilot. На начальном этапе это Reuters, Axel Springer, Hearst и Financial Times, но в перспективе их число будет расширяться. Многообещающей также представляется функция Think Deeper — благодаря новейшим ИИ-моделям OpenAI система Copilot теперь может отвечать и на сложные вопросы, предлагая пошаговые ответы или проводя сравнения. Функция пока остаётся на ранней стадии разработки, и доступна она на площадке Copilot Labs наряду с Copilot Vision — участники тестирования могут отправить в Microsoft отзывы об их работе. Компания осторожничает неспроста, если учесть опасения, которые вызвала функция Recall до того, как подверглась переработке.

Обновлённый пакет Copilot доступен в мобильных приложениях для iOS и Android, на сайте copilot.microsoft.com, а также в приложении Copilot для Windows. Функция Copilot Voice на начальном этапе доступна на английском языке в Австралии, Канаде, Новой Зеландии, Великобритании и США, а в перспективе появится и в других регионах. Copilot Daily пока можно пользоваться лишь в США и Великобритании, а Copilot Vision работает лишь у некоторых подписчиков Copilot Pro в США.

В середине месяца Microsoft намеревается провести специальное мероприятие, посвящённое «следующей фазе инноваций Copilot». Мероприятие Wave 2 пройдёт 16 сентября, а проведут его генеральный директор компании Сатья Наделла (Satya Nadella) и вице-президент по рабочему искусственному интеллекту Джаред Спатаро (Jared Spataro).

Источник изображений: Microsoft

Мероприятие будут проходить в LinkedIn, и основной его темой станет деловая сторона продуктов Microsoft Copilot — компания, по неподтверждённым данным, уже собирается провести ребрендинг продуктов в области ИИ: «Copilot в Word» будет переименован в «Microsoft 365 Copilot в Word», а «Microsoft Copilot для Microsoft 365» станет называться «Microsoft 365 Copilot».

Но одним ребрендингом дело, вероятно, не ограничится. Компания может представить новые функции Copilot для Microsoft 365, призванные стать стимулом для компаний оформить подписку за $30 в месяц на пользователя. Возможно, будет расширен набор функций Copilot Pro — потребительской подписки на ИИ-продукт Microsoft. Она стоит $20 в месяц, и с момента запуска компания не баловала пользователей новыми возможностями — напротив, из ассортимента Copilot Pro был удалён GPT Builder.

На конференции Black Hat USA исследователь в области кибербезопасности Майкл Баргури (Michael Bargury) продемонстрировал уязвимости помощника с искусственным интеллектом Microsoft Copilot — потенциальные злоумышленники могут использовать его для кибератак. Его проект указывает, что организациям стоит пересмотреть политики безопасности при использовании ИИ-технологий, включая Copilot.

Источник изображения: Ivana Tomášková / pixabay.com

Баргури выделил несколько методов, с помощью которых злоумышленники могут использовать Microsoft Copilot при осуществлении кибератак. Плагины Copilot, в частности, позволяют устанавливать бэкдоры, эксплуатируемые при работе других пользователей с ИИ, а также служат подспорьем при осуществлении атак, при которых задействуются методы социальной инженерии.

Используя метод инъекций в запросах, хакер изменяет ответы ИИ в соответствии со своими целями — это позволяет производить скрытный поиск и извлечение данных в обход стандартных мер защиты файлов и информации. ИИ также оказывается эффективным оружием в атаках с применением методов социальной инженерии — Copilot можно использовать при создании убедительных фишинговых писем и подготовке других методов взаимодействия с потенциальными жертвами, у которых киберпреступник пытается получить конфиденциальную информацию.

Чтобы наглядно продемонстрировать эти уязвимости, Баргури создал инструмент LOLCopilot — он предназначается для этичных хакеров и работает в любом клиенте с поддержкой Microsoft 365 Copilot, используя конфигурации по умолчанию. Специалисты по кибербезопасности могут с его помощью исследовать сценарии эксплуатации уязвимостей Copilot для кражи данных и организации фишинговых атак.

Разработчик указывает, что существующие настройки безопасности Microsoft Copilot по умолчанию недостаточно эффективны для предотвращения этих атак. Наличие инструмента для получения доступа и обработки больших объёмов данных свидетельствует о риске, с которым сопряжена работа систем ИИ. Исследователь рекомендует внедрять дополнительные меры защиты, в том числе многофакторную авторизацию и строгий контроль доступа к данным. Кроме того, необходимо информировать сотрудников о связанных с ИИ рисках и иметь комплексные протоколы реагирования на инциденты.

Ноутбуки на базе Qualcomm Snapdragon X недавно поступили в продажу. Конечно, потенциальных покупателей новых устройств интересует в первую очередь их совместимость, производительность и энергоэффективность для бизнес-приложений. Тем не менее, игровая производительность этих ноутбуков также важна, так как многие используют своё единственный ПК с Windows в том числе и для игр. Первые обзоры показали слабую игровую производительность, но Microsoft обещают ситуацию исправить.

Источник изображения: unsplash.com

Если Qualcomm хочет, чтобы её чипы Snapdragon X Elite закрепились на рынке развлечений, ей необходимо совместно с Microsoft работать как над оптимизацией процессора, так и программного обеспечения. А самой важной задачей в этом направлении становится доработка и оптимизация эмулятора Prism, позволяющего запускать игры, написанные для архитектуры x86 на ПК с процессорами Arm.

По словам Microsoft, «улучшение производительности Prism, а также автоматическое суперразрешение и новые процессоры серии Snapdragon X вместе меняют правила игры». Компания продемонстрировала видео игрового процесса Baldur’s Gate 3, работающего на Copilot+ PC с процессором Snapdragon X, которое показало относительно хорошую производительность.

Microsoft также тесно сотрудничает с поставщиками средств защиты от читеров, такими как BattlEye, Denuvo Anti-Cheat и Wellbia XIGNCODE3, чтобы гарантировать, что их приложения не будут конфликтовать с эмулятором. Большинство продвинутых античит-приложений работают на уровне драйвера ядра, а их совместимость с новыми устройствами требуется для полноценной работы многопользовательских игр на ПК с процессорами Arm под управлением Windows 11.

Доход мировой индустрии видеоигр в настоящее время составляет $455 млрд. Игнорировать более двух миллиардов геймеров было бы неразумно для Snapdragon и Windows on Arm. Чтобы убедиться в совместимости конкретной игры с Copilot+ PC на базе Snapdragon X создана открытая база данных, в которой представлено почти 1400 уже проверенных игр.

В прошлом месяце на Computex 2024 активно обсуждались и демонстрировались ноутбуки на основе процессоров Qualcomm семейства Snapdragon X Elite, соответствующие требованиям Copilot Plus PC. Сейчас такие ноутбуки стоят от $999, но в четвёртом квартале 2025 года появятся альтернативы за $599 на базе более доступных процессоров Qualcomm.

Источник изображения: Qualcomm Technologies

Такой прогноз, по данным TechSpot, делает известный аналитик Мин-Чи Куо (Ming-Chi Kuo) из TF International Securities. Как он утверждает, сейчас компания Qualcomm ведёт разработку более доступного процессора этого семейства под условным обозначением Canim, и выпускать его по 4-нм технологии будет тайваньская компания TSMC. Ноутбуки на базе новинки появятся в четвёртом квартале следующего года, их можно будет приобрести по цене от $599 до $799.

Быстродействие процессоров серии Canim в задачах по обработке информации в системах искусственного интеллекта слегка опустится с 45 до 40 триллионов операций в секунду (TOPS). Требованиям Microsoft к системам класса Copilot Plus PC такие процессоры всё равно будут соответствовать, поскольку они обеспечат быстродействие на уровне 40 TOPS. Чем ещё процессоры Canim будут отличаться от старших чипов серии Snapdragon X Elite, автор прогноза не уточняет. Поставки ноутбуков на основе последних стартуют на этой неделе.

Одновременно аналитик сообщил, что процессоры Qualcomm Snapdragon 8 Gen 4 для мобильных устройств будут на 25–30 % дороже своих предшественников. Производители устройств будут закупать новинки по цене от $190 до $200. Соответственно, смартфоны на их основе тоже не будут дешёвыми.

Выступление генерального директора Qualcomm Криштиано Амона (Christiano Amon) на Computex 2024 было посвящено экспансии процессоров Snapdragon X Elite в сегмент ноутбуков и настольных компьютеров, работающих под управлением Microsoft Windows. По его словам, выход данных процессоров по влиянию на отрасль сопоставим с появлением Windows 95.

Как заявил глава Qualcomm, «следующее поколение ПК уже вышло, и оно здесь». Платформы Snapdragon X Elite и концепция Microsoft Copilot Plus PC будет применяться не только в ноутбуках, но на ПК всех формфакторов, как пояснил Криштиано Амон. С 18 июня начнутся продажи различных устройств на основе процессоров данного семейства, их предложат в числе первых компании Acer, Asus, Dell, HP, Lenovo, Microsoft и Samsung. Встроенный нейронный сопроцессор (NPU) позволяет ПК на базе Snapdragon X Elite демонстрировать производительность на уровне 45 тлрн операций в секунду (TOPS) при работе с системами искусственного интеллекта, а это с запасом соответствует требованиям Microsoft для систем Copilot Plus PC. Партнёры обеих компаний уже анонсировали более 20 моделей ПК категории Copilot Plus PC на основе Snapdragon X Elite.

В обозримом будущем ПК этого класса позволят в масштабе реального времени проводить диагностику бытовой техники силами программного ассистента, управляемого искусственным интеллектом, предлагая наиболее оптимальные пути решения проблемы и даже обеспечивая возможность покупки нового устройства с устного разрешения владельца банковской карты. Программные ассистенты помогут музыкантам доводить до совершенства свои записи, а перевод видеотрансляции на другие языки станет для них обыденной задачей, причём выполняться она сможет на ноутбуке.

Процессоры семейства Snapdragon X Elite, по словам руководства Qualcomm, превосходят в работе с искусственным интеллектом Apple M3 в 2,6 раза по соотношению производительности и энергопотребления, а преимущество над Intel Core Ultra 7 155H достигает 5,4 раза. Процессоры Qualcomm при таком сценарии применения окажутся не только быстрее, но и экономичнее, а также холоднее. Вообще теме автономности ноутбуков на базе процессоров Snapdragon X Elite глава компании во время своего выступления уделил достаточно внимания. Воспроизведение видео позволит им использовать заряд батареи на 60 % дольше, чем ноутбуку на основе процессора Intel Core Ultra 7 155H, а видеоконференцсвязь увеличивает преимущество процессора Qualcomm до 70 %. В целом, потоковое воспроизведение видео позволяет ему добиваться в два раза большей автономности.

Превосходство Snapdragon X Elite над Apple M3 по данным Qualcomm

Потребности любителей игр тоже не забыты Qualcomm. Сейчас свыше 1200 игр уже протестированы с процессорами семейства Snapdragon X Elite, и хотя о быстродействии особых данных не приводится, Криштиано Амон подчёркивает, что наличие NPU позволит повышать качество взаимодействия с интерактивными персонажами в играх за счёт применения искусственного интеллекта. «Qualcomm теперь находится по соседству, чтобы остаться, мы никуда не денемся, и очень счастливы работать с нашими партнёрами», — резюмировал генеральный директор компании.

Компания Microsoft во время презентации ноутбука Surface Laptop на Arm-процессоре Snapdragon X Elite сравнивала его с ноутбуком MacBook Air на чипе Apple M3, который также построен на архитектуре Arm. Оценка проводилась с использованием бенчмарков, причём проверялось как быстродействие в разных сценариях, так и энергоэффективность, сообщает портал The Verge, журналисты которого побывали в офисе Microsoft и подробнее изучили результаты тестов.

Источник изображений: Allison Johnson / The Verge

Компания Microsoft явно поставила цель превзойти Apple на её собственном поле — в сегменте ноутбуков на базе Arm-процессоров, по крайней мере, в противостоянии с чипами M3. В Microsoft уверены, что Snapdragon X Elite от компании Qualcomm позволит добиться этой цели. Первые системы на этом чипе появятся в продаже с 18 июня.

Добавим, что ноутбуки на Snapdragon X Elite станут первыми системами нового класса Copilot Plus PC. Такие компьютеры характеризуются определённым набором особенностей, главная из которых — специальный ИИ-сопроцессор (NPU) с производительностью от 40 TOPS (триллионов операций в секунду). Snapdragon X Elite подпадают под это требование, поскольку в их составе присутствует NPU с производительностью 45 TOPS.

Для оценки производительности Surface Laptop и MacBook Air с M3 компания выбрала синтетические тесты Cinebench 2024 и Geekbench 6. Правда, следует отметить, что в этих бенчмарках Microsoft сделала упор на многоядерную производительность, поскольку в тестах одноядерной производительности Snapdragon X Elite оказался чуть медленнее, чем Apple M3. Тут же важно отметить, что Surface Laptop оснащён активной системой охлаждения, которая позволяет чипу работать с максимальной производительностью. В свою очередь, ноутбуки MacBook Air полагаются на пассивное охлаждение и модель с процессором M3 не является исключением. Насколько этот факт повлиял на конечный результат тестов — покажут будущие независимые тесты.

В многоядерном тесте Cinebench 2024 ноутбук Microsoft показал результат в 980 баллов, а MacBook Air с M3 набрал там же только 650 баллов. В Geekbench 6 ноутбук Microsoft набрал 14 000 очков многоядерной производительности, а компьютеры Apple — только 12 000.

Далее Microsoft сравнила, как она это называет, «реальную производительность». Основным выбором здесь стал бенчмарк HandBrake ToS, который замеряет длительность кодирования видеофайла в формате 4K. Surface Laptop на Snapdragon X Elite справился с этой задачей за 5 минут и 8 секунд. MacBook Air с M3 потребовалось на выполнение того же задания 6 минут и 26 секунд. Важно отметить, что новый Surface справился с задачей вдвое быстрее Surface Laptop 5 на базе Intel Core 12-го поколения (Alder Lake), которому потребовалось на кодирование видео 10 минут и 30 секунд. Для Surface Laptop 4 потребовалось ещё больше времени на выполнение задания — 13 минут и 32 секунды.

Также Microsoft сравнила время автономной работы ноутбуков при их использовании в различных сценариях. Для этого использовались тесты, симулирующие работу систем в веб-браузере и воспроизведение видео. Surface Laptop 5 с чипом Intel 2022 года при использовании браузера проработал 8 часов 36 минут до того момента, как его батарея полностью разрядилась. Новый Surface проработал вдвое больше — 16 часов и 56 минут. Благодаря этому он также обошёл 15-дюймовый MacBook Air M3, который проработал 15 часов и 25 минут.

В режиме просмотра видео батареи нового Surface Laptop хватило более чем на 20 часов. У MacBook Air с M3 аккумулятор сел за 17 часов и 45 минут. Новый Surface Laptop в этом режиме проработал почти на 8 часов дольше, чем Surface Laptop 5, запас батареи которого иссяк через 12 часов и 30 минут.

В рамках презентации нового Surface Laptop компания заявила, что ноутбуки с маркировкой Copilot Plus PC на базе процессоров Snapdragon X Elite смогут предложить на 20 % больше времени автономной работы по сравнению с новейшим 15-дюймовым MacBook Air.

Microsoft также отмечает, что NPU в составе процессора Snapdragon X Elite в два раза производительнее, чем нейронный движок процессора Apple M3 в кроссплатформенном бенчмарке Procyon AI Computer Vision. Ноутбук Surface Laptop в этом тесте набрал 1745 баллов, а MacBook Air — только 889. Впрочем, это неудивительно, поскольку для NPU процессора Qualcomm Snapdragon X Elite заявляется ИИ-производительность 45 TOPS, а у M3 лишь 18 TOPS. Microsoft также показала, что Surface Laptop имеет 4,5-кратное превосходство в эффективности обработки запросов в модели Phi Silica по сравнению с M3, а также демонстрирует пиковую эффективность вывода 24 TOPS/Вт.

Компания Microsoft заявила о преобразовании ИИ-помощника Copilot в приложение для Windows, а также о переносе значка ИИ-помощника обратно на передний план рабочего стола ПК.

Источник изображения: Microsoft

До сих пор значок Copilot находился в правом нижнем углу экрана с прикреплённой надписью «Pre», означающей «превью». Но теперь Microsoft отказывается от обозначения «превью» и «превращает» Copilot в полноценный поставляемый продукт, разместив его значок в центре панели задач.

Как пояснил Харджит Даливал (Harjit Dhaliwal), старший менеджер по маркетингу продуктов Windows Commercial в Microsoft, изменения сделаны с целью «обеспечить более гибкий интерфейс, подобный приложениям». «Чтобы более плавно интегрироваться в повседневные рабочие процессы и более удобно предоставлять помощь с помощью искусственного интеллекта, мы приняли решение преобразовать Copilot в отдельное приложение, — написал Даливал в блоге компании. — Благодаря этому изменению пользователи Copilot получат преимущества традиционных приложений, такие как изменение размера, привязка и перемещение окна». Он отметил, что это позволит пользователям «более эффективно взаимодействовать с генеративным ИИ в Windows».

Как отметил ресурс PCWorld, пока остаётся под вопросом, будут ли доступны изменения для всех пользователей, или же только для коммерческих клиентов. В блоге сообщается, что Copilot сохранит поддержку вкладок «Интернет» и «Работа» для клиентов Copilot for Microsoft 365, предлагая коммерческую защиту данных компаний в совместимых веб-браузерах, таких как Microsoft Edge. Для компаний это означает, что данные чата не сохраняются и не будут использоваться для обучения ИИ-моделей.

Ключевой особенностью представленной Microsoft концепции компьютеров Copilot Plus PC являются новые функции на основе искусственного интеллекта, интегрированные непосредственно в Windows 11. В реальности работу платформы ИИ на Windows 11 обеспечивают более 40 моделей ИИ, доступ к которым разработчикам приложений открывается через специальную среду выполнения — Windows Copilot Runtime, о которой Microsoft подробно рассказала на конференции Build.

Источник изображения: Windows / unsplash.com

Среда выполнения Windows Copilot Runtime включает в себя библиотеку API, которые разработчики могут использовать в своих приложениях; а также платформы ИИ и цепочки инструментов для новых моделей на устройствах под Windows. «Библиотека Windows Copilot состоит из готовых к использованию API ИИ, таких как Studio Effects, Live Captions Translations, OCR, Recall with User Activity и Phi Silica, которые будут доступны разработчикам в июне», — пояснил глава подразделения Windows and Surface Паван Давулури (Pavan Davuluri).

Разработчики смогут подключать библиотеку Windows Copilot для интеграции в приложения возможностей пакета Studio Effects, включая фильтры и размытие. К примеру, Meta✴ добавила эти функции в клиент WhatsApp — в видеозвонках появятся размытие фона и зрительный контакт. Функциями перевода и Live Captions разработчики смогут пользоваться либо вообще без кода, либо с его минимальным присутствием.

Источник изображения: blogs.windows.com

Ранее Microsoft анонсировала функцию Recall, благодаря которой компьютеры Copilot Plus получили возможность сохранять все действия пользователей на компьютере с возможностью последующего поиска. Разработчики смогут подключать свои приложения и к этой функции — пользователи смогут продолжать работу с программой с того места, где они остановились в прошлый раз. В Microsoft считают, что эти функции, для работы которых необходимы ИИ-ускорители Arm-процессоров, а также чипов AMD и Intel, запустят целую волну приложений с ИИ в ближайшее десятилетие.

Вскоре Microsoft предложит предприятиям и разработчикам возможность использовать помощника на базе искусственного интеллекта Copilot в качестве виртуального сотрудника для рутинных рабочих задач. Вместо того, чтобы функционировать только в режиме чат-бота, Copilot станет выполнять мониторинг почтовых ящиков, сможет автоматизировать ряд задач и осуществлять ввод данных — сегодня всё это работникам компаний приходится выполнять вручную.

Источник изображений: microsoft.com

«Мы очень быстро поняли, что работа Copilot только в формате общения сегодня крайне ограничивает его возможности. Вместо того, чтобы Copilot ждал, пока с ним кто-нибудь поговорит, что если его могли бы сделать более активным и дали ему возможность работать в фоновом режиме над задачами автоматизации?» — пояснил инициативу ресурсу The Verge корпоративный вице-президент Microsoft по бизнес-приложениям и платформам Чарльз Ламанна (Charles Lamanna). Пока новые возможности Copilot открылись лишь небольшой группе участников программы тестирования, но уже в этом году они появятся в общедоступной предварительной версии Copilot Studio.

Компании смогут создавать агентов Copilot, способных брать на себя функции службы техподдержки, адаптации сотрудников и многое другое. Такие агенты будут запускаться при определённых событиях и работать с собственными данными компании. Вот как описывает механизм его работы сама Microsoft: «Представьте, что вы — новый сотрудник. Проактивный Copilot приветствует вас, анализирует информацию из отдела кадров и отвечает на ваши вопросы, знакомит вас с напарником, обучает и определяет сроки, помогает с формами и организует встречи на первую неделю. Теперь кадровики и [другие] сотрудники смогут выполнять свои обычные задачи без хлопот с администрированием».

Такие механизмы автоматизации, конечно, вызывают вопросы о потере рабочих мест людьми и опасения по поводу того, как ИИ будет развиваться дальше. Господин Ламанна подчёркивает, что агенты Copilot смогут избавить человека от повторяющихся и однообразных задач, таких как ввод данных, а полностью подменять собой человека они не будут. Другими словами, Microsoft, по собственному утверждению компании, стремится избавить сотрудников от скучных монотонных заданий. С учётом постоянной борьбы между техногигантами за доминирование в сфере ИИ создаётся впечатление, что одной автоматизацией дело не ограничится. Но, отмечает Ламанна, важными составляющими рабочего процесса остаются человеческие мнение и сотрудничество, и автоматизировать можно не всё.

Microsoft также сообщила, что оградила Copilot от потенциальных сбоев, таких как галлюцинации ИИ, встроив в Copilot Studio элементы управления. Это значит, что агент ИИ должен действовать в рамках того, что было определено в рамках инструкций и операций, связанных с автоматизацией задач. Упростились и механизмы переноса данных в локальный экземпляр Copilot — с общедоступных веб-сайтов, а также SharePoint, OneDrive и прочих ресурсов. Если в 2023 году основными задачами Copilot были поиск данных и составление сводок пользовательского контента, то в этом году основным направлением деятельности Microsoft в области ИИ становится кастомизация. Прежде Copilot был сосредоточен на индивидуальном взаимодействии с человеком, а сейчас он будет больше работать с группами пользователей. В этом году обновятся возможности Team Copilot для корпоративного мессенджера Microsoft — ИИ сможет управлять повестками дня во время встреч и заметками, модерировать чаты подразделений, помогать ставить задачи и отслеживать сроки в Microsoft Planner.

Microsoft сделала новый шаг к внедрению искусственного интеллекта (ИИ) в ноутбуки. Сегодня компания представила Copilot Plus PC — новый бренд, которым будут обозначаться ноутбуки на Windows от разных производителей, оснащённые аппаратным обеспечением для работы искусственного интеллекта и поддерживающие функции ИИ во всей операционной системе.

Все основные партнёры Microsoft из числа производителей ноутбуков будут предлагать компьютеры категории Copilot Plus PC, заявил генеральный директор Microsoft Сатья Наделла (Satya Nadella). В их число входят Dell, Lenovo, Samsung, HP, Acer и Asus. Компания Microsoft представит и два собственных решения в рамках линейки Surface. Портативные компьютеры Copilot Plus PC будут предлагаться с процессорами Intel и AMD, а также с Arm-процессорами.

За работу ИИ будут отвечать нейронные процессоры. Одна из флагманских функций, которую будут поддерживать Copilot Plus PC, называется Recall. Это своего рода фотографическая память для вашего компьютера — ИИ будет запоминать всё, что вы делали и видели на своём ПК, и при необходимости позволит вспомнить или найти нужную информацию. Всего в ноутбуках Copilot Plus PC будет использоваться более 40 моделей искусственного интеллекта. Они войдут в состав Windows 11. Встроенный ИИ-ассистент Microsoft Copilot также получит поддержку модели OpenAI GPT-4o, которая была представлена на прошлой неделе.

Юсуф Мехди (Yusuf Mehdi), руководитель Microsoft, отвечающий за Windows, заявил, что новые ноутбуки будут «на 58 % быстрее» MacBook Air с процессором Apple M3 и будут работать от батареи целый день. Однако Мехди не уточнил, будет ли это относиться ко всем ноутбукам Copilot Plus PC или только к тем моделям, которые перейдут на процессоры Qualcomm на базе Arm. Microsoft ожидает, что в течение следующего года под брендом Copilot Plus PC будет продано 50 миллионов ноутбуков.

К компьютерам Copilot Plus PC будут предъявляться определенные требования, чтобы убедиться, что они смогут обеспечить ту производительность, которую обещает Microsoft. Они должны иметь SSD объемом не менее 256 Гбайт, встроенный нейронный процессор и не менее 16 Гбайт оперативной памяти — вдвое больше, чем несёт базовая версия MacBook Air. Про автономную работу отмечается лишь, что модели с Arm-чипами Qualcomm обеспечат время «до 15 часов просмотра веб-страниц».

Microsoft преподносит эти устройства как начало новой эры ноутбуков с Windows, и, возможно, это не пустые слова. Переход на чипы на базе Arm, чего Microsoft уже пыталась добиться в прошлом, но не смогла, может значительно увеличить время автономной работы ноутбуков на Windows. А новые функции ИИ предназначены для работы с разными процессорами. Это две большие ставки на непроверенное оборудование и программное обеспечение, но они могут стать преобразующими, если сработают.

«Сегодня особенный день. Мы получили возможность переосмыслить платформу, которая питает нашу работу и страсть... в ПК новой категории», — сказал Мехди на мероприятии.

Первые Copilot Plus PC поступят в продажу 18 июня и будут построены на процессорах Qualcomm. Модели с процессорами Intel и AMD начнут продаваться позже. Цена будет стартовать с отметки в $999.

Существующие системы искусственного интеллекта в большинстве своём используют облачные информационные ресурсы, подгружая в них обрабатываемые пользовательские данные, и это может представлять определённую угрозу для безопасности. Конгресс США, как следует из опубликованных рекомендаций, запрещает своим членам использовать сервис Microsoft Copilot в служебных целях.

Источник изображения: Unsplash, Louis Velazquez

Поскольку указанный сервис призван упрощать работу с документами, у американских парламентариев, как предполагают авторы рекомендации, может возникать соблазн оптимизировать свою деятельность с помощью данного инструмента, но облачные ресурсы Microsoft, используемые сервисом Copilot, не одобрены данным органом власти как достаточно безопасные, а потому от подобных действий членам обеих палат парламента США рекомендовано воздержаться.

Все служебные ПК с операционной системой Windows, которые используются американскими парламентариями, подвергнутся настройке, подразумевающей блокировку сервиса Microsoft Copilot или даже его удаление при наличии такой технической возможности. В свою очередь, корпорация Microsoft к лету этого года планирует разработать специальный защищённый сервис для правительственных учреждений, который предоставит им доступ к искусственному интеллекту с более высокой степенью безопасности. Представители профильного комитета Конгресса США дали понять, что после выхода подобной версии Copilot проведут отдельную экспертизу пригодности данного сервиса для работы с данными правительственных структур. Ещё в прошлом году американским законодателям было запрещено использовать бесплатную версию ChatGPT из тех же соображений, но более продвинутый сервис ChatGPT Plus остался им доступен, пусть и только для анализа уже хранящейся в облаке информации.

По данным The Verge, компании Microsoft и Intel несколько расходятся во взглядах на достаточные признаки персональных компьютеров, способных работать с системами искусственного интеллекта Microsoft с использованием аппаратных ресурсов центральных процессоров. Microsoft считает, что такие ПК должны обязательно иметь на клавиатуре специализированную кнопку Copilot.

Источник изображения: Intel

Примечательно, что о подобных требованиях становится известно с подачи представителей Intel, на которых ссылается The Verge. Корпорация Microsoft начала распространять информацию о требованиях к компьютерам, которые OEM-партнёры планируют сертифицировать как «AI PC» для работы с ИИ-ассистентом Microsoft Copilot, и помимо наличия совместимого центрального процессора (и графического, даже если интегрированного), они должны оснащаться и выделенной клавишей Copilot на клавиатурном блоке.

При этом, как поясняют представители Intel, на рынке уже присутствуют ноутбуки на базе новейших процессоров данной марки, поддерживающих ускорение работы ИИ-систем Microsoft, но лишённые выделенной клавиши для вызова ассистента Copilot. С точки зрения самой Intel, такие ноутбуки ничем не уступают сертифицированным, но Microsoft из-за отсутствия специальной клавиши может не признать их соответствующими данному статусу. Для продвижения ноутбуков данный фактор будет иметь существенное значение, ведь наличие сертифицированного логотипа на корпусе и упаковке, а также рекламных материалах позволит привлечь покупателей, заинтересованных в получении доступа к ассистенту Microsoft Copilot.

Попутно Intel продолжает расширять охват программы поддержки разработчиков ПО, которые желают интегрировать в свои решения функции ускорения искусственного интеллекта, обеспечиваемые новыми процессорами данной марки. Сейчас компания начала предоставлять поддержку и небольшим разработчикам, хотя сама программа начала работать в октябре прошлого года. Участникам программы также будет предоставляться комплект аппаратного обеспечения для разработчиков, представляющий собой миниатюрный настольный ПК Asus NUC Pro 14, содержащий необходимое программное обеспечение.

Qualcomm также продвигает свои процессоры для ноутбуков, которые призваны ускорить работу с системами искусственного интеллекта, и также будут использовать программную платформу Windows, но в адаптации для архитектуры Arm. Компания AMD предлагает процессоры с функцией локального ускорения ИИ уже достаточно давно, поэтому ноутбуки на их основе тоже будут сертифицироваться под требования Microsoft.