Учёные лаборатории исследований искусственного интеллекта T-Bank AI Research представили на Международной конференции по обработке изображений (IEEE ICIP) в Абу-Даби новый метод под названием SDDE (Saliency-Diversified Deep Ensembles), который позволяет значительно повысить точность распознавания объектов на изображениях с помощью ИИ.

Источник изображения: BrianPenny/Pixabay

Новое решение, в разработке которого также участвовали студенты МИСИС и МФТИ, позволяет примерно на 20 % снизить риск ошибки при обработке и анализе изображений, пишет Forbes.

При распознавании объектов используются методы машинного обучения, повышающие его эффективность. В частности, применяются глубокие ансамбли, когда в процессе распознавания используется несколько нейронных сетей. При методе SDDE используются карты внимания, фокусирующиеся на разных аспектах данных, что позволяет моделям анализировать изображение под разными ракурсами, помогая получить более полную информацию и повысить общую точность анализа. Благодаря этому идентификация объектов становится более надёжной и диверсифицированной, отметили в T-Bank AI Research. По мнению исследователей, новый метод будет востребован в сфере беспилотных транспортных средств и медицинской диагностики.

Также ИИ-модель научили учитывать при анализе изображение не только наборы данных, которые использовались при её обучении, но и незнакомую ей информацию. Это расширило возможности модели при идентификации неизвестных ей объектов. Как отметил младший научный сотрудник группы «ИИ в промышленности» Института AIRI Максим Голядкин, нейросети зачастую не распознают, когда сталкиваются с незнакомыми входными данными, поэтому это решение очень важно. «Вместо того, чтобы признать неопределённость, они могут уверенно выдавать неправильные прогнозы подобно тому, как некоторые языковые модели могут предоставлять вводящую в заблуждение информацию, известную как “галлюцинации”, — говорит эксперт. — Разнообразив фокус каждой модели, ансамбль становится лучше в распознавании тех входных данных, с которыми он ранее не сталкивался».

Мировой рынок компьютерного зрения стремительно растёт с прогнозируемым увеличением с $25,8 млрд в 2024 до $47 млрд к 2030 году, подсчитали в Statista. В частности, в сфере здравоохранении объём рынка вырастет с $986 млн в 2022 году до $31 млрд в 2031 году с прогнозируемым ростом на 47 % в год, утверждают в Straits Research.

В России рынок в этом году вырастет до более чем $600 млн и далее по 10,5 % в среднем в год до 2030-го, когда он превысит $1,1 млрд, прогнозируют в Statista.

В Европе завершены первые клинические испытания имплантата сетчатки глаза в сочетании с комплексом носимых приборов для восстановления остроты зрения у людей. Все участвующие в проекте пациенты восстановили потерянную ранее остроту зрения, вернув себе способность читать, разгадывать кроссворды и играть в настольные игры. Пройдёт ещё несколько лет и возможность вернуть ясность зрения станет обычной врачебной практикой.

Источник изображения: ИИ-генерация Кандинский 3.1/3DNews

Развивает исследование американская компания Science Corp. Оригинальная разработка создана на основе исследований учёных Стэнфордского университета и продолжена учреждённой для этого компанией Pixium Vision. Позже она была приобретена компанией Science Corp. Платформа PRIMA представляет собой беспроводной и полностью автономный фотоэлектрический имплантат, хирургическим путём внедряемый под сетчатку больного глаза, очки с камерой и проекционной системой, а также карманный вычислительный блок для обработки и увеличения изображения с камеры.

Источник изображения: Science Corp

Комплекс решений PRIMA нацелен на лечение возрастной макулярной дегенерации (ВМД), которой страдают 8 млн человек по всему миру. В процессе необратимого заболевания, которое называется географическая атрофия (она считается запущенной формой ВМД), пациент теряет остроту зрения — способность различать мелкие детали, что резко снижает качество жизни. Имплантат возвращает потерянную остроту зрения, что доказали клинические испытания PRIMAvera с участием 38 пациентов.

Динамика улучшения остроты зрения по таблице LogMAR. Источник изображения: Science Corp

«Полученные результаты демонстрируют важную веху в лечении тяжёлой потери зрения, вызванной географической атрофией вследствие возрастной макулярной дегенерации. Впервые удалось восстановить центральное зрение сетчатки, ухудшившееся из-за возрастной макулярной дегенерации, — сказал профессор Фрэнк Хольц (Frank Holz), доктор медицинских наук, научный координатор исследования PRIMAvera. — До этого не существовало реальных вариантов лечения для улучшения зрения у таких пациентов».

Острота зрения всех участников была измерена через 6 и 12 месяцев после имплантации с помощью офтальмологической шкалы LogMAR, и результаты продемонстрировали клинически значимое улучшение. Успех определялся способностью распознавать 10 букв (2 строки) таблицы. Некоторые пациенты стали видеть 23 буквы (4,6 строки), а наибольшим улучшением стало распознавание 59 букв (11,8 строки). При этом установка имплантата не ухудшила остроту зрения, если система была отключена, что свидетельствует о хорошем профиле безопасности.

Клинические испытания PRIMAvera (по-итальянски — «весна») были проведены для сертификации комплекса на европейском рынке. Учёные уверены, что через несколько лет возможность вернуть остроту зрения появится у многих людей.

Учёные из США приблизились к созданию уникальных очков ночного видения, которые были бы не только компактными и лёгкими, но также обладали бы эффектом памяти на образы. Это позволило бы обеспечить предварительную обработку изображений нейронными сетями прямо на стёклах очков, без их загрузки в процессор. Но даже без ИИ новая разработка демонстрирует, насколько OLED-очки ночного видения могут оказаться легче современных аналогов.

Источник изображения: Marcin Szczepanski, Michigan Engineering

Проект частично финансируется DARPA (Управление перспективных исследовательских проектов Министерства обороны США) и в данный момент ведётся учёными из Университета Мичигана. Как известно, современные приборы ночного видения (очками их можно назвать с очень большой натяжкой) представляют собой устройства с вакуумными приборами и люминофором, которые со значительными затратами энергии преобразуют ближний инфракрасный свет в электроны и, после усиления, создают монохромную картинку на светящемся покрытии.

Учёные из США создали новый тип OLED (органических светодиодов), который реагирует на электроны и возбуждает фотоны видимого света. Представленный ими датчик и преобразователь ближнего инфракрасного излучения в видимое тоньше человеческого волоса — его толщин составляет менее 1 мкм. Он состоит из пяти слоёв и, в идеале, каждый попавший на него электрон превращает в пять фотонов.

Первый слой датчика возбуждает электроны от попадания фотонов ближнего инфракрасного света. Затем электрон пролетает пять слоёв OLED-плёнки. Глаза человека может достичь только один образовавшийся фотон видимого света, тогда как другие фотоны снова возбуждают электроны в первом слое и, таким образом, создают эффект усиления с положительной обратной связью без обычных громоздких и высоковольтных устройство по усилению электронного потока.

Экспериментальное устройство обладает скромным усилением всего в 100 раз. Современные приборы ночного видения способны усиливать сигнал до 10 тыс. раз. Учёные говорят, что конструкцию OLED-датчика можно дальше оптимизировать, добиваясь большего усиления и, соответственно, более высокой чувствительности к инфракрасному свету. Но даже сейчас лёгкость и компактность новой конструкции очков с точки зрения эффективности и экономности питания позволяет многократно превзойти коммерческие приборы ночного видения.

Что касается сопутствующего эффекта памяти OLED-очков, то он в определённом смысле будет помехой ночному зрению. Тем не менее, учёные уже нашли ему применение в виде нейросетей для распознавания образов на уровне стёкол без загрузки в процессор. Это определённо может пригодиться для систем машинного зрения, но впереди ещё много работы, хотя исследователи говорят, что запустить разработку в производство труда не составит — они взяли готовые технологии и просто нашли их удачное сочетание.

Американский миллиардер Илон Маск (Elon Musk) сообщил, что его стартап Neuralink разработал экспериментальный зрительный имплант Blindsight, который позволит видеть даже незрячим с рождения людям. При этом в перспективе устройство сможет улавливать и другие спектры, кроме привычного человеку оптического — сверхчеловеческое зрение из фантастики станет реальностью.

Источник изображения: Paramount Domestic Television

«Устройство Blindsight от Neuralink позволит видеть даже тем, кто потерял оба глаза и их оптический нерв. При условии, что зрительная кора головного мозга не повреждена, оно позволит видеть даже тем, кто был незрячим от рождения», — написал Маск на своей странице в соцсети Х.

Команда Neuralink, в свою очередь, на своей странице в соцсети X сообщила, что имплант Blindsight получил одобрение как прорывная разработка от Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA). Это открывает путь к испытаниям устройства на людях. Компания уже принимает заявки от потенциальных пациентов.

Маск добавил, что качество изображения у импланта сперва будет низким, как графика игровых платформ Atari, однако в будущем устройство позволит видеть в инфракрасном и ультрафиолетовом спектре, а также сможет улавливать длину волны радара.

Миллиардер сравнил разработку Neuralink с футуристическим устройством, которое носил слепой от рождения персонаж телесериала «Звездный путь» Джорди Ла Форж, показанный на изображении выше.

Амнон Шашуа (Amnon Shashua) известен как основатель стартапа машинного зрения Mobileye и компании по изучению искусственного интеллекта AI21 Labs. В 2022 году, опираясь на полученный в этих сферах опыт, он создал Mentee Robotics —стартап в области робототехники. Сегодня компания представила гуманоидного робота Menteebot, главными преимуществами которого создатель называет продвинутое машинное зрение и обучающийся генеративный ИИ.

Источник изображений: Mentee Robotics

«Мы находимся на пороге сближения компьютерного зрения, понимания естественного языка, мощных и детальных симуляторов, а также методологий перехода от моделирования к реальному миру, — заявил Шашуа. — В Mentee Robotics мы рассматриваем эту конвергенцию как отправную точку для разработки будущего универсального двуногого робота, который сможет передвигаться повсюду (как человек) с помощью мозга, выполняя работу по дому и осваивая новые навыки, которым он ранее не был обучен».

Представленный робот во многом является прототипом, хотя его создатели считают, что добились достаточного прогресса, чтобы оправдать публичный дебют после двух лет напряжённой работы. Творческий и инженерный состав Mentee Robotics впечатляет. Помимо Шашуа, в команду основателей входят бывший директор Facebook✴ по исследованиям ИИ Лиор Вольф (Lior Wolf) и профессор Еврейского университета в Иерусалиме Шай Шалев-Шварц (Shai Shalev-Shwartz). Эта команда при содействии венчурной фирмы Ahren Innovation Capital помогла привлечь инвестиции в размере $17 млн.

«Большие языковые модели используются для интерпретации команд и “продумывания” необходимых шагов для выполнения задачи. Особое внимание уделяется способности сочетать передвижение и ловкость, то есть динамическое балансирование робота при переносе тяжестей или движении манипуляторов», — говорится в пресс-релизе компании.

Mentee Robotics утверждает, что новый робот адаптирован как для промышленного, так и для потребительского рынков, в отличие от конкурирующих моделей. Компания рассчитывает выпустить готовый к производству прототип к началу 2025 года.

Основатель и владелец компании Neuralink Илон Маск (Elon Musk) анонсировал следующий продукт Neuralink — Blindsight (дословно — «Слепое зрение»). Это устройство предназначено для восстановления зрения. Ещё несколько лет назад Илон Маск заявил, что Neuralink сможет вернуть зрение слепым людям. Теперь, после успешной демонстрации игры в шахматы при помощи мозгового импланта, исполнение обещаний Маска кажется делом недалёкого будущего.

Источник изображения: Computerra

«Первое применение, к которому мы собираемся стремиться у людей, — это восстановление зрения, и даже если у кого-то никогда не было зрения, как если бы он родился слепым, мы верим, что все равно можем восстановить зрение. Зрительная часть коры все ещё существует. Даже если они никогда раньше не видели, мы уверены, что они смогут увидеть», — заявил Маск на Neuralink Show & Tell в 2022 году.

«Вы хотите иметь возможность читать сигналы мозга. Вы хотите иметь возможность записывать сигналы. В конечном итоге вы хотите иметь возможность сделать это для всего мозга, а затем распространить это на остальную часть вашей нервной системы, если у вас повреждён спинной мозг или шея», — добавил он.

В ноябре 2023 года Илон Маск сообщил, что Neuralink работает над чипом машинного зрения, но на его подготовку уйдёт несколько лет. В то время компания была сосредоточена на получении одобрения регулирующих органов на свои первые испытания на людях. 20 марта 2024 года Маск в своём аккаунте социальной сети X опубликовал короткое сообщение о следующем продукте компании.

Источник изображения: Twitter

Позже Маск добавил, что имплант Blindsight уже тестируется на обезьянах. «Поначалу разрешение [искусственного зрения] будет низким, как в ранней графике Nintendo, но в конечном итоге может превысить нормальное человеческое зрение», — написал Маск в X и добавил, что ни одна обезьяна не погибла и не получила серьезных травм от устройства Neuralink.

В январе этого года первый парализованный доброволец перенёс операцию по установке в черепную коробку импланта Neuralink, который позволил ему научиться управлять курсором на ноутбуке буквально при помощи мысли. Компания на этой неделе опубликовала видео, демонстрирующие обретённые после этой операции добровольцем новые физические возможности.

Европейские учёные предложили адаптировать популярные ИИ-алгоритмы систем машинного зрения для анализа сделанных при помощи радаров снимков околоземного пространства и обнаружения на них миниатюрных частиц космического мусора.

Источник изображения: nasa.gov

Исследователи провели эксперимент, применив существующие нейросети, используемые в системах машинного зрения, для анализа данных с европейского радара TIRA — это 47-метровая радиотарелка, которая помогает наблюдать за околоземным пространством и получать изображения, на которых производится поиск космического мусора.

Авторы проекта попытались заменить стандартные алгоритмы анализа данных TIRA нейросетями семейства YOLO, которые применяются для поиска движущихся объектов на снимках. Версии нейросетей YOLOv5 и YOLOv8 обучили при помощи массива из 3000 снимков околоземного пространства и проверили их эффективность на примере 600 изображений с радаров, на которых были от одного до трёх частиц космического мусора.

Обе нейросети корректно обнаружили от 85 % до 97 % частиц размером от сантиметра при минимальном числе ложных срабатываний. Результат оказался выше того, что демонстрирует стандартный алгоритм TIRA. Учёные сделали вывод, что системы машинного зрения могут успешно применяться для поиска космического мусора в околоземном пространстве и для его отслеживания в реальном времени. Это поможет снизить число инцидентов, связанных с попаданием частиц космического мусора в работающие орбитальные аппараты.

По оценкам экспертов, на орбите Земли могут находиться более 170 млн частиц космического мусора.

Учёные из китайского университета Цинхуа разработали полностью аналоговый фотоэлектронный чип ACCEL, который обещает совершить революцию в задачах высокоскоростного машинного зрения. Чип, сочетающий электронные и оптические технологии, способен продемонстрировать беспрецедентную энергоэффективность и высочайшую скорость вычислений для задач машинного зрения. В этой сфере новый чип радикально превосходит современные графические процессоры.

Источник изображения: Pixabay

Традиционные процессоры обладают ограниченной скоростью вычислений и потребляют колоссальное количество энергии при решении задач машинного зрения, таких как распознавание изображений для автономного вождения, робототехники и медицинской диагностики. Эти задачи требуют обработки изображений с высоким разрешением, точной классификации и сверхнизкой задержки.

Чип ACCEL реализует преимущества развивающейся области фотонных вычислений, которые используют свет для обработки информации. Интегрируя дифракционные оптические аналоговые вычисления (OAC) и электронные аналоговые вычисления (EAC) в одном чипе, ACCEL достигает замечательной энергоэффективности и скорости вычислений.

Метод OAC использует управление световыми волнами посредством дифракции для кодирования и обработки информации. При помощи интерференционных паттернов, создаваемых светом, вычисления производятся аналоговым способом, обрабатывая данные непрерывно, а не дискретными цифровыми шагами. Метод EAC использует электронные компоненты для манипулирования непрерывными физическими величинами. Вместо работы с цифровыми сигналами в виде нулей и единиц, EAC использует постоянно меняющиеся аналоговые сигналы.

Архитектура ACCEL / Источник изображения: Tsinghua University

Оба метода дают преимущества для определённых видов вычислений и способствуют разработке задач высокоскоростного зрения.

ACCEL при обработке изображений не требует АЦП для преобразования изображения, напрямую используя для вычислений фототоки, индуцированные светом, что приводит к значительному сокращению задержек. ACCEL достигает системной энергоэффективности 74,8 пета-операций в секунду на ватт, что более чем на три порядка выше, чем у современных графических процессоров. Скорость вычислений достигает 4,6 пета-операций в секунду, при этом более 99 % вычислений выполняются оптически.

Благодаря интеграции оптоэлектронных вычислений и адаптивного обучения ACCEL достигает конкурентоспособной точности классификации объектов в различных задачах. Новый чип продемонстрировал точность 85,5 %, 82,0 % и 92,6 % для задач Fashion-MNIST, 3-классовой классификации ImageNet и задач распознавания покадрового видео соответственно. Примечательно, что ACCEL демонстрирует высокую надёжность даже в условиях низкой освещённости, что делает его пригодным для портативных устройств, автономного вождения и промышленных применения.

Сравнение скорости и энергоэффективности ACCEL с традиционными методами / Источник изображения: Tsinghua University

Сверхнизкое энергопотребление нового чипа значительно снижает тепловыделение, открывая путь дальнейшему совершенствованию и миниатюризации. В отличие от традиционных оптоэлектронных цифровых вычислительных систем, ACCEL гибко сочетает дифракционные оптические вычисления и электронные аналоговые вычисления, а его архитектура обеспечивает масштабируемость, нелинейность и высокую адаптируемость.

В исследовании, опубликованном в журнале Nature, исследователи заявили: «Разработка вычислительной системы, основанной на совершенно новом принципе, является огромной задачей. Однако ещё более важно успешно реализовать эту вычислительную архитектуру следующего поколения в реальные приложения, отвечающие важнейшим потребностям общества».

В рецензии на исследование, опубликованной в журнале Nature's Research Briefing, эксперты высказали убеждение, что «ACCEL может позволить этим архитектурам сыграть роль в нашей повседневной жизни гораздо раньше, чем ожидалось».

Всё новое — это, несомненно, хорошо забытое старое. Самым первым аналоговым вычислительным устройством является хорошо знакомая старшему поколению логарифмическая линейка.

Источник изображения: myruler.ru

Другим известным примером аналоговых вычислительных устройств является настольная аналоговая вычислительная машина МН-7, разработанная в далёком 1955 году. Она успешно решала обыкновенные дифференциальные уравнения до 6-го порядка. Не менее успешно при помощи подобных машин создавались математические модели физических процессов, что использовалось при решении задач АСУ ТП.

Источник изображения: computerra.ru

В аналоговой вычислительной машине (АВМ) мгновенному значению исходной переменной величины ставится в соответствие мгновенное значение другой величины, часто отличающейся от исходной физической природой и масштабным коэффициентом. Каждой элементарной математической операции, как правило, соответствует физический закон, устанавливающий математические зависимости между физическими величинами на выходе и входе (например, закон Ома).

Особенности представления исходных величин и построения алгоритмов предопределяют большую скорость работы АВМ и простоту программирования, но ограничивают область применения и точность получаемого результата. АВМ отличается малой универсальностью (алгоритмическая ограниченность) — при решении задач другого класса необходимо перестраивать структуру машины и число решающих элементов.

А теперь мы становимся свидетелями того, как в мире, казалось бы, победивших цифровых технологий, вновь начинают находить применение аналоговые вычисления, вышедшие на новый уровень развития.

В погоне за здоровым зрением и крепким сном маркетологи, врачи и пациенты бросились рекламировать, прописывать и носить очки с блокирующими синий свет стёклами. Группа учёных из Австралии и Великобритании взялась оценить эту практику на основе свежих научных работ. Оказалось, что нет достоверных данных о пользе синих фильтров для глаз, здоровья и сна пациентов.

Источник изображения: Pixabay

Исследователи из Университета Мельбурна совместно с коллегами из Университета Монаша и Лондонского городского университета подвергли анализу 17 опубликованных исследований из 6 стран, посвящённых использованию очков, блокирующих синий свет. Рандомизированные контролируемые исследования включали от 5 до 156 участников и проводились в течение периода времени от одного дня до пяти недель.

В результате проведенной работы учёные пришли к выводу, что очки, блокирующие синий свет, могут не соответствовать заявлениям рекламодателей и кабинетов оптометрии. Как следствие учёные призывают специалистов и потребителей дважды подумать о выборе очков с фильтрующими стёклами. Как минимум, это будут выброшенные деньги. В опубликованных данных исследователи не нашли убедительных данных о влиянии фильтров синего света в очках на общее состояние глаз, качество сна или зрительную работоспособность.

«Результаты нашего обзора, основанного на современных, наиболее достоверных данных, показывают, что доказательства этих утверждений [о пользе фильтров синего света] неубедительны и неопределенны, — рассказала ведущий автор исследования Лаура Дауни (Laura Downie). — Наши результаты не поддерживают назначение фильтрующих синий свет линз населению в целом. Эти результаты важны для широкого круга заинтересованных сторон, включая специалистов по офтальмологии, пациентов, исследователей и общественность».

Вероятно, для более детального изучения вопроса необходимо провести более длительное и более глубокое исследование, но даже имеющихся данных достаточно, чтобы воспринимать идею фильтрации синего света сомнительной.

«Количество синего света, получаемого нашими глазами от искусственных источников, таких как экраны компьютеров, составляет примерно тысячную долю от того, что мы получаем от естественного дневного света, — поясняют авторы. — Следует также иметь в виду, что линзы, фильтрующие синий свет, обычно отфильтровывают около 10–25 % синего света, в зависимости от конкретного продукта. Для фильтрации большего количества синего света линзы должны иметь явный янтарный оттенок, что существенно повлияет на восприятие цвета».

Отечественный оператор кикшеринга и разработчик решений для средств индивидуальной мобильности Whoosh сообщил о запуске пилотной программы по тестированию электросамокатов с большим информационным дисплеем и модулем компьютерного зрения.

Источник изображения: Eduardo Alvarado / unsplash.com

Новые технологии испытают на новых электросамокатах Ninebot — программа будет запущена в этом году в Москве. Дашборд, то есть экран, будет устанавливаться на руле самоката и заменит смартфон. Информация на износостойком и влагоустойчивом дисплее будет оставаться видимой в любых погодных условиях: маршрут и навигационные данные поездки, помощь по эксплуатации и парковке самоката.

Технологии компьютерного зрения нужны для анализа работы кикшеринга. Система будет собирать обезличенные данные о поездках, различные сценарии реакций на внешние условия, а также статистику о поездках, включая наиболее популярные маршруты и информацию о дорожном покрытии. Самокат предупредит о необходимости снизить скорость или спешиться, если пользователь приближается к пешеходному переходу, а также даст советы по приоритетным маршрутам.

«Эти разработки — ещё один большой шаг в развитии микромобильного транспорта, который поможет нам лучше понимать пользователя и работать с безопасностью поездок, комфортом использования сервиса. Мы запускаем пилотную эксплуатацию на базе самой современной модели самоката, чтобы проанализировать, как технологии покажут себя в разных городских условиях», — прокомментировал инициативу основатель и генеральный директор Whoosh Дмитрий Чуйко.

Исследователи ИИ компании Meta✴ сегодня объявили о нескольких ключевых разработках, связанных с адаптивной координацией навыков и репликацией зрительной коры, которые позволят роботам с ИИ автономно функционировать в реальном мире. Эти разработки являются крупным шагом вперёд в создании универсального «воплощённого ИИ», способного взаимодействовать с реальным миром без вмешательства человека.

Источник изображений: Meta✴ AI

Зрительная кора — область мозга, которая позволяет организмам использовать зрение для совершения действий. Таким образом, искусственная зрительная кора является ключевым требованием для любого робота, которому необходимо выполнять задачи на основе того, что он видит перед собой. Искусственная зрительная кора VC-1 обучена на наборе данных Ego4D, который содержит тысячи часов видео с носимых камер участников исследования по всему миру, выполняющих повседневные действия, такие как приготовление пищи, уборка, спорт и ремесла.

Однако зрительная кора — это лишь один из элементов воплощённого ИИ. Чтобы робот мог работать полностью автономно в реальном мире, он должен быть способен манипулировать объектами реального мира — перемещаться к объекту, поднимать его, переносить в другое место и размещать объект — и делать все это на основе того, что он видит и слышит.

Чтобы решить эту проблему, эксперты по ИИ Meta✴ в сотрудничестве с исследователями из Технологического института Джорджии разработали новую технологию ASC (Adaptive Skill Coordination — Адаптивная координация навыков), где обучение происходит в симуляциях, а затем эти навыки передаются реальному роботу. Meta✴ продемонстрировала эффективность ASC в сотрудничестве с Boston Dynamics. ASC была интегрирована с робопсом Spot, который обладает надёжными возможностями распознавания, навигации и манипулирования, хотя и требует значительного вмешательства человека.

Исследователи ставили перед собой цель создать модель ИИ, которая сможет воспринимать мир с помощью бортовых датчиков через API Boston Dynamics. Сначала ASC была обучена в симуляторе Habitat с использованием наборов данных HM3D и ReplicaCAD, содержащих 3D-модели более тысячи домов. Затем виртуального робота Spot научили передвигаться по незнакомому дому, подбирать предметы, переносить их и класть в нужное место. Позже эти знания были переданы реальным роботам Spot, которые автоматически выполняли те же задачи, основываясь на полученном представлении о помещениях.

«Мы использовали две совершенно разные среды реального мира, в которых Spot попросили переставить различные объекты — полностью меблированную квартиру площадью 185 м² и университетскую лабораторию площадью 65 м². — Сообщают исследователи. — ASC добилась почти идеальной производительности, преуспев в 59 из 60 эпизодов, преодолев аппаратные нестабильности, сбои выбора и состязательные помехи, такие как движущиеся препятствия или заблокированные пути».

Исследователи Meta✴ сегодня открывают исходный код модели VC-1, делясь подробными сведениями о масштабировании модели и размерах наборов данных. Следующей целью команды будет попытка интегрировать VC-1 с ASC, чтобы создать единую систему, которая станет ближе к истинному воплощённому ИИ.

Хотя у роботов большое будущее, пока их механические руки не очень хорошо справляются на складах с обработкой отдельных заказов, маркированных штрих-кодами. Последние может быть трудно обнаружить и прочитать, особенно на товарах нестандартной формы. Новая система, предложенная Amazon, позволит избавиться от штрих-кодов полностью — поможет в этом компьютерное зрение.

Источник изображения: Maximalfocus/unsplash.com

Фотографии товаров, снятые на складах Amazon, и тренировка на них компьютерного зрения, позволили техногиганту разработать систему камер, способную точно распознавать товары на конвейерной ленте. В конце концов эксперты Amazon по ИИ и робототехнике намерены интегрировать разработку в роботов, которые смогут узнавать товары в процессе упаковки для последующей отправки.

По словам представителя разработчиков Amazon, без поиска штрих-кодов роботы смогут намного быстрее упаковывать товары для отправки покупателям. Система, названная мультимодальной идентификацией, полностью заменит штрих-коды ещё нескоро, но уже сейчас она применяется на объектах компании в Барселоне и Гамбурге. При этом в компании заявляют, что система уже позволяет ускорить время обработки заказов. Ожидается, что технология будет внедряться в самых разных проектах компании, включая розничную торговлю.

Эксперты Amazon в области искусственного интеллекта уже начали формировать библиотеку изображений продуктов — до начала реализации данного проекта такой необходимости не было. Сами изображения, как и данные о размерах предметов, обрабатываются первыми версиями алгоритмов, а камеры последовательно делают всё новые снимки для тренировки ИИ-модели компании.

Когда алгоритм начал впервые использоваться, его точность составляла 75-80 %, сейчас в компании заявляют, что она достигла 99 %. Изначально у системы были некоторые проблемы с распознаванием цветов, но после доработки её точность заметно повысилась. Хотя отправка не тех товаров, что были заказаны, происходит, по данным Amazon, довольно редко, даже такие ошибки в масштабах такой огромной компании, как Amazon, способны принести немало неприятностей.

В ИИ-команде Amazon заявляют, что будет сложнее настроить систему мультимодальной идентификации для товаров, обрабатываемых людьми, поэтому конечной целью является доработка технологий до того уровня, на котором будет возможно использование вместо них роботов.

Созданная в 2021 году компания Science анонсировала свой первый продукт, который со временем начнёт возвращать зрение пациентам с рядом фатальных заболеваний глаз. Разработанный в компании электронный блок с microLED экраном будет встраиваться прямо в глазное яблоко, что позволит страдающим слепотой пациентам возвращать зрение сначала частично, а в перспективе всё полнее и полнее.

Источник изображений:Science

Существует множество причин для потери зрения. Предложенное компанией Science решение облегчит жизнь пациентам с такими болезнями, как пигментный ретинит (RP) и сухая возрастная дегенерация жёлтого пятна (AMD). В обоих случаях зрение теряется по причине деградации фоторецепторов в глазах людей, хотя нервные окончания и зрительные нервы остаются в полном порядке. Имплантат Science Eye способен возбуждать эти нервные окончания — так называемые ганглионарные клетки — и передавать в мозг путь сильно упрощённые, но зрительные сигналы.

В каждом глазу человека примерно по 100 млн клеток фоторецепторов. Нервных окончаний, которые передают весь этот массив информации, всего по 1 млн на глаз. Нетрудно понять, насколько будет упрощена передаваемая в мозг нервная информация, основанная на возбуждении всего одного миллиона нервных окончаний. Но это будет определённо лучше полной слепоты и, в перспективе, учёные научатся передавать зрительные данные в более полном объёме.

Созданный в Science имплантат представляет собой электронный блок с процессором и блоком питания, который вживляется под веко на верхнюю поверхность глазного яблока, и экран microLED, который заводится внутрь глаза и устанавливается напротив нервных окончаний в его сетчатке. И это была самая лёгкая часть. Операция займёт около двух часов и может быть сокращена до одного часа после отработки технологии.

Имплантат с экраном шириной 2 мм

Самое сложное, точнее — самое труднопреодолимое препятствие будет заключаться в том, чтобы наделить нервные окончания глаза световой чувствительностью. Проделать это можно с помощью генной терапии. Учёные давно работают с флуоресцентными белками, которые могут светиться и воспринимать фотоны. Чтобы Science Eye работал, в нервные окончания глазного нерва необходимо будет ввести инородные для человека гены. Нетрудно представить, что эта необходимость вызовет бурную дискуссию как в научном сообществе, так и среди обычных людей.

В компании предупреждают, что получаемое с помощью Science Eye и генной терапии зрение будет совсем не таким, как мы его обычно воспринимаем. Однако это реальный шанс вернуть потерявшему зрение человеку возможность самостоятельно и лучше ориентироваться в пространстве. Впрочем, до этого пройдут годы работы по улучшению технологии. Сегодня она испытывается на кроликах и до работы с людьми ещё довольно долго.

Очки для обеспечения работы имплантата

Добавим, компанию Science создал бывший соратник Илона Маска — Макс Ходак (Max Hodak). До 2021 года он возглавлял компанию Маска Neuralink, которая разрабатывает мозговой имплантат. Весной 2021 года он покинул Neuralink и создал свой стартап Science, который к сегодняшнему дню привлёк финансирование в объёме около $160 млн. Имплантат Science Eye назван флагманским продуктом Science. Будет интересно узнать, что ещё есть в её портфеле разработок.