Специалисты Корнеллского колледжа вычислительной техники и информационных наук имени Энн С. Бауэрс представили инструмент программирования на основе распознавания рукописного текста. Мостиком между рукописной и текстовой частью служит алгоритм машинного обучения, который связывает одно с другим и отчасти позволяет программировать на интуитивном уровне. Сделанные от руки графики и диаграммы транслируются в машинный код и встраиваются в программу.
Источник изображения: cornell.edu
«Интерфейс на основе пера, названный Notate, позволяет пользователям вычислительных цифровых блокнотов — таких как блокноты Jupyter, которые базируются в интернете и являются интерактивными — открывать поля для рисования и писать диаграммы от руки в строках традиционного оцифрованного компьютерного кода», — сказано в пресс-релизе университета.
Рукописный и текстовый контексты программирования собирает модель глубокого машинного обучения. В одном из примеров пользователи рисовали схемы квантовых цепей на полях кода блокнота Jupyter, а ИИ связывал рисунки с набранным программным кодом. Связь осуществляется в обоих направлениях: как рукописного текста с набранным кодом, так и в обратном порядке.
«Подобная система отлично подошла бы для науки о данных, в частности, для создания графиков и диаграмм, которые затем взаимодействуют с текстовым кодом, — сказал один из авторов проекта. — Наша работа показывает, что нынешняя инфраструктура программирования фактически сдерживает нас. Люди готовы к таким возможностям, а разработчики интерфейсов для набора кода должны принять это к сведению и поддерживать изображения и графические интерфейсы внутри кода».