В минувшем году одной из популярных новых профессий в области искусственного интеллекта стала должность инженера по составлению запросов к моделям ИИ. Теперь компания Anthropic решила автоматизировать эту задачу, поручив её самому ИИ.
Источник изображения: anthropic.com
Большие языковые модели во многих случаях дают адекватные ответы даже на непрофессиональные запросы пользователей, но иногда даже небольшое изменение формулировки способно значительно повысить его качество. Обычно для этого приходится самостоятельно перебирать различные формулировки или прибегать к услугам инженера, но предложенная Anthropic новая функция способна упростить задачу. В панели управления Anthropic Console, предназначенной для разработки сторонних приложений на базе модели ИИ Claude, появилась новая вкладка Evaluate, связанная со встроенным генератором запросов. Этот генератор получает на вводе краткое описание запроса и генерирует на его основе гораздо более длинный и конкретный. Едва ли данный инструмент оставит инженеров без работы, но он может сэкономить им время и помочь рядовым пользователям.
В разделе Evaluate разработчики сторонних приложений могут проверить, насколько эффективны генерируемые их приложениями подсказки в различных сценариях. Можно, например, загрузить действительный пример в тестовый набор или попросить Claude сгенерировать такие тестовые запросы самостоятельно, чтобы сравнить их эффективность и оценить ответы по пятибалльной шкале. В приведённом Anthropic примере разработчик установил, что его приложение выдаёт в нескольких тестовых случаях слишком короткие ответы — одна из строк в запросе помогла сделать их длиннее, после чего эту схему применили ко всем тестовым сценариям.
Ранее соучредитель и гендиректор Anthropic Дарио Амодеи (Dario Amodei) отметил, что составление запроса является одним из важнейших аспектов для широкого внедрения генеративного ИИ. «Кажется, что это просто, но за 30 минут инженер по запросам часто может заставить приложение работать, если раньше оно не работало», — заявил Амодеи.