Эмануэль Майберг (Emanuel Maiberg) из 404Media провёл нехитрое исследование и обнаружил, что Google Books индексирует сгенерированные ИИ книги, при том довольно плохого качества. Для их поиска он использовал характерную для сгенерированных ИИ ответов фразу «As of my last knowledge update» («По последним данным из моей базы знаний»), и результаты его удивили, хотя ранее он уже находил написанные с использованием ИИ книги на Amazon и Google Play.
Источник изображения: freepik.com
Большинство книг с этой фразой на первых восьми страницах выдачи оказались не связаны с темой ИИ, для которой она была бы уместной. В качестве примера Майберг приводит книгу «Медведи, быки и волки: биржевая торговля для 20-летних» (Bears, Bulls, and Wolves: Stock Trading for the Twenty-Year-Old), которую автор позиционирует как «всеобъемлющее руководство для новичков, стремящихся раскрыть тайны финансовых рынков». Своим содержанием она напомнила сгенерированный ChatGPT текст с поверхностным анализом сложных событий, на уровне «Википедии».
В других рассмотренных Майбергом книгах содержались откровенно устаревшие, бесполезные читателю в 2024 году сведения, которые скорее всего были почерпнуты ChatGPT из своей «базы знаний». Он приводит в пример вышедшую в марте 2024 года книгу «Максимум от Twitter: Стратегии успешного продвижения для новичков» (Maximize Your Twitter Presence: 101 Strategies for Marketing Success) Шу Чен Хоу (Shu Chen Hou). Как и в случае со множеством подобных авторов, на его счету числится не один десяток книг. В конце многостраничного раздела о верификации учётной записи в Twitter (ныне X) Майберг обнаружил строки: «Насколько мне известно на сентябрь 2021 года Twitter находилась в процессе переоценки и обновления критериев и процесса верификации, поэтому необходимые шаги могли измениться». В 2022 году Twitter приобрёл Илон Маск и превратил верификацию в торговлю «галочками».
«Не могу поверить, что в компании не знают, что ищут пользователи в Google Books. Они индексируют всё подряд, но мне хотелось бы верить, что они могут распознать сгенерированные ИИ материалы, и они оказали бы себе и пользователям огромную услугу, если их промаркировали», — прокомментировал открытия Майберга библиотекарь, консультант и редактор infoDOCKET.
Отдельное беспокойство Майберга вызывает возможное влияние таких книг на Google Ngram — профессиональный инструмент, оценивающий частоту вхождения фраз и отдельных слов в проиндексированных книгах с 1500 по 2019 годы. Он интересен тем, что учёные и исследователи используют его для оценки культурных тенденций. Соответственно, распространение написанных ИИ книг может заметно исказить результаты анализа с использованием Google Ngram. Однако представитель Google отрицает влияние сгенерированных книг на Google Ngram:
«Наши автоматизированные алгоритмы настроены на поиск релевантных высококачественных книг. Указанные вами книги найдены по необычному и очень специфичному запросу, и не влияют на результаты Ngram. Мы стремимся, чтобы Ngram оставался высококачественным инструментом и продолжим адаптировать его по мере развития индустрии книгоиздания».
«Ngram уже сейчас даёт довольно неточные данные, чтобы на них могли опираться вычислительные социологи и лингвисты, а через несколько лет он, вероятно, и вовсе потеряет значимость, — прокомментировала Алекс Ханна (Alex Hanna), директор по исследованиям Distributed AI Research Institute (DAIR). — Это ещё один пример того, как искусственный интеллект начинает поглощать сам себя. Созданный им контент попадает в Google Books, а затем Google начинает тренировать на его основе собственные модели. Да, они скажут, что тщательно контролируют качество, но детали они, конечно, не раскроют».