Исследователи Корейского института науки и технологий (KAIST) создали ИИ-модель DarkBERT для поиска «ценных научных сведений» в даркнете. Нейросеть имеет для этого специальные фильтры, призванные оградить пользователей от нежелательной информации.
Источник изображения: freepik
DarkBERT основан на архитектуре RoBERTa, разработанной ещё в 2019 году. Она пережила своего рода ренессанс, и исследователи обнаружили, что на самом деле данная архитектура даёт больше производительности, чем можно было извлечь из неё ранее. Чтобы обучить ИИ-модель, исследователи просканировали даркнет через анонимный брандмауэр сети Tor, а затем отфильтровали необработанные данные, применив методы дедупликации, балансировки категорий и предварительной обработки данных с целью создания необходимого для обучения массива информации. Результатом проделанной работы стал DarkBERT, который может анализировать фрагменты контента из даркнета и извлекать из него полезную информацию.
Одной из основных характеристик больших языковых моделей (LLM) является понимание языка. В даркнете используется весьма специфическая смесь языков для делового общения, и DarkBERT был обучен именно на ней. Исследование показало, что DarkBERT превосходит другие большие языковые модели, что должно позволить исследователям безопасности и правоохранительным органам глубже проникнуть в даркнет.
Как и в случае с другими LLM, это не означает, что работа над DarkBERT закончена. По заявлениям исследователей, они намерены продолжить дальнейшее обучение и настройку модели, чтобы улучшить её результаты.