Нейросеть научили анализировать научные статьи и патенты на русском языке

Объем научно-технической информации (патентов, статей, отчетов) с каждым днем стремительно увеличивается. Эффективно работать с этим массивом данных помогает искусственный интеллект. Как правило, большие языковые модели, представленные на рынке, мультиязычные и обучены на разных языках. Но в популярных чат-ботах с генеративным искусственным интеллектом, таких как ChatGPT, превалируют данные на английском, что грозит появлением монокультуры данных в области ИИ.

Ученые Института статистических исследований и экономики знаний НИУ ВШЭ дообучили существующие большие языковые модели, чтобы получить инструмент, способный более точно анализировать научные тексты на русском языке с пониманием предметной специфики. Основой послужил корпус данных iFORA-QA, вручную собранный более чем 150 экспертами ИСИЭЗ из аналитических материалов и отчетов в области науки, технологий и инноваций. Программа прошла государственную регистрацию. 

После адаптации точность модели при ответах на узкопрофессиональные вопросы в сфере науки, технологий и инноваций выросла, скорость генерации увеличилась в 2,7 раза, а использование памяти сократилось на 73% по сравнению с открытой мультиязычной моделью.

«Универсальные языковые модели знают много, но поверхностно. Нам же нужна модель, которая понимает, о чем пишут российские ученые и инженеры. Благодаря проведенным исследованиям мы смогли научить алгоритм мыслить в категориях предметной области, понимать связи между сложными понятиями и корректно интерпретировать запросы», — комментирует главный аналитик проекта, научный сотрудник и ведущий эксперт Центра стратегической аналитики и больших данных ИСИЭЗ Анастасия Малашина. 

Уже в этом году исследователи разработают дополнительные полезные инструменты на базе адаптированной модели. Первым станет умный поисковик — он снизит риски галлюцинирования модели и будет формировать выводы только со ссылками на научные источники информации. Второй инструмент — граф связей, который позволит выявлять закономерности, в том числе скрытые, на основе структуры источников. Кроме того, модель получит способность работать с неполной и неоднозначной информацией, а также рассуждать, то есть не просто давать ответ, а сначала анализировать, чего ей не хватает, задавать уточняющие вопросы пользователю и только потом формулировать подробный ответ.

В итоге все эти возможности объединятся в единую мультиагентную систему, которая позволит решать сложные задачи автоматически.

«Мы создаем целостную систему интеллектуальных агентов, адаптированную под реалии российской науки. Она будет работать на базе большой языковой модели и сможет автономно анализировать научно-техническую информацию и выявлять скрытые связи. Это шаг к автоматизации научной аналитики, где ИИ становится партнером исследователя», — подчеркивает Анастасия Малашина.