Новосибирцы придумали, как снизить галлюцинации нейросети

Концепция проекта лежит в основе чат-бота «Менон», предназначенного для абитуриентов НГУ.

«Стартовая идея RAGU — открыть доступ к инструментам для эффективной синтезированной работы графов знаний. Наша библиотека обеспечивает интеграцию больших языковых моделей с графами знаний для повышения точности, надёжности и снижения галлюцинации ответов больших языковых моделей на вопросы пользователя. Мы дообучили генеративную нейросеть быть эффективным инструментом построения графа знаний и делать это не за один шаг, а многошагово», — объяснил сотрудник лаборатории прикладных цифровых технологий НГУ Иван Бондаренко.

Он подчеркнул, что разработка позволяет минимизировать требования к аппаратному обеспечению и ускорить процесс.

Оригинальный подход требовал огромных языковых моделей (до ~32 млрд параметров), новосибирцы же уменьшили размер до около 600 млн параметров за счёт дообучения.

Идею архитектуры GraphRAG разработчики взяли из материала Microsoft, вышедшего год назад. По словам Бондаренко, она оказалась хорошей, но имела ряд недостатков, в том числе очень долгую процедуру построения графа знаний и недетерминированный (случайный) результат. Команда смогла усовершенствовать ситуацию. RAGU демонстрирует преимущество по скорости относительно крупных моделей. В дальнейшем библиотеку планируют перенести в движок «Менона».

В команду вошли разработчики не только из Новосибирского госуниверситета. К ним подключились коллеги из Москвы, Владивостока и Калининграда.

Конкурс «Код без границ» проводят в рамках грантовой программы GitVerse, Cloud.ru и «Хабра».