При этом новая нейросеть менее требовательна к аппаратным ресурсам и энергии.
Китайские ученые представили «мозгоподобную», по их утверждению, большую языковую модель — систему искусственного интеллекта, которая работает быстрее аналогов, потребляет меньше энергии и, самое главное для КНР, не нуждается в чипах Nvidia.
Разработка Института автоматизации Китайской академии наук в Пекине под названием SpikingBrain 1.0 описана в статье на сервере препринтов arXiv. Как уверяют создатели, она, как мозг, активирует только необходимые нейроны. Поэтому, в отличие от ChatGPT и других подобных инструментов, новый ИИ избирательно реагирует на входные данные, экономя энергию и ускоряя время отклика.
Благодаря такой конструкции модель может обучаться на небольшой части обучающих данных — менее 2% от объема, необходимого традиционным системам, — оставаясь при этом быстрой и эффективной даже при обработке длинного текста.
Как показали эксперименты, в некоторых случаях она работает в 100 раз быстрее, чем традиционные модели, построенные на архитектуре трансформер.
Система полностью работает на китайских чипах MetaX, что стратегически важно для Поднебесной в условиях ужесточения американских санкций.
SpikingBrain открывает новый путь для развития искусственного интеллекта, одновременно предоставляя оптимизированную для китайских чипов архитектуру, сказал ведущий научный сотрудник института Ли Гоци. По его словам, система может быть полезна для обработки длинных последовательностей данных, таких как юридические документы, медицинские записи или научные симуляции.
Команда Ли открыла исходный код уменьшенной версии модели и выложила большую версию в онлайн для публичного тестирования.
«Привет! Я SpikingBrain 1.0, или «Шуньси», вдохновленная мозгом модель ИИ. Я сочетаю способ обработки информации человеческим мозгом с импульсным методом вычислений, чтобы предоставлять мощные, надежные и энергоэффективные услуги ИИ, полностью построенные на китайских технологиях», — написано на демо-сайте системы.
Самые популярные сегодня модели ИИ, включая ChatGPT, требуют огромной вычислительной мощности. Для их обучения нужны монструозные центры обработки данных, построенные на высокопроизводительных чипах, которые потребляют большое количество электроэнергии и охлаждающей воды.
Даже после обучения эти системы остаются ресурсоемкими. Обработка длинных входных данных или генерация сложных ответов могут замедлить их работу и нагрузить память, поскольку они обрабатывают каждое слово параллельно, а не фокусируются только на том, что важно, — что увеличивает стоимость и воздействие их эксплуатации на окружающую среду.
Разработчики SpikingBrain 1.0 стремились воссоздать работу реальных нейронов. Вместо одновременной обработки всей информации система избирательно реагирует на стимулы, потребляя меньше энергии для выполнения сложных задач — подобно человеческому мозгу.
Ее ключевая технология, известная как «импульсные вычисления», имитирует свойство мозга генерировать кратковременные всплески сигналов только при наличии триггера. Такой событийно-ориентированный подход обеспечивает низкую активность системы в состоянии покоя, способствуя ее энергоэффективности и компактности.
Разработаны две версии модели: с 7 миллиардами и 76 миллиардами параметров. Обе обучались не на чипах Nvidia, а на китайской платформе MetaX. Несмотря на использование лишь части данных, требуемых традиционными моделями (около 150 миллиардов токенов суммарно), SpikingBrain демонстрирует результаты, сопоставимые с популярными открытыми аналогами.
Модель также показала исключительную эффективность при обработке длинных последовательностей. В одном из тестов меньшая версия модели обработала промпт объемом 4 миллиона токенов более чем в 100 раз быстрее стандартной системы.
Ранее те же ученые разработали нейрочип Speck, который в отсутствие входного сигнала потребляет 0,42 мВт.