Как пишет The Independent, новая технология воспроизводит принцип работы человеческого мозга, активируя только те нервные клетки, которые необходимы для выполнения задачи.
Отмечается, что широко используемые в настоящее время большие языковые модели, такие как ChatGPT и Llama от Meta, зависят от закона масштабирования, согласно которому производительность системы ИИ улучшается при увеличении объема данных и размера моделей. Ученые отмечают, что эти модели сталкиваются с рядом препятствий, включая чрезвычайно высокие затраты на обучение, значительное потребление энергии, что ограничивает круг их разработок.
Издание уточняет, что новая модель черпает вдохновение из мозговых механизмов. Вместо того чтобы анализировать весь текст целиком, SpikingBrain1.0 фокусируется только на ближайших словах, подобно тому, как человеческий мозг концентрируется на недавнем контексте в разговоре. Такой подход позволяет достичь баланса между эффективностью и точностью. По данным разработчиков, благодаря этому методу внимания SpikingBrain может работать в 25-100 раз быстрее по сравнению с обычными моделями ИИ.
Согласно данным издания, модель функционирует на собственной китайской чиповой платформе MetaX, без использования чипов Nvidia. В отличие от систем, подобных ChatGPT, которые опираются на целую сеть, SpikingBrain избирательно реагирует на входные данные, что снижает его энергопотребление. Это позволяет проводить непрерывное предварительное обучение с использованием менее 2% данных, при этом достигая производительности, сопоставимой с основными моделями с открытым исходным кодом.
Таким образом, отмечает портал, Китай отреагировал на экспортные ограничения США. Чтобы не зависеть от калифорнийского производителя чипов Nvidia, китайские специалисты решили развивать собственную экосистему ИИ.
Исследование о новой модели было опубликовано на платформе arXiv и ожидает рецензирования.