Опыт развёртывания больших языковых моделей на локальных вычислительных системах

Аннотация

В статье рассматриваются практические аспекты локального развертывания больших языковых моделей (Large Language Models, LLM) на персональных вычислительных системах. Проведен обзор программного комплекса llama.cpp и формата хранения моделей GGUF, обеспечивающего эффективное использование современных языковых моделей на пользовательском оборудовании. Рассмотрены принципы квантизации моделей и их влияние на требования к оперативной и видеопамяти, приведены рекомендации по выбору уровня квантизации в зависимости от аппаратной конфигурации компьютера. Описаны требования к программному и аппаратному обеспечению, особенности использования графических ускорителей NVIDIA с применением технологии CUDA, а также методика подготовки среды для локального запуска моделей. Представлены практические рекомендации по выбору сборок llama.cpp, загрузке моделей, настройке параметров запуска, организации локального сервера инференса и использованию OpenAI-совместимого API для интеграции языковых моделей в прикладные программные системы. Обсуждаются преимущества локального подхода, связанные с обеспечением конфиденциальности данных, автономностью работы и гибкостью настройки моделей, а также его ограничения, обусловленные вычислительными ресурсами персональных компьютеров. Полученные результаты могут быть использованы разработчиками, исследователями, преподавателями и специалистами, заинтересованными в развертывании персональных систем искусственного интеллекта без использования облачной инфраструктуры.