Локальные ИИ: как запустить модели на обычном ПК

Запуск локальных ИИ-моделей может быть необходим тогда, когда облачные решения не подходят или просто не хочется зависеть от интернета. Разделение языковых моделей на большие и малые условно основывается на количестве параметров, при этом малые модели (МЯМ) имеют менее 7-10 миллиардов параметров, а большие (БЯМ) — больше. Однако это деление не всегда точно отражает их разнообразие, так как существуют узкоспециализированные модели, а также облегченные версии больших моделей, созданные через дистилляцию и квантизацию.

Некоторые пользователи ПК, увлекающиеся модификациями, активно улучшают свои устройства для разгона и достижения максимальной производительности. Например, моддеры из Китая успешно дорабатывают видеокарты, увеличивая их память. В то же время, для запуска ИИ-моделей на локальных компьютерах, даже с не самыми современными характеристиками, можно использовать подходящие программные среды, такие как Unsloth Desktop, Ollama и LM Studio Bionic.

В рамках данной статьи будет рассмотрен процесс установки и запуска Unsloth Desktop, которая предлагает пользователям возможность работы с текстовыми и графическими моделями, а также генерации видео. Данная система поддерживает множество моделей, доступных для загрузки из репозитория, что позволяет пользователю выбрать наиболее подходящую для своих задач. Однако важно понимать, что для успешного запуска потребуется достаточно мощное оборудование, в частности, видеокарта с 16 Гбайт памяти и 64 Гбайт оперативной памяти.

Кроме того, производительность локальных моделей может значительно снижаться, если их веса не помещаются полностью в видеопамять. Несмотря на то, что доступ к облачным БЯМ может быть более быстрым и эффективным, локальные решения могут быть интересны для тех, кто ценит приватность и автономность. В конечном счете, возможность развертывания ИИ на собственном ПК дает пользователям больше контроля и гибкости в использовании технологий.