Как запустить нейросеть локально на своём компьютере

Зачем это нужно и когда не нужно

Представьте: вы ведёте маркетинг автосервиса. На руках выгрузка базы клиентов с телефонами, записи разговоров мастера-приёмщика и прайс с закупочными ценами. Всё это хочется отдать нейросети - и всё это ровно то, что не стоит загружать в чужой облачный сервис: политики хранения у сервисов меняются, а ответственность за данные клиентов остаётся на вас. Локальный запуск снимает вопрос в корне: файл никуда не отправляется, потому что отправлять некуда.

Вторая причина - деньги и лимиты. У подписок есть цена, у бесплатных тарифов - потолок сообщений. Локальная модель работает столько, сколько вы готовы ждать: хоть тысяча запросов за ночь, счётчик никуда не тикает. Третья - автономность: отключили интернет, уехали за город - модель на диске продолжает отвечать.

А теперь честная часть. Если вы пишете посты, придумываете заголовки или переводите текст - вам это не нужно. Топовые облачные модели заметно умнее того, что влезает в домашний компьютер, отвечают быстрее и знают, что было вчера. Начните с бесплатных облачных нейросетей, а к локальному запуску возвращайтесь, когда упрётесь в стену: «эти данные наружу нельзя» или «нужно обработать 500 файлов без лимитов».

Что нужно от компьютера

Проще всего думать так: видеопамять - это рабочий стол, а модель - книга. Влезла книга целиком - читаете быстро. Не влезла, часть лежит на полу - читаете медленно. То же происходит, когда модель не помещается в видеокарту и часть её уходит в обычную оперативную память.

Размер моделей меряют в миллиардах параметров: 8B - это восемь миллиардов. В исходном виде такая модель весит слишком много, поэтому её «сжимают» до 4 бит: качество проседает незначительно, а вес падает в разы. Грубое правило для таких сборок - примерно 0,6 ГБ видеопамяти на каждый миллиард параметров плюс запас на длину переписки. Цифры ниже плавают в зависимости от сборки и настроек, так что это ориентир, а не паспорт.

Задача	Размер модели	Что нужно от компьютера	Ощущения
Переписать текст, ответить на отзыв, разложить расшифровку по пунктам	Маленькая, 3-8 млрд параметров	Видеопамяти примерно 6-8 ГБ; файл модели 2-5 ГБ	Быстро, текст идёт почти как в облаке
Разобрать договор, собрать черновик по внутреннему регламенту	Средняя, 12-14 млрд	Видеопамяти примерно 10-12 ГБ; файл 7-10 ГБ	Комфортно, ответ начинается через пару секунд
Сложный анализ, длинные документы, код	Крупная, 30-35 млрд	Видеопамяти примерно 20-24 ГБ; файл 18-20 ГБ	Заметно медленнее, зато качество ближе к облаку
Всё то же, но без видеокарты	Лучше маленькая	Оперативной памяти от 16 ГБ, быстрый процессор	Работает, но текст идёт медленно, ждать придётся

Отдельно про ноутбуки Apple: там память общая для процессора и графики, поэтому даже без «игровой» видеокарты они тянут средние модели - смотрите на общий объём памяти машины. И про диск: скачать вы захотите не одну модель, так что заложите 30-60 ГБ свободного места, желательно на SSD.

Установка по шагам

Оболочка - это приложение, которое запускает модель и показывает вам привычный чат. Вариантов несколько:

• LM Studio - самый понятный старт: окно с чатом, встроенный поиск моделей, программа сама подсказывает, влезет ли модель в ваше железо. Бесплатна и для личного, и для рабочего использования: отдельную лицензию с июля 2025 года получать не нужно.
• Jan - открытый проект с интерфейсом в духе привычных чатов, история хранится у вас на компьютере.
• GPT4All - простой вариант со встроенным чатом по вашим документам: указываете папку, модель отвечает по её содержимому.
• AnythingLLM - если задача именно «база документов и вопросы к ней», а не свободная болтовня.
• Ollama - популярный движок: с 2025 года у него есть и собственное приложение с окном чата для Windows и macOS, и привычное управление командами в терминале. Как второй шаг - отлично, как первый - всё же сложнее LM Studio.

Дальше по шагам, на пути без терминала:

1. Скачайте оболочку с официального сайта, не с агрегаторов «скачать бесплатно без регистрации».
2. Проверьте требования. В справке LM Studio указаны процессор с поддержкой набора инструкций AVX2 и рекомендованные 16 ГБ оперативной памяти: старый офисный ноутбук может не пройти.
3. Установите как обычную программу и запустите.
4. Откройте встроенный каталог моделей. Возьмите для начала маленькую модель на 7-8 млрд параметров в 4-битном сжатии - она заведётся почти везде.
5. Дождитесь загрузки файла - это самая долгая часть вечера.
6. Загрузите модель в память кнопкой в интерфейсе и напишите первое сообщение.
7. Настройте длину контекста, если планируете кидать длинные документы: чем она больше, тем больше памяти съедает модель.

Если компьютер задумался намертво или вылезла ошибка нехватки памяти - модель для вас великовата. Возьмите на ступень меньше или с более сильным сжатием. Это нормальный подбор, а не поломка.

Бесплатно · Telegram

Нейросети - только один из навыков маркетолога

В 4 бесплатных видео разбираем вход в профессию: какие навыки приносят деньги быстрее всего, как собрать портфолио и где найти первого клиента.

Смотреть 4 видео Открывается в Telegram

Какие модели скачивать

Разговорная модель для текста. Смотрите в сторону открытых семейств: Qwen, Llama, Gemma, Mistral, компактные сборки DeepSeek. Русский они понимают, но качество прямо зависит от размера: маленькая модель пишет суше и чаще спотыкается на падежах. Из российских разработок Сбер выложил веса GigaChat в открытый доступ - модель изначально училась на русском. Логика отбора моделей вообще - в разборе, какая нейросеть лучше.

Модель для кода. У тех же семейств есть сборки под программирование, обычно со словом coder в названии. Маркетологу пригодятся реже, но если вы правите скрипты для сайта - разница с обычной моделью ощутимая.

Распознавание речи. Стандарт де-факто - открытая модель Whisper и её быстрые сборки: превращает запись созвона в текст прямо на вашем компьютере, поддерживает русский, аудио никуда не загружает. Подробнее - в статье про нейросети для транскрибации. Если текст надо вытащить не из аудио, а из фотографии документа, смотрите разбор распознавания текста.

Картинки. Локально генерируют через открытые модели изображений: семейства Stable Diffusion, FLUX, из российских Kandinsky. Управляют ими через интерфейсы - Fooocus проще и ближе к «ввёл запрос, получил картинку», но он давно не развивается и рассчитан на модели уровня SDXL; ComfyUI мощнее и тянет свежие модели вроде FLUX, но выглядит как схема из блоков. Требования к видеопамяти сильно разные: старым моделям хватает 4-6 ГБ, тяжёлым - 10-12 ГБ и больше.

Хуже и лучше облака

Где домашняя модель честно проигрывает. Сложные рассуждения: длинная цепочка выводов, разбор противоречивых данных, тонкая аналитика - модель на 8 млрд параметров физически проще облачной, и это видно. Актуальность: её знания заканчиваются на дате обучения, про свежие события она либо молчит, либо уверенно выдумывает. Поиск: по умолчанию она не может проверить факт в интернете. Скорость: без хорошей видеокарты текст ползёт, и на длинном документе это утомляет.

Где выигрывает. Приватность - главное и проверяемое: отключите сеть, и всё продолжит работать. Отсутствие лимитов: обработать 300 отзывов подряд ночью не стоит ни рубля. Предсказуемость: облачный сервис может обновить модель и поменять тариф, а ваш файл на диске остаётся ровно таким, каким вы его скачали.

Отсюда рабочая схема - гибрид. Чувствительное держите локально: записи разговоров, персональные данные клиентов, внутренние документы. Творческое и аналитическое отдавайте облаку, предварительно обезличив данные. Для разбора цифр и стратегии, например, удобны облачные модели вроде DeepSeek - как их применять, разобрано в отдельной статье.

Сценарии и промты

Сценарий 1: созвоны с клиентами. Записали разговор с владельцем автосервиса, прогнали через Whisper локально, получили простыню текста. Дальше её разбирает текстовая модель.

Сценарий 2: черновики по внутренним документам. Прайс с закупочными ценами, регламент мастеров, скрипт администратора - наружу нельзя, а выжимки и памятки по ним нужны регулярно.

Сценарий 3: база и отзывы без выгрузки. Есть выгрузка из CRM или пачка отзывов с карт. Задача - разложить по категориям, не отправляя персональные данные наружу.

Обратите внимание на общую деталь: в каждом промте стоит запрет додумывать. Маленькие модели выдумывают охотнее больших, и жёсткая рамка «только из текста» экономит часы проверки. Базовые принципы - в разборе, как составить промт: для локальных моделей они те же, только формулировать надо проще и короче.

Техника безопасности

• Источник модели. Самый безопасный путь - встроенный каталог оболочки: программа сама тянет файл из проверенного репозитория. Качаете вручную - берите с известных площадок моделей и смотрите на автора публикации.
• Никаких «сборок под ключ». Архивы вида «нейросеть на компьютер, всё уже настроено» с форумов и торрентов - типовой способ раздачи вредоносного кода. Сам файл модели безопасен, опасны скрипты и установщики вокруг него.
• Температура. Генерация грузит видеокарту и процессор как тяжёлая игра, только ровно и подолгу. На ноутбуке это быстро ведёт к перегреву: не работайте на мягком, чистите систему охлаждения, при долгих задачах делайте паузы.
• Юридическая часть. Данные не уходят в облако - риски ниже, но обязанностей это не отменяет. Если вы обрабатываете персональные данные клиентов, требования закона применяются независимо от того, где стоит модель. Локальный запуск - техническая мера защиты, а не освобождение от правил.

И общее правило: локальная модель - не эксперт, а быстрый приватный помощник для черновой работы с вашими же текстами. Решения, цифры и обещания клиенту проверяет человек.

Частые вопросы

Как запустить нейросеть локально на компьютере?

Нужны две вещи: программа-оболочка с обычным окном и файл модели. Скачиваете оболочку с официального сайта (новичку удобнее всего LM Studio, есть также Jan и GPT4All), устанавливаете как любую программу, открываете встроенный каталог моделей, выбираете модель подходящего размера и после загрузки пишете первое сообщение в чат. Командная строка на этом пути не нужна: она понадобится, только если вы сами захотите управлять моделями командами. Весь процесс занимает вечер, из которого большая часть - скачивание файла модели.

Какой компьютер нужен для локальной нейросети?

Главный параметр - объём видеопамяти видеокарты, потому что модель целиком должна в неё поместиться. Грубый ориентир для сжатых до 4 бит моделей: примерно 0,6 ГБ видеопамяти на каждый миллиард параметров плюс запас на длину переписки. На практике это 6-8 ГБ под маленькую модель, 10-12 ГБ под среднюю и 20-24 ГБ под крупную, причём цифры плавают в зависимости от сборки и настроек. Видеокарты нет вовсе - модель запустится на процессоре и оперативной памяти, только отвечать будет заметно медленнее. Ещё заложите 30-60 ГБ свободного места на диске.

Можно ли локально запустить бесплатную нейросеть?

Да, это обычный сценарий: программы-оболочки для личного использования бесплатны, а модели с открытыми весами скачиваются бесплатно. Подписки и оплаты за каждый запрос здесь нет в принципе - вы платите электричеством и износом железа. Из открытых семейств доступны Qwen, Llama, Gemma, Mistral, компактные сборки DeepSeek, а из российских - GigaChat, веса которого Сбер выложил в открытый доступ. Важно смотреть лицензию: бесплатное скачивание и разрешение на коммерческое использование - не всегда одно и то же.

Локальная нейросеть хуже облачной?

В рассуждениях и сложных задачах - да, домашняя модель заметно проще топовых облачных: она меньше по размеру, не знает свежих событий и по умолчанию не ходит в интернет за фактами. Отвечает она тоже медленнее, особенно без хорошей видеокарты. Зато она выигрывает там, где облако проигрывает по определению: данные не покидают компьютер, лимитов и подписки нет, интернет не нужен. Разумная схема - гибрид: чувствительные документы и записи разговоров обрабатываете локально, а творческие и аналитические задачи отдаёте облачной модели.

Работает ли локальная нейросеть без интернета?

Да. Интернет нужен один раз - чтобы скачать программу и файл модели. После этого можно отключить сеть совсем: модель лежит на диске и считается вашим железом. Это и есть главный смысл локального запуска: в самолёте, на даче или в переговорке без связи ИИ продолжает работать. Ограничение обратной стороной: без интернета модель не знает ничего свежее своей даты обучения и не может проверить факт в поиске, поэтому даты, цены и новости у неё перепроверяйте сами.