Свой ChatGPT на 125 млрд параметров БЕСПЛАТНО (Даже на RTX 3060!)
Как запустить огромную серверную нейросеть весом 94 ГБ (Qwen 3.8 Flash Next 125B) на обычной домашней видеокарте RTX на 16 ГБ и даже 8 ГБ со скоростью больше 60 токенов в секунду! Разбираем кастомный движок Strata, отказываемся от медленных в гибридном режиме Ollama и LM Studio и поднимаем свой бесплатный безлимитный ИИ-сервер для кода и автоматизаций в n8n. 💳 Сервис для оплаты зарубежных API: https://t.me/zarub_robot?start=ref_ZA2xGg 📥 Ссылка на репозиторий Strata и шпаргалка по выбору кванта под ваш объём памяти — в моём Telegram-канале: https://t.me/wslprod/282 🤖 Внедрить автономных ИИ-агентов или собрать надёжную автоматизацию : https://t.me/neyroutine_bot?start=youtube О чём это видео: Обычно для запуска LLM на 125 миллиардов параметров нужно серверное железо за полтора миллиона рублей. Если запустить такой файл через стандартные программы (Ollama или LM Studio на базе llama.cpp), видеокарта встанет в пробку из-за узкой шины PCI Express, и вы получите слайд-шоу. 0:00 Запуск гигантской нейросети на домашнем ПК 0:45 Почему стандартные движки не справляются 2:52 Тест на прочность: логика и сложный код 4:30 Локальный API: приватность и экономия
Название:
Свой ChatGPT на 125 млрд параметров БЕСПЛАТНО (Даже на RTX 3060!)
Категория:
Технологии и интернет