Свой ChatGPT на сервере за 12 000 ₽? Xeon против RTX 3080 Ti и RTX 5080
Можно ли сделать свой ChatGPT дома без подписки на сервере за 12 000 ₽? Я поставил одну и ту же нейросеть, Qwen 3.8 на 27 миллиардов параметров, на три компьютера и устроил честную гонку: китайский Xeon E5-2690 v3 без видеокарты, старая RTX 3080 Ti и новая RTX 5080. Одна модель, одна программа (llama.cpp), одинаковые настройки, разница только в железе. Три теста: вопрос в чат, краткое содержание 35-минутного видео и браузерная игра «Собери сервер» одним запросом. Плюс бонус: ускоряет ли режим MTP и спасёт ли процессор модель поменьше. И честный счёт за электричество. Итоги в цифрах: видеокарты отвечают за секунды, Xeon за минуты; игру RTX 5080 написала за 1:24, а Xeon за 44 минуты. Но самая быстрая игра оказалась нерабочей, смотрите почему. А какой результат удивил вас? Пишите в комментариях. ⏱ Таймкоды 0:00 Один вопрос, три компьютера 0:08 Свой ChatGPT на сервере за 12 000 ₽? 0:29 Участники: Xeon, RTX 3080 Ti, RTX 5080 1:14 Тест 1: вопрос в чат 2:06 Почему такая пропасть: скорость памяти 2:32 Тест 2: длинный текст 3:07 Тест 3: игра одним запросом 3:57 Главный вывод теста 4:08 Бонус: MTP и модель поменьше 4:49 Счёт за электричество 5:09 Вывод: кому Xeon, кому видеокарта 5:42 Итоговая таблица Как я собирал этот Xeon, показал в прошлом ролике: «Xeon 12 ядер за 12 000 ₽: собрал сервер на китайской X99 и чуть не сдался». 🧰 Что использовано Модель: Qwen3.8-27B (Unsloth UD-Q2_K_XL, 9,8 ГБ), маленькая модель: Qwen3.5-4B (Q4_K_M) Программа: llama.cpp b11132, режим MTP (draft-mtp) Железо: Xeon E5-2690 v3 на Huananzhi X99-F8 (Proxmox, виртуальная машина на 24 потока), RTX 3080 Ti 12 ГБ, RTX 5080 16 ГБ Энергия: датчик видеокарты (nvidia-smi) и датчик процессора (RAPL), без учёта остального компьютера P.S. В кадре не я, а мой ИИ-двойник: видео с ним сгенерировано нейросетью, голос синтезирован в моём тембре. Замеры, цифры и игры настоящие: все тесты прошли на моих трёх компьютерах. Сайт и все соцсети: https://anxb.ru Европейская подписка на Claude и ChatGPT, помощь с внедрением ИИ и автоматизацией: пишите мне в Telegram https://t.me/CHUDASOV_A_N или https://ugolokpc.ru/pay.html Полезные ссылки: сервисы, файлы и инструкции из роликов: https://ugolokpc.ru/links.html Группа в Telegram «Железный уголок»: https://t.me/ugolokpc Поддержать канал: https://www.tbank.ru/cf/80IkeCQtepx
Название:
Свой ChatGPT на сервере за 12 000 ₽? Xeon против RTX 3080 Ti и RTX 5080
Категория:
Технологии и интернет