Признание
Кажется сбер идет в правильную сторону - респект за выпуск модели. Туповата конечно наверное по сравнению с другими open-source конкурентами, но ждем новых релизов.
Open Source is the way.
Из-за MoE архитектуры наверное будет тяжело файнтюнить, но зато должно быстро работать на процессоре (если работает?).
Хотелось бы проверить это с llama.cpp собственно скачиваю и попытаюсь конвертировать, надежда на то что архитектура такая же как в deepseek и благодаря этому правки будут не нужны. А так llama.cpp позволяет поддержать инференс на гораздо более обширном числе устройств.
Ждём от сбера не MoE модель и побольше, которую бы смогло поддержать комьюнити файнтюнингом. Есть подозрение что всё же с MoE Это тяжело (судя по тому как неохотно выходят файнтюны других MoE).
ставлю ставку на то что у них мощностей не хватит тупо))
Это ж Россия, можно условно сказать майнинг по затратам электричества = затратам электричества для цодов на обучения ИИ. А майнинг во многих регионах запретили.
Да и ещё, вы видели какую карту сделали в США по экспорту и импорту графических ускорителей(и не только) :? Россия там на самом последнем 3 уровне, т.е почти полный запрет(либо полный), туда ещё и Китай входит, Казахстан находится на 2 уровне (с некоторым ограничениями), так что импорт из Казахстана и Китая отпадает)), а на что тогда надо надеется :? На импортеров которые цену в 2 раза завысят :? Кстати крым почему то жёлтый))
Короче всё ужасно
Кстати, модель теперь доступна в популярных инструментах!
• GGUF версии (bf16, q8, q6, q5, q4)
• Ollama (bf16, q8, q6, q5, q4)
Еще можно запускать в lm-studio, вот небольшой гайд.
ставлю ставку на то что у них мощностей не хватит тупо))
Это ж Россия, можно условно сказать майнинг по затратам электричества = затратам электричества для цодов на обучения ИИ. А майнинг во многих регионах запретили.
Да и ещё, вы видели какую карту сделали в США по экспорту и импорту графических ускорителей(и не только) :? Россия там на самом последнем 3 уровне, т.е почти полный запрет(либо полный), туда ещё и Китай входит, Казахстан находится на 2 уровне (с некоторым ограничениями), так что импорт из Казахстана и Китая отпадает)), а на что тогда надо надеется :? На импортеров которые цену в 2 раза завысят :? Кстати крым почему то жёлтый))Короче всё ужасно
Сейчас бы верить картинкам. Китай топ по майнингу в мире, но карт нет) Кто эту карту рисовал, и какой васян неизвестно. Всё обходится в современном мире, и все эти статистики высосаны из пальца. Как будто на каждой карте GPS чип находится ей богу (Да и его бы выпаивали в акурат ).
Кажется сбер идет в правильную сторону - респект за выпуск модели. Туповата конечно наверное по сравнению с другими open-source конкурентами, но ждем новых релизов.
Open Source is the way.
Из-за MoE архитектуры наверное будет тяжело файнтюнить, но зато должно быстро работать на процессоре (если работает?).
Хотелось бы проверить это с llama.cpp собственно скачиваю и попытаюсь конвертировать, надежда на то что архитектура такая же как в deepseek и благодаря этому правки будут не нужны. А так llama.cpp позволяет поддержать инференс на гораздо более обширном числе устройств.
Чувак, это же просто очередной файтюн оригинального китайского квена. Конечно же она будет тупее своего оригинала.