Instructions to use aikexue170/rewrite3-27b-iq4xs with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use aikexue170/rewrite3-27b-iq4xs with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="aikexue170/rewrite3-27b-iq4xs")# pip install -U transformers accelerate # Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("aikexue170/rewrite3-27b-iq4xs", device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use aikexue170/rewrite3-27b-iq4xs with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf aikexue170/rewrite3-27b-iq4xs:IQ4_XS # Run inference directly in the terminal: llama cli -hf aikexue170/rewrite3-27b-iq4xs:IQ4_XS
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf aikexue170/rewrite3-27b-iq4xs:IQ4_XS # Run inference directly in the terminal: llama cli -hf aikexue170/rewrite3-27b-iq4xs:IQ4_XS
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf aikexue170/rewrite3-27b-iq4xs:IQ4_XS # Run inference directly in the terminal: ./build/bin/llama cli -hf aikexue170/rewrite3-27b-iq4xs:IQ4_XS
Use Docker
docker model run hf.co/aikexue170/rewrite3-27b-iq4xs:IQ4_XS
- Llama new
- LM Studio
- Jan
- vLLM
How to use aikexue170/rewrite3-27b-iq4xs with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "aikexue170/rewrite3-27b-iq4xs" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "aikexue170/rewrite3-27b-iq4xs", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/aikexue170/rewrite3-27b-iq4xs:IQ4_XS
- SGLang
How to use aikexue170/rewrite3-27b-iq4xs with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "aikexue170/rewrite3-27b-iq4xs" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "aikexue170/rewrite3-27b-iq4xs", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "aikexue170/rewrite3-27b-iq4xs" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "aikexue170/rewrite3-27b-iq4xs", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Ollama
How to use aikexue170/rewrite3-27b-iq4xs with Ollama:
ollama run hf.co/aikexue170/rewrite3-27b-iq4xs:IQ4_XS
- Unsloth Desktop
- Pi
How to use aikexue170/rewrite3-27b-iq4xs with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf aikexue170/rewrite3-27b-iq4xs:IQ4_XS
Configure the model in Pi
# Install Pi: npm install -g @earendil-works/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:9931/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "aikexue170/rewrite3-27b-iq4xs:IQ4_XS" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Docker Model Runner
How to use aikexue170/rewrite3-27b-iq4xs with Docker Model Runner:
docker model run hf.co/aikexue170/rewrite3-27b-iq4xs:IQ4_XS
- Lemonade
How to use aikexue170/rewrite3-27b-iq4xs with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull aikexue170/rewrite3-27b-iq4xs:IQ4_XS
Run and chat with the model
lemonade run user.rewrite3-27b-iq4xs-IQ4_XS
List all available models
lemonade list
- Hermes Agent
How to use aikexue170/rewrite3-27b-iq4xs with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf aikexue170/rewrite3-27b-iq4xs:IQ4_XS
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:9931/v1 hermes config set model.default aikexue170/rewrite3-27b-iq4xs:IQ4_XS
Run Hermes
hermes
- Atomic Chat
- OpenClaw
How to use aikexue170/rewrite3-27b-iq4xs with OpenClaw:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf aikexue170/rewrite3-27b-iq4xs:IQ4_XS
Configure OpenClaw
# Install OpenClaw: npm install -g openclaw@latest # Register the local server and set it as the default model: openclaw onboard --non-interactive --mode local \ --auth-choice custom-api-key \ --custom-base-url http://127.0.0.1:9931/v1 \ --custom-model-id "aikexue170/rewrite3-27b-iq4xs:IQ4_XS" \ --custom-provider-id llama-cpp \ --custom-compatibility openai \ --custom-text-input \ --accept-risk \ --skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
本README已大量使用rewrite3优化文案
量化档位的 JEV 表现
本仓库是 IQ4_XS GGUF 版本(2026-11-21 起更新为量化配方 v2),权重 14.4 GB(13.4 GiB)。下面的表是同一批样本下各格式的横评(表中是配方 v1 时的数据;v2 在同批真实请求盲测里 JEV 略优/基本持平,见文末「更新记录」)。
小字:我们优化了量化配方,所以实际的 IQ4_XS 表现会比之前更好一小些,体积还小了约 1.2 GB。
「JEV 分」是句子层面的劣质概率,由 jevnovel3 0.8B 打分器给出,能分辨 AI 八股和人类笔触。这套打分器是在大量「AI 味重/人味足」的对照样本上训练出来的,越接近八股套话、注水凑字数,分数就越往上涨。
分数越低越好:0.08 以下算干净,0.08 到 0.12 是正常改写的区间,0.2 往上基本都是眼熟的 AI 味。
再看表格,表格里的每一格都是同一组六条提示跑出来的平均结果,同样的机器,KV cache 也都统一用 bf16,就是为了排除 KV 量化带来的干扰,速度里连思考过程和正文都算了进去。
| 格式 | JEV 均值 ↓ | 脱稿度 ↑ | 最长照抄(字)↓ | 照抄总量 ↓ | 正文长度 | 超长样本 | 平均耗时 |
|---|---|---|---|---|---|---|---|
| FP8(W8A8) | 0.0966 | 0.844 | 31.2 | 54.2 | 1036 | 3/6 | 71s |
| IQ4_XS(GGUF) | 0.0982 | 0.767 | 25.2 | 86.0 | 1007 | 0/6 | 41s |
| NVFP4(W4A4) | 0.1016 | 0.804 | 25.5 | 70.2 | 944 | 0/6 | 43s |
表格里还有两个辅助指标:脱稿度是正文里 5 字窗口「原文没出现过」的比例,越高说明改写得越彻底,加料加得越多;最长照抄和照抄总量统计与原文逐字重合的字数,越少越好(本项目的硬性约束是禁止连续照抄超过 15 字)。
超长样本指的是改写后比原文更长的情况:偶尔会「加料换长度」,介意的话,在提示词里把长度要求写死即可。
我们认为:FP8 > IQ4_XS > NVFP4。 FP8 在照抄与脱稿度上双双拉满,也是我们首选的主力权重;IQ4_XS 速度几乎快一倍、JEV 只差一点,适合显存紧张或本地部署;NVFP4 在 Blackwell 上的显存占用占优,但 JEV 稍高一些。
BF16 是质量基准,但没有单独跑这组 6 条评测;Q3_K_M、Q4_K_M、IQ3_XS 属于 3/4bit 档,暂时还没测试,后续会补。
快速开始
本仓库是 GGUF 格式,MTP 头已经内嵌(blk.64.nextn.*),用新版 llama.cpp(nightly b12374 及以上)加载即可:
# 24G 以上显存:
llama-server -m rewrite3-27b-IQ4_XS.gguf \
-c 16384 --n-gpu-layers 99 -fa on \
--spec-type draft-mtp --spec-draft-n-max 3
# 16G 显存:8k 上下文 + MTP,务必加 --parallel 1
# (llama.cpp 默认按 4 个并行槽位分配 MTP 用的 GDN 状态,会多占约 1.8GB;
# 加了 --parallel 1 之后 8k 上下文约 14.7GiB)
llama-server -m rewrite3-27b-IQ4_XS.gguf \
-c 8192 --n-gpu-layers 99 -fa on --parallel 1 \
--spec-type draft-mtp --spec-draft-n-max 3
想用 vLLM 的话,换对应的 BF16 / FP8 / NVFP4 仓库即可。
全部版本
| 格式 | 定位 | 权重 | Hugging Face | ModelScope |
|---|---|---|---|---|
| BF16 | 质量基准 | 54.7 GB | rewrite3-27b-bf16 | rewrite3-27b-bf16 |
| Q8_0 GGUF | GGUF 近无损档(29G 级) | 29.0 GB | rewrite3-27b-q8_0 | rewrite3-27b-q8_0 |
| FP8 W8A8 | 主力部署(48G 级) | 35.9 GB | rewrite3-27b-fp8 | rewrite3-27b-fp8 |
| NVFP4 W4A4 | vLLM 专用(需 Blackwell),打包 bug 已修 | 19.7 GB | rewrite3-27b-nvfp4 | rewrite3-27b-nvfp4 |
| IQ4_XS GGUF(本仓库 · 配方 v2) | 本地优先质量,16G 卡可跑 8k | 14.4 GB | rewrite3-27b-iq4xs | rewrite3-27b-iq4xs |
| Q4_K_M GGUF | 16G 塞不下,建议 IQ4_XS | 17.0 GB | rewrite3-27b-q4km | rewrite3-27b-q4km |
| Q3_K_M GGUF | 16G 卡余量 | 13.7 GB | rewrite3-27b-q3km | rewrite3-27b-q3km |
| IQ3_XS GGUF | 极限小显存 | 12.2 GB | rewrite3-27b-iq3xs | rewrite3-27b-iq3xs |
训练与评估
我上一代的rewrite2数据集是AIGC劣化输入->人类网文原作输出,一共两万条。后来我们发现了诸多问题:1、由于劣化文普遍长于人类原作,而劣化到原文的映射几乎都是删改为主,不会补充内容,所以模型倾向于缩短字数,导致一些正常长度的文会被改的太短太碎。2、无cot导致模型注意力低下、泛化性差。改文容易出现逻辑错误,文风较差,对长度敏感等等诸多问题。3、模型并不知道哪些是真正的八股,只能凭借数据先验判断句子好坏,造成了识别上的巨大误差,误伤了极多好句子,而对八股杀不全。
针对这三个问题,我全面升级了数据集。首先我引入了我曾经的模型jevnovel3 0.8B作为八股识别器,在整句的末尾以【概率】的形式附加了jevnovel3对本句话“烂”的概率(取观感曲线的末尾作为整句的p_bad),随后使用claude opus 5.5作为第一次扩写,对人类原作进行细节补充,集中加料描写部分,避开引入文段无法推断出来的信息。随后由于claude本身也有八股,所以我们使用jevnovel3对全文打分标记,然后使用spark x 2.6(讯飞星火家的模型,中文写作能力优秀)进行定点修改。再一次进行jevnovel3打分,最终使用kimi k3(强大的中文模型,同样写作优秀)进行最后一轮次修改。经过一轮扩写两轮修改,最终的加料文在jevnovel平均分上已经持平或优于人类原作。随后我们使用gemini 4 argon构建了思维链(因为文学能力极为出众且cot活人感强)。argon接收到人类总结的八股库(告知八股类型)、劣化文原文及其jevnovel分数、最终的加料文,将jevnovel分数、八股类型和改文思路、加料缘由一一推断出来,看答案写过程构建出完整的cot映射。这就是最新的数据集的构建方法。
使用案例
以下是 DeepSeek V4.1 flash 1017 无预设直出效果,及其 rewrite3 改写后效果。
AIGC 原文(全文 1418 字)
我端着餐盘在食堂里扫视了一圈,最后在靠窗的位置找到了她。
校花林晚坐在那里,一个人。她面前放着一碗白粥,一只剥了一半的茶叶蛋,还有一小碟萝卜干。她剥蛋的动作很慢,指甲掐进蛋壳里,一片一片往下撕,像是在做什么精密实验。晨光从窗户斜进来,把她的侧脸照得有点透明,连耳朵尖上那层细细的绒毛都看得清。
我手里端着两个肉包、一碗豆浆,在“假装路过”和“找个不尴尬的位置坐下”之间反复横跳了大概十五秒。最后我选了离她三张桌子远的地方坐下——这个距离比较体面,不会显得刻意,又能让她余光扫到我的时候不至于完全没印象。
其实我连她认不认识我都不确定。我们同一个年级,她在三班,我在七班,隔着一整个走廊。上学期校园文化节的时候,我和她搭过同一部电梯。她当时抱着一摞书法社的展板,最上面那块歪了,我帮她扶了一下。她说了声“谢谢”,声音很轻,像往水里丢了一颗小石子。
就这三个字,我记到现在。
我咬了一口包子,烫得直吸气。豆沙馅流出来沾在手指上,我赶紧拿纸巾擦,擦到一半下意识抬头——她正好看过来。
四目相对,零点几秒。
我瞬间低头,假装在专心致志地研究手里的纸巾。心跳得跟跑完八百米似的,耳朵根子一阵发烫。我在心里骂自己:你躲什么啊?你又不是做了什么亏心事!
但我就是不敢。她太……亮了。那种亮不是刺眼,是像冬天教室里突然开了暖光灯,让人想凑近,又怕手伸过去显得冒犯。据说隔壁班有个男生连着给她带了一个月的早饭,每天一杯热美式一个三明治,放在她桌洞里,她一口都没动过,全分给同桌了。这事传开之后,那个男生被笑了整整一个学期。
我可不想成为下一个笑话。
我闷头喝豆浆,喝得太急,嘴角沾了一圈白沫。我正拿纸巾擦,余光里她站起来了——端着她的粥碗和半个茶叶蛋,朝我这个方向走过来。
我整个人僵住了。手还捏着纸巾按在嘴角,动作定得像被人按了暂停键。
她走到我旁边那张桌子,坐下。原来她是要去对面拿醋瓶子,顺路换个位置。她把碗放下的时候冲我笑了一下,说:“你那个豆沙包,是二楼新出的吗?我昨天想买没抢到。”
我大脑空白了大概两秒。然后我听见自己说:“啊……对,二楼,挺好吃的,就是有点甜。”
说完我就想抽自己。什么叫有点甜?人家就随口一问,你搁这做美食测评呢?
但她没走,还歪了歪头说:“那你觉得红糖馒头跟豆沙包哪个甜?”
我认真想了想,说:“红糖馒头。豆沙包是那种……温柔的甜。”
她愣了一下,然后笑了。眼睛弯起来的时候,有点像食堂门口那只总晒太阳的橘猫。
“温柔的甜,”她重复了一遍,“行,那我下次试试。”
然后她就端着碗回自己位置了。我坐在那儿,豆浆凉了,包子还剩一个,但我突然觉得食堂的广播音乐都变得顺耳了。
我掏出手机给同桌发了条消息:“她刚才跟我说话了。”
三秒后回:“谁?”
“校花。”
“???说什么了?”
我想了想,打字:“讨论了一下红糖馒头和豆沙包的甜度分级。”
对面沉默了十秒,然后回:“你赢了。全校没人用这种方式跟校花搭讪的。”
我把手机揣回兜里,把最后那个包子吃完。她还在旁边那张桌子低头喝粥,耳边的碎发垂下来。我没再过去说话,但走的时候故意绕了半圈,从她斜后方经过,步子放得很稳。
她好像没抬头。但我走到食堂门口的时候,鬼使神差回头看了一眼——她正举起那个剥了一半的茶叶蛋,朝我轻轻晃了晃,像在说“下次见”。
我差点被食堂门槛绊一跤。
但那天的早饭,是我上高中以来吃得最香的一顿。
rewrite3-27B 改写(全文 1551 字)
我端着早餐在食堂里转悠,早上人多,打饭窗口前排着一溜学生,嘈杂声嗡嗡地响,最后才在靠窗的位置看到了她。靠窗的位置上,坐着校花林晚。面前是一碗冒热气的白粥,一只剥了一半的茶叶蛋,还有一碟萝卜干。她剥蛋剥得不紧不慢,剥下来的蛋壳一片一片码在碟子边上。我端着自己的早餐,两个肉包,一碗豆浆,犹豫了一会儿,挑了个离她三张桌子远的位子坐下。这个距离不远也不近,合适得很。我放下托盘,偷偷瞄了一眼,她正低着头,好像在跟那个茶叶蛋较劲。
其实我俩也算半个熟人。同一年的,不过她在三班,我在七班,中间隔了一个走廊,平时见面基本全靠缘分。再说我们学校那么大,偏偏校园文化节那天,我跟她搭了同一部电梯。她抱着一摞书法社的展板,最上面一块歪了,我伸手帮她扶了一下。她说了声谢谢。
我咬了一口包子,烫嘴,豆沙馅顺着指缝流出来,我慌忙抽了张纸巾去擦,抬头一看,正好对上她的目光。
她朝我这边看。
我赶紧低下头假装若无其事,心一下子跳到了嗓子眼,把纸巾揉成一团攥在手心里。我心想,你躲什么啊?又不是做了什么亏心事!但我就是不敢跟她打招呼。她太耀眼了。听说隔壁班有个男生,连着给她带了一个月的早餐,每天一杯热美式配一个三明治,放在她桌洞里,她一口没动,全都转手给了同桌。这件事后来传开了,那个男生被嘲笑了整整一个学期。这种事最好别往自己身上引。我可不想成为下一个笑话。我低头喝着豆浆,喝得腮帮子鼓鼓的,生怕被人看出我心不在焉。正拿纸巾擦嘴角,余光里却看见她起身了。她端着碗,手里还捏着半个茶叶蛋,正朝我这边走过来。
我整个人僵住了,连呼吸都不敢大声,脑子里甚至已经开始盘算待会儿该怎么解释,为什么我会在她面前犯这种低级错误。林晚走到我旁边的桌子坐下。原来她是去对面拿醋瓶子,拿完就顺势在我旁边坐下了。路过我桌边时,裙摆带起一阵风。
她把碗往桌上一放,冲我笑了一下:“你那豆沙包是二楼新出的吗?我昨天去买没买到。”
我一时没反应过来,愣了好一会儿,脑子空空的,等回过神,嘴巴已经先一步把话说了出来:“啊……是二楼,好吃,就是有点甜了。”
说完我就想抽自己。什么叫有点甜了?人家随口一问,你搁这儿做美食测评呢?
她却像是真感兴趣,还追着问了一句:“那你说红糖馒头和豆沙包,哪个甜?”
我张了张嘴,只觉得手心全是汗,脑子里那点准备好的搭讪词全飞了,只好老老实实思考这个问题。“红糖馒头。豆沙包是那种……温和的甜。”
林晚愣了愣,随即笑出声来,眼睛弯成了两道月牙,看着我,好像第一次知道还有人在乎馒头和包子的区别。
“温和的甜,”她点点头,“诶,好,那我下次买来尝尝。”
她拿着醋瓶回到自己的桌子旁,往白粥里滴了两下,继续低头喝粥。我坐在那里,豆浆已经凉了,包子还剩一个没动,可奇怪的是,我突然觉得食堂背景音里放的流行歌,都变得好听起来了。我掏出手机,给同桌发了条消息:“她刚才跟我说话了。”
过了没一会儿,屏幕上跳出三个字:“谁?”
“校花。”我回复得很快,一字一顿地打了过去。
“???说什么了?”
我想了想,觉得自己说得还挺专业,又回复:“讨论了一下红糖馒头和豆沙包的甜度分类。”
对面沉默片刻,回了句:“你赢了。全校应该没人用这种方式跟校花搭讪。”
我把手机揣回兜里,把最后一个包子吃了,又喝了一口凉掉的豆浆。她还坐在旁边那张桌子低头喝粥,一缕头发垂在耳边,被她随手拨到耳后。我偷偷看了两眼,便起身准备去上早读。走出食堂时,我故意绕了个圈子,从她斜后方的位置经过,没敢停步,也刻意放轻了脚步。
她好像没注意到,也没回头。但走出门口时我鬼使神差地往回看了一眼,她正站在窗边,举着手里的半个茶叶蛋冲我挥了挥,像是在打招呼。我几乎被食堂的门槛绊了一跤。
但那天的早餐,是我入校以来吃得最香的一次。
输入按生产流程处理:jevnovel3 0.8B 逐句打分 → 拼上 INSTRUCTION.txt → 送进 rewrite3-27B。示例里省掉了【分数】标记,方便阅读。
使用建议与限制
不要拿它去改写其他文体,比如广告语、公文、法律文书,它只认小说。
虽然训练语料的平均长度在一千五百字上下,但有了 CoT,泛化能力明显变强,实测从八百字到三千字都能稳着出活。超出这个范围,我没有系统地测过,就像没走过的夜路,不好打包票,欢迎大家自己来试试。
它只负责改写中文小说,改别的也行,不过毕竟OOD了出bug也是很正常的。不过我实测下来泛化性还真挺强的,即使喂进来文书它cot也大概率惊讶一下吐槽几句,然后老老实实的改,改完后效果竟然意外挺好。jevnovel3 分数只是重点提示,不是硬性限制,有打分器的时候,会盯着高分句重点杀;没有打分器的情况下也能直接用纯文本喂,【】填NA就行,就是效果会差一些,可能漏杀八股。
另外,jevnovel3 0.8B 是另一个独立模型,不包含在这个仓库里,需要的话请去我jevnovel相关的仓库获取,欢迎取用。低比特格式,尤其是 3bit GGUF,可能会放大复读、提前收尾、直接照抄原文的毛病,建议你在正式使用前,先拿自己的文本抽几条样本测一测。
它继承了基座模型的一些知识限制,同时也会继承输入文本中的某些倾向性,请勿用它产生任何违法内容,也不要把它的输出当成通用的内容审查工具。本次发布的权重采用 Apache-2.0 协议,具体许可条件以 Qwen 官方规定为准。
更新记录
- 2026-11-21 · 量化配方 v2(本仓库权重文件已原地替换)
- 体积:15.5 GB → 14.4 GB(−1.2 GB)。
- 改动:中段 FFN 的 gate/up 投影降到 IQ3_S、output 降到 Q5_K、词嵌入降到 Q3_K;注意力与 GDN 等敏感张量保持原档位;校准仍用 rewrite-v14-sfw 领域语料做的 imatrix。
- 质量:4 条真实用户请求 × 每条 10 次生成 × 新旧版本 A/B,JEV 均值 0.1653 → 0.1526(约 −8%,统计上属小幅波动,实际体验基本持平或略好)。
- 16G 显卡:配方 v1 在 8k 上下文下约 15.2GiB,塞不下;v2 约 14.3GiB(不开 MTP)/ 14.7GiB(开 MTP +
--parallel 1),可以跑。 - 文件同名同路径、SHA256 已更新;已下载旧版的用户重新下载即可,旧版仍保留在仓库历史里。
文件清单
本仓库(IQ4_XS GGUF · 配方 v2)只有一个权重文件 rewrite3-27b-IQ4_XS.gguf(14.4 GB,MTP 已内嵌),外加 INSTRUCTION.txt 和 SHA256SUMS。用新版 llama.cpp(nightly b12374 及以上)加载即可;加载后建议先跑一条短改写,确认显存与实际输出,再接入生产。
- Downloads last month
- 1,377
4-bit
Model tree for aikexue170/rewrite3-27b-iq4xs
Base model
Qwen/Qwen3.8-27B