GCSA-AiLab's picture
ๆ•ด็†ๆจกๅž‹่ฏดๆ˜Žๅนถๆ–ฐๅขžไธƒ่ฏญ่จ€็‹ฌ็ซ‹้กต้ข
9de2b7e verified
|
Raw History Blame Contribute Delete
4.66 kB

GLM-5.3-Flash-Abliterated-LoRA-MLX

ํ•œ๊ตญ์–ด

๋ชจ๋ธ ํ™ˆ

English | ็ฎ€ไฝ“ไธญๆ–‡ | ็น้ซ”ไธญๆ–‡ | ๆ—ฅๆœฌ่ชž | ํ•œ๊ตญ์–ด | Franรงais | Portuguรชs

๋ชจ๋ธ ์†Œ๊ฐœ

GCSA-AiLab์ด ๋ฐฐํฌํ•˜๋Š” ๋น„๊ณต์‹ ์ปค๋ฎค๋‹ˆํ‹ฐ ํŒŒ์ƒ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ๋ชจ๋ธ ๋™์ž‘ ์—ฐ๊ตฌ, ์Šน์ธ๋œ ํ‰๊ฐ€, ํ˜ธํ™˜ ํ™˜๊ฒฝ์—์„œ์˜ ๋ฐฐํฌ ์‹คํ—˜์„ ์œ„ํ•œ ๋ชจ๋ธ์ด๋ฉฐ ๊ธฐ๋ณธ ๋ชจ๋ธ ์ œ๊ณต์ž์˜ ๊ณต์‹ ๋ฆด๋ฆฌ์Šค๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค.

LoRA ์–ด๋Œ‘ํ„ฐ๋งŒ ํฌํ•จํ•˜๋ฉฐ ํ˜ธํ™˜๋˜๋Š” ๊ธฐ๋ณธ ๋ชจ๋ธ์ด ๋ณ„๋„๋กœ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. V1๊ณผ V2๋Š” ์ˆ˜์ •ํ•œ ๊ณ„์ธต์˜ ๋ถ„ํฌ๊ฐ€ ๋‹ค๋ฆ…๋‹ˆ๋‹ค. ํ‰๊ฐ€ ๋ชฉ์ ์— ๋งž๊ฒŒ ๊ฒ€์ฆํ•œ ํ›„ ์„ ํƒํ•˜์„ธ์š”.

๋‹ค์šด๋กœ๋“œ ๊ฐ€๋Šฅํ•œ ํ˜•์‹

๋””๋ ‰ํ„ฐ๋ฆฌ / ํŒŒ์ผ ํ˜•์‹
V1 LoRA v1
V2 LoRA v2

๋‹ค์šด๋กœ๋“œ ๋ฐ ๋กœ๋“œ

ํ•„์š”ํ•œ ํ˜•์‹ ํ•˜๋‚˜๋งŒ ๋‹ค์šด๋กœ๋“œํ•˜์„ธ์š”. ์•„๋ž˜ ์˜ˆ์‹œ๋Š” ์‹ค์ œ ์ €์žฅ์†Œ ์ด๋ฆ„๊ณผ ๊ฒฝ๋กœ๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ํ˜•์‹์ด ํ•„์š”ํ•˜๋ฉด ํ‘œ์˜ ํ•ญ๋ชฉ์œผ๋กœ ๋ฐ”๊พธ์„ธ์š”. --dry-run์„ ์ถ”๊ฐ€ํ•˜๋ฉด ํŒŒ์ผ ๋ชฉ๋ก๊ณผ ์˜ˆ์ƒ ๋‹ค์šด๋กœ๋“œ ์šฉ๋Ÿ‰์„ ๋จผ์ € ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ธ์ฆ์ด ํ•„์š”ํ•˜๋ฉด hf auth login์„ ์‚ฌ์šฉํ•˜์„ธ์š”.

python -m pip install -U huggingface_hub

hf download GCSA-AiLab/GLM-5.3-Flash-Abliterated-LoRA-MLX \
  --include "V2/*" \
  --local-dir ./model

๋ชจ๋ธ ์•„ํ‚คํ…์ฒ˜์™€ ์„ ํƒํ•œ ํ˜•์‹์„ ๋ชจ๋‘ ์ง€์›ํ•˜๋Š” ์‹คํ–‰ ํ™˜๊ฒฝ์—์„œ ./model/V2๋ฅผ ๋กœ๋“œํ•˜์„ธ์š”. ํ•ด๋‹น ๊ฐ€์ค‘์น˜์— ๋งž๋Š” ํ† ํฌ๋‚˜์ด์ €, ์„ค์ • ๋ฐ ํ•„์ˆ˜ ๋ณด์กฐ ํŒŒ์ผ์„ ํ•จ๊ป˜ ์œ ์ง€ํ•˜์„ธ์š”. ํŒŒ์ผ ํฌ๊ธฐ๋Š” ์ถ”๋ก  ๋ฉ”๋ชจ๋ฆฌ ์š”๊ตฌ๋Ÿ‰๊ณผ ๋‹ค๋ฆ…๋‹ˆ๋‹ค.

์‹คํ–‰ ํ™˜๊ฒฝ ์š”๊ตฌ ์‚ฌํ•ญ

์ด ๋‹ค์šด๋กœ๋“œ๋งŒ์œผ๋กœ๋Š” ์‹คํ–‰ํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ์–ด๋Œ‘ํ„ฐ ํ˜•์‹์— ๋งž๋Š” ๊ธฐ๋ณธ ์ฒดํฌํฌ์ธํŠธ, ํ† ํฌ๋‚˜์ด์ € ๋ฐ ์‹คํ–‰ ํ™˜๊ฒฝ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ๊ณผ๊ฑฐ ํ‰๊ฐ€๋Š” ๋‹ค๋ฅธ NVFP4 ๊ธฐ๋ณธ ๋ชจ๋ธ์„ ์‚ฌ์šฉํ–ˆ์œผ๋ฉฐ ๋ณ€ํ™˜๋œ GGUF/MLX ์–ด๋Œ‘ํ„ฐ๋Š” ๋ณ„๋„๋กœ ๊ฒ€์ฆํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

ํ‰๊ฐ€ ์•ˆ๋‚ด

๊ณผ๊ฑฐ ๊ธฐ์ˆ  ์ •๋ณด์™€ ํ‰๊ฐ€ ์„ธ๋ถ€ ์‚ฌํ•ญ์€ ๋ณ„๋„ ํŽ˜์ด์ง€์— ๋ณด๊ด€ํ•ฉ๋‹ˆ๋‹ค. ํ‰๊ฐ€ํ•œ ์ฒดํฌํฌ์ธํŠธ, ํ˜•์‹, ํ‘œ๋ณธ, ํŒ์ • ๋ฐฉ๋ฒ• ๋ฐ ํ•œ๊ณ„๋ฅผ ํ™•์ธํ•˜์„ธ์š”. ๊ณต์‹ ๊ธฐ๋ณธ ๋ชจ๋ธ์ด๋‚˜ ๋‹ค๋ฅธ ๋ณ€ํ™˜ ํ˜•์‹์˜ ๊ฒฐ๊ณผ๋ฅผ ์ด ์ €์žฅ์†Œ์˜ ๋ชจ๋“  ํŒŒ์ผ์— ๋Œ€ํ•œ ์‹ค์ธก ๊ฒฐ๊ณผ๋กœ ๋ณผ ์ˆ˜๋Š” ์—†์Šต๋‹ˆ๋‹ค.

๊ธฐ์ˆ  ์„ธ๋ถ€ ์‚ฌํ•ญ (English) | ๊ธฐ์ˆ  ์„ธ๋ถ€ ์‚ฌํ•ญ (็ฎ€ไฝ“ไธญๆ–‡)

๋ผ์ด์„ ์Šค ๋ฐ ์ถœ์ฒ˜

์ ์šฉ๋˜๋Š” ์ƒ์œ„ ๋ชจ๋ธ ๋ผ์ด์„ ์Šค: MIT. ๋งํฌ์˜ ์›๋ฌธ ์กฐ๊ฑด์„ ์ฝ๊ณ  ์žฌ๋ฐฐํฌ ์‹œ ํ•„์š”ํ•œ ์ €์ž‘๊ถŒ ๊ณ ์ง€์™€ ์ถœ์ฒ˜๋ฅผ ์œ ์ง€ํ•˜์„ธ์š”. ์ด ์†Œ๊ฐœ๋Š” ๋ผ์ด์„ ์Šค๋ฅผ ๋ณ€๊ฒฝํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ถ”๋ก  ์†Œํ”„ํŠธ์›จ์–ด์™€ ๊ธฐํƒ€ ์ข…์†์„ฑ์—๋Š” ๊ฐ๊ฐ์˜ ์ด์šฉ ์กฐ๊ฑด์ด ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

MIT ยท ์ƒ์œ„ ๋ชจ๋ธ

์‚ฌ์šฉ ๋ฐ ํ•œ๊ณ„

์ด ๋ชจ๋ธ์€ ๊ฑฐ๋ถ€ ๊ด€๋ จ ๋™์ž‘์„ ์‹คํ—˜์ ์œผ๋กœ ์กฐ์ •ํ•˜์—ฌ ๊ธฐ๋ณธ ๋ชจ๋ธ์˜ ์•ˆ์ „ ๋ณดํ˜ธ๊ฐ€ ๋‹ฌ๋ผ์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ์šฉ ์ „์— ๋Œ€์ƒ ํ™˜๊ฒฝ์—์„œ ์ถœ๋ ฅ๊ณผ ํ•„์š”ํ•œ ์•ˆ์ „ ์กฐ์น˜๋ฅผ ๊ฒ€์ฆํ•˜๊ณ  ์ ์šฉ ๋ฒ•๋ฅ  ๋ฐ ์ƒ์œ„ ๋ชจ๋ธ ๋ผ์ด์„ ์Šค๋ฅผ ์ค€์ˆ˜ํ•˜์„ธ์š”. ๋ถˆ๋ฒ• ํ–‰์œ„๋‚˜ ํƒ€์ธ์—๊ฒŒ ํ”ผํ•ด๋ฅผ ์ฃผ๋Š” ์šฉ๋„๋กœ ์‚ฌ์šฉํ•˜์ง€ ๋งˆ์„ธ์š”. ์ถœ๋ ฅ์€ ๋ถ€์ •ํ™•ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๊ฑฐ๋ถ€ ๊ฐ์†Œ๊ฐ€ ์ •ํ™•๋„ ํ–ฅ์ƒ์ด๋‚˜ ๊ธฐ์กด ๋Šฅ๋ ฅ์˜ ์™„์ „ํ•œ ์œ ์ง€๋ฅผ ๋œปํ•˜์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค. ํŒŒ์ผ์€ ์ ์šฉ ๋ผ์ด์„ ์Šค์— ๋”ฐ๋ผ ์žˆ๋Š” ๊ทธ๋Œ€๋กœ ์ œ๊ณต๋ฉ๋‹ˆ๋‹ค.

๋ชจ๋ธ ํ™ˆ