| models: | |
| - model: google/gemma-2-2b | |
| - model: google/gemma-2-2b-it | |
| parameters: | |
| density: | |
| - filter: self_attn.q_proj.0 | |
| value: 0.00539 | |
| - filter: self_attn.q_proj.1 | |
| value: 0.3256 | |
| - filter: self_attn.q_proj.2 | |
| value: 0.03843 | |
| - filter: self_attn.q_proj.3 | |
| value: 0.14886 | |
| - filter: self_attn.q_proj.4 | |
| value: 0.41323 | |
| - filter: self_attn.q_proj.5 | |
| value: 0.33564 | |
| - filter: self_attn.q_proj.6 | |
| value: 0.03716 | |
| - filter: self_attn.q_proj.7 | |
| value: 0.1084 | |
| - filter: self_attn.q_proj.8 | |
| value: 0.16658 | |
| - filter: self_attn.q_proj.9 | |
| value: 0.19716 | |
| - filter: self_attn.q_proj.10 | |
| value: 0.10008 | |
| - filter: self_attn.q_proj.11 | |
| value: 0.37198 | |
| - filter: self_attn.q_proj.12 | |
| value: 0.3622 | |
| - filter: self_attn.q_proj.13 | |
| value: 0.26806 | |
| - filter: self_attn.q_proj.14 | |
| value: 0.73192 | |
| - filter: self_attn.q_proj.15 | |
| value: 0.14731 | |
| - filter: self_attn.q_proj.16 | |
| value: 0.46923 | |
| - filter: self_attn.q_proj.17 | |
| value: 0.63063 | |
| - filter: self_attn.q_proj.18 | |
| value: 0.65673 | |
| - filter: self_attn.q_proj.19 | |
| value: 0.66558 | |
| - filter: self_attn.q_proj.20 | |
| value: 0.63758 | |
| - filter: self_attn.q_proj.21 | |
| value: 0.64362 | |
| - filter: self_attn.q_proj.22 | |
| value: 0.40341 | |
| - filter: self_attn.q_proj.23 | |
| value: 0.12982 | |
| - filter: self_attn.q_proj.24 | |
| value: 0.04552 | |
| - filter: self_attn.q_proj.25 | |
| value: 0.03919 | |
| - filter: self_attn.k_proj.0 | |
| value: 0.00592 | |
| - filter: self_attn.k_proj.1 | |
| value: 0.18684 | |
| - filter: self_attn.k_proj.2 | |
| value: 0.02603 | |
| - filter: self_attn.k_proj.3 | |
| value: 0.07283 | |
| - filter: self_attn.k_proj.4 | |
| value: 0.27067 | |
| - filter: self_attn.k_proj.5 | |
| value: 0.18189 | |
| - filter: self_attn.k_proj.6 | |
| value: 0.10695 | |
| - filter: self_attn.k_proj.7 | |
| value: 0.17169 | |
| - filter: self_attn.k_proj.8 | |
| value: 0.08753 | |
| - filter: self_attn.k_proj.9 | |
| value: 0.12807 | |
| - filter: self_attn.k_proj.10 | |
| value: 0.07783 | |
| - filter: self_attn.k_proj.11 | |
| value: 0.41518 | |
| - filter: self_attn.k_proj.12 | |
| value: 0.42307 | |
| - filter: self_attn.k_proj.13 | |
| value: 0.2896 | |
| - filter: self_attn.k_proj.14 | |
| value: 0.52953 | |
| - filter: self_attn.k_proj.15 | |
| value: 0.25035 | |
| - filter: self_attn.k_proj.16 | |
| value: 0.57679 | |
| - filter: self_attn.k_proj.17 | |
| value: 0.52768 | |
| - filter: self_attn.k_proj.18 | |
| value: 0.666 | |
| - filter: self_attn.k_proj.19 | |
| value: 0.67796 | |
| - filter: self_attn.k_proj.20 | |
| value: 0.58825 | |
| - filter: self_attn.k_proj.21 | |
| value: 0.51447 | |
| - filter: self_attn.k_proj.22 | |
| value: 0.33317 | |
| - filter: self_attn.k_proj.23 | |
| value: 0.05987 | |
| - filter: self_attn.k_proj.24 | |
| value: 0.02903 | |
| - filter: self_attn.k_proj.25 | |
| value: 0.08715 | |
| - filter: self_attn.v_proj.0 | |
| value: 0.03025 | |
| - filter: self_attn.v_proj.1 | |
| value: 0.14137 | |
| - filter: self_attn.v_proj.2 | |
| value: 0.00286 | |
| - filter: self_attn.v_proj.3 | |
| value: 0.09155 | |
| - filter: self_attn.v_proj.4 | |
| value: 0.25172 | |
| - filter: self_attn.v_proj.5 | |
| value: 0.2062 | |
| - filter: self_attn.v_proj.6 | |
| value: 0.06811 | |
| - filter: self_attn.v_proj.7 | |
| value: 0.01334 | |
| - filter: self_attn.v_proj.8 | |
| value: 0.18251 | |
| - filter: self_attn.v_proj.9 | |
| value: 0.10415 | |
| - filter: self_attn.v_proj.10 | |
| value: 0.04 | |
| - filter: self_attn.v_proj.11 | |
| value: 0.22664 | |
| - filter: self_attn.v_proj.12 | |
| value: 0.16337 | |
| - filter: self_attn.v_proj.13 | |
| value: 0.09347 | |
| - filter: self_attn.v_proj.14 | |
| value: 0.52549 | |
| - filter: self_attn.v_proj.15 | |
| value: 0.02152 | |
| - filter: self_attn.v_proj.16 | |
| value: 0.25325 | |
| - filter: self_attn.v_proj.17 | |
| value: 0.43041 | |
| - filter: self_attn.v_proj.18 | |
| value: 0.49113 | |
| - filter: self_attn.v_proj.19 | |
| value: 0.32307 | |
| - filter: self_attn.v_proj.20 | |
| value: 0.41922 | |
| - filter: self_attn.v_proj.21 | |
| value: 0.32166 | |
| - filter: self_attn.v_proj.22 | |
| value: 0.34057 | |
| - filter: self_attn.v_proj.23 | |
| value: 0.24319 | |
| - filter: self_attn.v_proj.24 | |
| value: 0.07956 | |
| - filter: self_attn.v_proj.25 | |
| value: 0.13849 | |
| - filter: self_attn.o_proj.0 | |
| value: 0.03265 | |
| - filter: self_attn.o_proj.1 | |
| value: 0.22645 | |
| - filter: self_attn.o_proj.2 | |
| value: 0.06134 | |
| - filter: self_attn.o_proj.3 | |
| value: 0.16228 | |
| - filter: self_attn.o_proj.4 | |
| value: 0.07924 | |
| - filter: self_attn.o_proj.5 | |
| value: 0.1259 | |
| - filter: self_attn.o_proj.6 | |
| value: 0.09982 | |
| - filter: self_attn.o_proj.7 | |
| value: 0.02826 | |
| - filter: self_attn.o_proj.8 | |
| value: 0.03906 | |
| - filter: self_attn.o_proj.9 | |
| value: 1.0 | |
| - filter: self_attn.o_proj.10 | |
| value: 0.51227 | |
| - filter: self_attn.o_proj.11 | |
| value: 0.34671 | |
| - filter: self_attn.o_proj.12 | |
| value: 0.70159 | |
| - filter: self_attn.o_proj.13 | |
| value: 0.4424 | |
| - filter: self_attn.o_proj.14 | |
| value: 0.74354 | |
| - filter: self_attn.o_proj.15 | |
| value: 0.16266 | |
| - filter: self_attn.o_proj.16 | |
| value: 0.71896 | |
| - filter: self_attn.o_proj.17 | |
| value: 0.53179 | |
| - filter: self_attn.o_proj.18 | |
| value: 0.18472 | |
| - filter: self_attn.o_proj.19 | |
| value: 0.09507 | |
| - filter: self_attn.o_proj.20 | |
| value: 0.13472 | |
| - filter: self_attn.o_proj.21 | |
| value: 0.23246 | |
| - filter: self_attn.o_proj.22 | |
| value: 0.10599 | |
| - filter: self_attn.o_proj.23 | |
| value: 0.00282 | |
| - filter: self_attn.o_proj.24 | |
| value: 0.09864 | |
| - filter: self_attn.o_proj.25 | |
| value: 0.00961 | |
| - filter: mlp.gate_proj.0 | |
| value: 0.4928 | |
| - filter: mlp.gate_proj.1 | |
| value: 0.08775 | |
| - filter: mlp.gate_proj.2 | |
| value: 0.0 | |
| - filter: mlp.gate_proj.3 | |
| value: 0.12885 | |
| - filter: mlp.gate_proj.4 | |
| value: 0.50973 | |
| - filter: mlp.gate_proj.5 | |
| value: 0.29085 | |
| - filter: mlp.gate_proj.6 | |
| value: 0.06577 | |
| - filter: mlp.gate_proj.7 | |
| value: 0.11425 | |
| - filter: mlp.gate_proj.8 | |
| value: 0.12968 | |
| - filter: mlp.gate_proj.9 | |
| value: 0.19222 | |
| - filter: mlp.gate_proj.10 | |
| value: 0.17268 | |
| - filter: mlp.gate_proj.11 | |
| value: 0.10512 | |
| - filter: mlp.gate_proj.12 | |
| value: 0.02651 | |
| - filter: mlp.gate_proj.13 | |
| value: 0.04687 | |
| - filter: mlp.gate_proj.14 | |
| value: 0.14716 | |
| - filter: mlp.gate_proj.15 | |
| value: 0.03147 | |
| - filter: mlp.gate_proj.16 | |
| value: 0.05726 | |
| - filter: mlp.gate_proj.17 | |
| value: 0.04511 | |
| - filter: mlp.gate_proj.18 | |
| value: 0.25063 | |
| - filter: mlp.gate_proj.19 | |
| value: 0.26688 | |
| - filter: mlp.gate_proj.20 | |
| value: 0.37716 | |
| - filter: mlp.gate_proj.21 | |
| value: 0.3862 | |
| - filter: mlp.gate_proj.22 | |
| value: 0.27378 | |
| - filter: mlp.gate_proj.23 | |
| value: 0.08641 | |
| - filter: mlp.gate_proj.24 | |
| value: 0.37212 | |
| - filter: mlp.gate_proj.25 | |
| value: 0.31151 | |
| - filter: mlp.up_proj.0 | |
| value: 0.24228 | |
| - filter: mlp.up_proj.1 | |
| value: 0.06887 | |
| - filter: mlp.up_proj.2 | |
| value: 0.20625 | |
| - filter: mlp.up_proj.3 | |
| value: 0.27546 | |
| - filter: mlp.up_proj.4 | |
| value: 0.59112 | |
| - filter: mlp.up_proj.5 | |
| value: 0.41203 | |
| - filter: mlp.up_proj.6 | |
| value: 0.07411 | |
| - filter: mlp.up_proj.7 | |
| value: 0.05424 | |
| - filter: mlp.up_proj.8 | |
| value: 0.23792 | |
| - filter: mlp.up_proj.9 | |
| value: 0.1677 | |
| - filter: mlp.up_proj.10 | |
| value: 0.17054 | |
| - filter: mlp.up_proj.11 | |
| value: 0.18762 | |
| - filter: mlp.up_proj.12 | |
| value: 0.08044 | |
| - filter: mlp.up_proj.13 | |
| value: 0.0021 | |
| - filter: mlp.up_proj.14 | |
| value: 0.26389 | |
| - filter: mlp.up_proj.15 | |
| value: 0.06886 | |
| - filter: mlp.up_proj.16 | |
| value: 0.21476 | |
| - filter: mlp.up_proj.17 | |
| value: 0.21777 | |
| - filter: mlp.up_proj.18 | |
| value: 0.32111 | |
| - filter: mlp.up_proj.19 | |
| value: 0.2885 | |
| - filter: mlp.up_proj.20 | |
| value: 0.40549 | |
| - filter: mlp.up_proj.21 | |
| value: 0.42539 | |
| - filter: mlp.up_proj.22 | |
| value: 0.31214 | |
| - filter: mlp.up_proj.23 | |
| value: 0.02931 | |
| - filter: mlp.up_proj.24 | |
| value: 0.3693 | |
| - filter: mlp.up_proj.25 | |
| value: 0.345 | |
| - filter: mlp.down_proj.0 | |
| value: 0.06756 | |
| - filter: mlp.down_proj.1 | |
| value: 0.03746 | |
| - filter: mlp.down_proj.2 | |
| value: 0.09104 | |
| - filter: mlp.down_proj.3 | |
| value: 0.06643 | |
| - filter: mlp.down_proj.4 | |
| value: 0.05003 | |
| - filter: mlp.down_proj.5 | |
| value: 0.0406 | |
| - filter: mlp.down_proj.6 | |
| value: 0.01609 | |
| - filter: mlp.down_proj.7 | |
| value: 0.09629 | |
| - filter: mlp.down_proj.8 | |
| value: 0.08912 | |
| - filter: mlp.down_proj.9 | |
| value: 0.12874 | |
| - filter: mlp.down_proj.10 | |
| value: 0.04635 | |
| - filter: mlp.down_proj.11 | |
| value: 0.0099 | |
| - filter: mlp.down_proj.12 | |
| value: 0.03487 | |
| - filter: mlp.down_proj.13 | |
| value: 0.04977 | |
| - filter: mlp.down_proj.14 | |
| value: 0.00393 | |
| - filter: mlp.down_proj.15 | |
| value: 0.00748 | |
| - filter: mlp.down_proj.16 | |
| value: 0.06696 | |
| - filter: mlp.down_proj.17 | |
| value: 0.02067 | |
| - filter: mlp.down_proj.18 | |
| value: 0.10311 | |
| - filter: mlp.down_proj.19 | |
| value: 0.009 | |
| - filter: mlp.down_proj.20 | |
| value: 0.0215 | |
| - filter: mlp.down_proj.21 | |
| value: 0.04196 | |
| - filter: mlp.down_proj.22 | |
| value: 0.06326 | |
| - filter: mlp.down_proj.23 | |
| value: 0.21737 | |
| - filter: mlp.down_proj.24 | |
| value: 0.19338 | |
| - filter: mlp.down_proj.25 | |
| value: 0.04905 | |
| - value: 1 | |
| weight: | |
| - value: 1 | |
| merge_method: ties | |
| base_model: google/gemma-2-2b | |
| parameters: | |
| normalize: true | |
| int8_mask: true | |
| dtype: bfloat16 | |
| tokenizer_source: union | |