trentmkelly/qwen3-embedding-0.6b-stylometry-v9

SentenceTransformer

This is a sentence-transformers model trained on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: Qwen3Model 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'El documento del PSOE donde habla de "personas de sexo biológico masculino" tiene un lenguaje cuya finalidad es decir "las mujeres trans en realidad no son mujeres". Recuerdo cuando sacaron a la luz datos médicos personales de Imane Khelif, violando sus derechos a la privacidad y calificandola así. || La ley trans de Argentina, la primera en el mundo en garantizar la autodeterminación del género. Ahora mismo en peligro. || @subetealanutria.bsky.social  Arrestaron a tu nutria. www.elcomercio.es/aviles/polic... || Lo anacrónicas que son ya las monarquías, y el olor a rancio que desprenden. || Yo no quiero que está guerra me deshumanice. No soy nacionalista, ni tampoco sionista. Simplemente soy judía, y ni siquiera la religión es un aspecto tan importante en mi vida. Tengo amigas árabes a las que quiero conservar como tales. Mi pareja es católica. Creo en la convivencia y en el respeto. || Cuenten conmigo para ello. Muchos judíos lo decimos, no en nuestro nombre. Como bien dices, la religión de cada quien es algo personal. Y el estado, las leyes, etc... tienen que ser neutrales en ese sentido. || En el pensamiento judío, históricamente hay un concepto, el "Kol Israel arevim ze laze" que expresa una suerte de responsabilidad colectiva del pueblo judío. Entendida en que cada judío es responsable el uno por el otro. Es algo que muchos no compartimos, porque cada persona es responsable por sí. || Soy trans y vaya que he perdido amigos, hasta lazos familiares se han roto. Pero es que, la transfobia es tan grande en la sociedad, que yo he notado incluso como mi género llega a afectar a mi pareja. La gente la juzga todo el tiempo, y es que como somos dos mujeres, hay quien no nos entiende. || Esos son como la canción de Luis Miguel: "la incondicional, la que no espera nada". || En EEUU en lugar de un doctor de prestigio al timón de la Secretaría de Salud, vamos a tener a un antivacunas. En Texas han incorporado estudios bíblicos creacionistas al currículo escolar. A cargo de la defensa, nada de un militar de carrera, a un presentador de la Fox que no sabe donde esta España',
    'Exactamente, o sea, como una enseñanza religiosa de los tiempos de Moisés, pues está bien. Pero no podemos hacer leyes basadas en responsabilidades colectivas, o en preceptos religiosos. El problema es que en Israel, los haredim cada vez tienen más peso e influencia política. Es un acoso total. || A mi me decían cosas horribles sobre los árabes. Racismo puro, pero mi espíritu es rebelde, y por eso quise conocer más sobre ellos. Cuando empecé a conocer chicas árabes, entendí que esas ideas no tenían sentido. Descubrí una cultura muy hospitalaria y que guarda mucha relación con la nuestra. || ???????? EE.UU: Viernes Negro (Black Friday) para seguir con la fiebre consumista. || Desde aquel último día de Sucot, cuando empezó esta última guerra, he vivido una crisis personal. Soy judía y mi idea sobre Israel ha pasado de cierta simpatía a cuestionarme su legitimidad. Estoy harta de tanta violencia. De hecho le he expresado mis sentimientos de afecto a todos mis amigos árabes || Le pide a un pueblo mestizo que celebre un genocidio de indígenas. Con lo que nos ha costado dejar de celebrar el dichoso Día de la Raza y darle otro significado. En fin, como dijo Madero, de tal palo tal astilla. || No sean mal pensados. Quiere hacer un pastel de calabaza y sorprender a su novia/o. Lo demás es por si surge plan. || Hay gente que gracias a sus padrinos, están por encima de la ley. Ya hay países como Francia, Alemania y Hungría que han dicho que no van a detener a Netanyahu. Como signatarios del Estatuto de Roma, tienen la obligación de detenerlo, porque sobre él pesa una orden de arresto por crímenes de guerra. || Vi sheyne ir kuk. Her Majesty. Que guapa se mira usted, Su Majestad. || Pues eso sería con la ley romana, porque lo que es la judía literalmente se la saltó a la torera. || Yo siento que soy más bien una señora estilo Toulouse Lautrec. || Apalizan a enfermeras, cuya vocación es cuidar a las personas enfermas. Cuando simplemente están pidiendo un salario justo y condiciones laborales dignas. Es una vergüenza. Cuanta gente votó a Milei y se ha dado cuenta ya a la mala como les cagaron.',
    'Yaaaaa ????. Lo importante es el alma, el sitio y sus pobladores. No le podemos quitar mérito a quienes dan todo aquí desde el principio sólo porque no les gustan los mismos nombres para denominar a un post, que es lo que son realmente. Yo soy emotiva, pero poco dada a palabras cursis ????, me cuestan || Gracias, QQ! || Muuuuuuuu malo. || Espero que te ayude el médico ???????????????? || Es que eso es lo que me parece lo normal. No se me había ocurrido que alguien fuera a mirar las cifras de seguidores de alguien antes de dar me gusta o RT a un post. Me quedo loquer. || Jajajaja. He cenado hace una hora. Creo que tiempo insuficiente para asentar lo ingerido ???? || Gracias por hacerme verlo así ???? || Ayyy ???? ???? || Ay el gif ???? || Ahhh jajaja. Pues es cuando hablas contando un tema que se refiere a una persona concreta, pero sin mencionarla. Como el chiste de Gila del señor pasando junto a un asesino y diciendo al aire “alguien ha matado a alguien… alguien es un asesino…”. || Gracias!! || Desvelada por tercer día consecutivo. Tengo unos picores insoportables en la piel que no me dejan dormir y me despierto. || Oii, qué bonito ???? || ???????? || Una conversación de machos discutiendo sobre si las mujeres hacen bien o mal el feminismo, pasando ahora por mis narices, no, que me enamoro. || Además, alguna vez recibí una medio queja de quien no se veía en el circulito, como si fuera culpa mía que salga alguien o no, como si los hiciéramos a mano ????????\u200d♀️ || Justo lo que yo pensaba ???? || Aaaaaanda narices! || Ay, Gracias Mery ???? || El problema es que si sigues a 5.000, ya no puedes leerlas. Precisamente porqué me gusta leer e interactuar sin perderme mucho, no concibo poder seguir a 400 personas. Acabaría teniendo un batiburrillo en el que encuentro a los amigos. Seguir a 5000 cuentas creo que es como un tener un tío en Murcia || Es que lo idea sería no saber ni preocuparse por saber cuántos seguidores tiene una cuenta. ¿Te gusta un tuit? Pues RT. No me entra en la cabeza otro uso. || Felicidades!! || 3. El paritorio. || Pero si justo aquí no hay ninguna pseudo, solo una mención como un piano ???? || Muchas Gracias Yoto ????',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Binary Classification

• Dataset: test_pairs
• Evaluated with BinaryClassificationEvaluator

Metric	Value
cosine_accuracy	0.7478
cosine_accuracy_threshold	0.4423
cosine_f1	0.7557
cosine_f1_threshold	0.3603
cosine_precision	0.6841
cosine_recall	0.8439
cosine_ap	0.8477

Training Details

Training Dataset

json

• Dataset: json
• Size: 438,990 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 398 tokens mean: 503.44 tokens max: 512 tokens	min: 392 tokens mean: 503.36 tokens max: 512 tokens	min: 407 tokens mean: 505.06 tokens max: 512 tokens

• Samples:

  anchor	positive	negative
  The validation they're looking for is showing they can make us mad. Give them contempt instead. Never sound hurt or offended; they interpret that as, they have exerted power over us. So, give them something they DON'T want. Contempt works well, or insult their genital size.		On 10/7, Gaza chose war. They're getting war, all the war they could want and then some. I don't see the problem. If you assholes ever actually want peace - IF - you'll demand that Gaza stop firing rockets at Israel, return the hostages, and accept a ceasefire. Until then you are full of shit.
  My gift to you babe????????		Wouldn’t think that a person who clearly on drugs should be the head of the FBI
  Questo è sicuro: ma la rubrica di Dan Savage è imperdibile!		Voi GenZ siete dei dandies, altroché.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• gradient_accumulation_steps: 2
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 1
• warmup_ratio: 0.05
• bf16: True
• gradient_checkpointing: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.05
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	test_pairs_cosine_ap
None	0	-	0.8477
0.0146	25	2.5467	-
0.0292	50	2.3516	-
0.0437	75	2.0079	-
0.0583	100	1.6434	-
0.0729	125	1.3248	-
0.0875	150	1.0804	-
0.1020	175	0.9261	-
0.1166	200	0.8262	-
0.1312	225	0.7508	-
0.1458	250	0.7286	-
0.1603	275	0.6879	-
0.1749	300	0.648	-
0.1895	325	0.6298	-
0.2041	350	0.6237	-
0.2187	375	0.622	-
0.2332	400	0.5987	-
0.2478	425	0.6071	-
0.2624	450	0.5753	-
0.2770	475	0.5826	-
0.2915	500	0.5398	-
0.3061	525	0.5718	-
0.3207	550	0.5456	-
0.3353	575	0.5395	-
0.3499	600	0.5418	-
0.3644	625	0.554	-
0.3790	650	0.5296	-
0.3936	675	0.5144	-
0.4082	700	0.5116	-
0.4227	725	0.5186	-
0.4373	750	0.5247	-
0.4519	775	0.5164	-
0.4665	800	0.5423	-
0.4810	825	0.507	-
0.4956	850	0.5029	-
0.5102	875	0.5099	-
0.5248	900	0.4794	-
0.5394	925	0.5004	-
0.5539	950	0.489	-
0.5685	975	0.479	-
0.5831	1000	0.4856	-
0.5977	1025	0.4651	-
0.6122	1050	0.487	-
0.6268	1075	0.4718	-
0.6414	1100	0.4578	-
0.6560	1125	0.4782	-
0.6706	1150	0.4511	-
0.6851	1175	0.4521	-
0.6997	1200	0.4706	-
0.7143	1225	0.4531	-
0.7289	1250	0.4631	-
0.7434	1275	0.4413	-
0.7580	1300	0.4577	-
0.7726	1325	0.4483	-
0.7872	1350	0.4618	-
0.8017	1375	0.4415	-
0.8163	1400	0.4375	-
0.8309	1425	0.4404	-
0.8455	1450	0.4337	-
0.8601	1475	0.4416	-
0.8746	1500	0.4629	-
0.8892	1525	0.4488	-
0.9038	1550	0.4512	-
0.9184	1575	0.4504	-
0.9329	1600	0.4583	-
0.9475	1625	0.4252	-
0.9621	1650	0.4423	-
0.9767	1675	0.4326	-
0.9913	1700	0.443	-

Framework Versions

• Python: 3.11.12
• Sentence Transformers: 3.3.1
• Transformers: 4.57.0
• PyTorch: 2.7.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.8.4
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}