Echoes-0

henriqueimoveis/Echoes-0 é a primeira publicação do Echoes.

O que e isso

Esse modelo foi treinado do zero em PT-BR como um projeto pessoal/experimental. O checkpoint publicado aqui vem de checkpoints/echoes_ptbr_hammer_4060.pt.

Arquitetura

• Parametros aproximados: 134.30M
• Camadas: 12
• Heads: 12
• Embedding: 768
• Contexto: 256 tokens
• Vocabulario: 32000
• Tokenizer: BPE proprio em PT-BR

Dados

Mistura principal usada neste checkpoint:

• Madras1/corpus-ptbr-v1
• dominguesm/Canarim-Instruct-PTBR-Dataset
• rishiraj/portuguesechat

Dataset mix salvo no checkpoint: sft-heavy.

Status

Esse é um modelo experimental publicado para marcar a existencia do projeto. Ele pode responder bem em alguns casos e falhar feio em outros.

Como usar

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "henriqueimoveis/Echoes-0"
tokenizer = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo_id, trust_remote_code=True)

prompt = "Usuario: Oi, Echoes. Quem e voce?\nEchoes:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=80, temperature=0.9, top_p=0.95)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Metadados do checkpoint

• Step salvo: 8028
• Melhor val loss historico: 3.603450618684292
• Tokenizer BOS/EOS/PAD: <s> / </s> / <pad>