# Falcon3

## 概述

[Falcon3](https://falconllm.tii.ae/falcon3/index.html) 是前代版本的自然演进，重点在于扩展模型在科学、数学和代码方面的能力。本次迭代包含五个基础模型：Falcon3-1B-Base、Falcon3-3B-Base、Falcon3-Mamba-7B-Base、Falcon3-7B-Base 和 Falcon3-10B-Base。在开发这些模型时，我们引入了多项关键创新，旨在提升模型性能的同时降低训练成本：

单次预训练：我们在 7B 模型上执行了一次大规模预训练，使用了 2048 块 H100 GPU 芯片，并利用了 14 万亿个 token，这些数据涵盖网页、代码、STEM 以及经过精心筛选的高质量多语言数据。通过深度扩展提升推理能力：基于近期关于模型深度影响的研究，我们通过复制冗余层并将 7B 模型扩展为 10B 参数模型，随后使用 2 万亿个高质量 token 继续预训练。由此得到的 Falcon3-10B-Base 在 13B 参数以下的模型中实现了最先进的零样本和少样本性能。通过知识蒸馏打造更优的微型模型：为了提供紧凑且高效的替代方案，我们利用剪枝和知识蒸馏技术，使用少于 1000 亿个经过精心筛选的高质量 token，开发了 Falcon3-1B-Base 和 Falcon3-3B-Base，从而重新定义了预训练效率。

## 资源

- [博客文章](https://huggingface.co/blog/falcon3)
- [Huggingface 上的模型](https://huggingface.co/collections/tiiuae/falcon3-67605ae03578be86e4e87026)

