比LLaMA更小，比LLaMA（65B）更强！
5月27日，阿拉伯联合酋长国技术创新研究院（TII）发布了史上最强大的基础模型：FalconLM。
值得注意的是，该模型目前在Huggingface排行榜上排名第一
除了不断增大的模型外，TII还发布了一个用于训练模型的数据集。该数据集包含1.5万亿个参数，
Falcon LLM是一个基础性的大型语言模型（LLM），在一万亿个令牌上训练了400亿个参数。TII现已发布猎鹰LLM——40B型号。
该模型仅使用GPT-3训练计算的75%、Chinchilla的40%和PaLM-62B的80%。
可以肯定的是FalconLM模型目前超越所有其他开源模型（如Redpajama、MPT、LLaMA等）。
该模型使用RoPE嵌入、闪电注意力和多查询注意力进行训练，因此其推理效果得到了优化。它有7B和40B两个版本可用。此外，该模型还提供了针对指令执行进行优化的Instruct版本，但不适用于微调。
另外，他们还推出了一个前瞻性的许可证。它允许商业使用，但对于任何使用该模型的用例所产生的收入超过100万美元的部分，他们要求收取10%的版税。
