‍最近，SDAIA（沙特数据与人工智能局）的 ALLaM 模型现在已正式在 HuggingFace 平台上开放，ALLaM-7B-Instruct 是一款专为阿拉伯语设计的语言模型，由 SDAIA 下属的国家人工智能中心（NCAI：笔者注：国家人工智能中心是 019 年 8 月 30 日成立的政府机构，隶属于沙特数据与人工智能局。）开发。该模型不仅能够理解标准阿拉伯语，还可以理解沙特方言。

该模型经过 5.2 万亿 tokens 的预训练，其中包括阿拉伯语和英语两种语言的数据。

• ALLaM-7B-Instruct-preview: ALLaM-AI/ALLaM-7B-Instruct-preview 是从零开始训练的，预训练步骤包括两个阶段：首先在 4 万亿英文标记上训练，然后在 1.2 万亿混合阿拉伯语 / 英语标记上训练。这种方法保持了模型的英文能力，避免了灾难性遗忘，有效地将一种语言的知识迁移到另一种语言的分布中。
• 用途说明: ALLaM 专门设计用于通过大型语言模型（LLM）加速阿拉伯语言技术（ALT）的研究与发展。ALLaM 系列模型是更大 AI 系统的一个组成部分，开发者在创建这些系统时需要加入安全措施。安全措施对于确保系统在有效性和安全性之间的平衡至关重要，且能够最小化潜在风险，例如模型与外部工具集成时可能出现的风险。

  
  

  
  

  

  笔者摄于 2024 年利雅得举办的 Global AI Summit
  

模型详情

预训练的主要路径有两种：

• ALLaM：从零开始训练模型

• ALLaM-Adapted/ALLaM-()/()-ALLaM/：基于开源或已有权重模型继续训练

对于本版本，这里提供的是经过指令调优的 7B 参数生成模型，且该模型是从零开始训练的。

模型的一些参数如下表所示：