Meta 已在训练比 Llama 3 更强大的后继产品
SinoDAO
2024-04-19 13:47
订阅此专栏
收藏此文章

  //  

根据 Meta 公司首席人工智能科学家 Yann LeCun 的说法,今天发布的开源 Llama 3 人工智能模型只是一个开始。他表示,一个新的、更大规模的版本正在开发中。

周四上午,Meta 发布了其最新的人工智能模型 Llama 3,宣称这是有史以来最强大的开源模型,任何人都可以使用。

同一天下午,Meta 的首席人工智能科学家 Yann LeCun 宣布,一个更强大的后继产品正在开发中。他暗示这款新模型有潜力超越当前世界上最优秀的封闭式 AI 模型,包括 OpenAI 的 GPT-4 和 Google 的 Gemini。

Meta 今天发布了两个版本的 Llama 3,一个拥有 80 亿参数,另一个则有 700 亿参数。参数数量是行业术语,大致能表明模型的能力。LeCun 表示,更大的模型正在研发中,其中最强大的模型参数超过 4000 亿,目前正在训练中。

LeCun 在麻省理工学院举行的“想象力行动”会议上表示:“精调需要很长时间,但未来几个月将推出这些模型的多种变体。”目前尚不清楚何时会发布超过 4000 亿参数的模型。

Meta 于周二推出了一款名为 Meta AI 的新助手,基于 Llama 3,公司表示测试显示这些模型优于以往具有类似参数数量的开源模型。尽管像 Google 和 OpenAI 这样的大型 AI 开发商保持其技术的封闭,但 LeCun 预测开源 AI 模型将更快进步。理论上,他说,这将更快地推动 AI 向人类水平智能迈进。

LeCun 指出,广泛的软件行业的观察显示开源技术最终将胜出。他说,开放的方法已经成为软件基础设施的主导,因为它允许更快地共享改进并更全面地审查代码。“更多人查看代码时,AI 会更好,”他说。“基础设施需要是开源的——这样进步更快。”

Meta 的开源 AI 战略已经加速了当前围绕生成性 AI 的热潮。该公司在 2023 年 7 月发布 Llama 2 模型时,为许多初创公司、研究人员和企业家提供了下载、实验和构建的更强大的 AI 模型。

OpenAI 的 GPT-4 和 Google 的 Gemini 仅通过付费 API 提供,尽管 Google 在二月份提供了一个较小的模型 Gemma 供下载。还有少数其他公司选择加入 Meta,发布强大的开源 AI 模型。

就在几周前,来自初创公司 Databricks 的一款新模型成为目前可用的最强大的开源变体。如果 Meta 报告的基准测试分数准确的话,Llama 3 似乎更有能力。

LeCun 还在周二承认,Meta 的策略包括免费提供 AI 模型,这些模型的研发和计算资源对 Meta 来说代价高昂。Meta 的创始人兼 CEO 马克·扎克伯格在 1 月份告诉 CNBC,Meta 计划在 2024 年投入数十亿美元购买 GPU,用于训练机器学习算法。

同月他宣布,Meta 的终极目标——与 OpenAI 和 Google 所宣称的相似——是开发所谓的人工通用智能,即可以完成任何和所有人类智能可以做的事情的机器。

扎克伯格今天在 Instagram 上解释说,Meta 将把新的 Meta AI 助手整合到包括 WhatsApp、Instagram、Facebook 和 Messenger 在内的产品中。这款助手由 Llama 3 驱动。

Meta 在其宣布 Llama 3 的博客文章中表示,公司重点改善了用于开发该模型的训练数据。公司表示,它使用的数据量是其前身 Llama 2 的七倍。一些人工智能专家指出,Meta 发布的数据还显示,创建 Llama 3 需要巨大的能源来支持所需的服务器。

开源 AI 模型能力的增长使一些专家担心,这可能使开发网络、化学或生物武器更加容易,甚至可能对人类产生敌意。Meta 已经发布了一些工具,公司称这些工具可以帮助确保 Llama 不会产生可能有害的话语输出。

AI 领域的其他人士表示,Meta 的 Llama 模型并不像它们可以的那样开放。公司对模型的开源许可证施加了一些限制,限制了研究人员和开发人员可以构建的内容。

艾伦人工智能研究院的高级应用研究科学家卢卡·索尔达尼在 Llama 3 发布后的一份声明中表示:“看到越来越多的模型公开释放它们的权重是很棒的事情。”

他补充说:“但开放社区需要访问人工智能管道的所有其他部分——它的数据、训练、日志、代码和评估。这将最终加速我们对这些模型的集体理解。”

参与非营利开源 AI 项目 EleutherAI 的 AI 研究员斯特拉·比德曼表示,Meta 对 Llama 2 的许可证限制了 AI 研究人员可以进行的实验,并补充说 Llama 3 的许可证看起来更加限制性。“Meta 发布了权重,但它对你可以用它们做什么非常有限制,”比德曼说。

该模型的许可证的一部分规定,拥有“超过 7 亿月活跃用户”的公司必须从 Meta 寻求特殊许可——这显然是为了防止该项目帮助公司的最接近竞争对手。

即便如此,Llama 3 似乎很可能引发一波新的 AI 实验热潮。开放 AI 模型库 HuggingFace 的 CEO 克莱门特·德朗格表示,开发者已经基于 Llama 2 创建了超过 30,000 个变种。“我确信我们也将看到基于 Llama 3 的新模型的大量涌现,”他说。“Meta 的这一社区举措非常棒。”(Wired)








【免责声明】市场有风险,投资需谨慎。本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

SinoDAO
数据请求中
查看更多

推荐专栏

数据请求中
在 App 打开