时间:2024-01-20 来源:原创/投稿/转载作者:管理员点击:
。据 The Verge 称,Llama 3 将不仅有 Llama 2 的代码生成功能,还将具备更高级的推理和规划能力。
正如扎克伯格所解释的那样,Meta 对 AGI 的关注受到去年发布的大模型 Llama 2 的影响。
Meta 认为,Llama 2 的编码能力对于普通用户在 Meta 的应用程序中使用大型语言模型(LLM)没有意义,但它是构建更智能 AI 模型的一项重要技能。
Llama 2 不是行业领先的模型,但它是最好的开源模型, 扎克伯格说, 对于 Llama 3 及更高级的版本,我们的目标是打造最先进的产品,并最终成为行业领先的模型。
除了人才之外,AI 领域最稀缺的资源是训练和运行大型模型所需的计算能力。在这个问题上,扎克伯格似乎已经做好准备。
扎克伯格在 Instagram 上透露,到今年年底,Meta 将拥有大约 35 万张英伟达 H100,如果包括其他 GPU,将有大约 60 万块 H100 等效算力。
外部研究预计 Meta 的 H100 到货量到 2023 年将达到 15 万张,与微软的到货量持平,至少比其他公司高出三倍。
AGI 是超级强大的人工智能,如果被赋予不适当的目标和动机,可能会对人类社会产生灾难性后果。因此,谁将控制 AGI 一直存在争议,OpenAI 内部最近出现的分歧就体现了这一点。
由于扎克伯格通过持股对 Meta 拥有投票控制权,他在公司内部拥有绝对权力,可以单独决定 AGI 的设计方向和目标。如果有朝一日 AGI 在 Meta 成为现实,如果设计不当,扎克伯格的决策可能会导致 Meta 开发出对人类有害的 AGI。
针对这一担忧,扎克伯格并没有做出正面回应,但他指出,Meta 目前的语言模型 Llama 在大多数情况下是开源的。
只要它有意义并且是安全和负责任的事情,那么我们通常会倾向于开源, 他说, 显然,你不想因为你说过你会做某事就一定会做。
我倾向于认为,这里更大的挑战之一是,如果你构建了真正有价值的东西,那么它最终会变得非常集中, 扎克伯格说, 然而,如果你让它更加开放,那么就可以解决由于机会和价值不平等而可能产生的一大类问题。所以这是整个开源愿景的重要组成部分。
与此同时,从商业策略上看,扎克伯格认为,Meta 迄今为止部署的模型尚未对公司经营造成灾难性的损害。
在很多情况下,那些一开始就拥有最大领先优势的最大公司也是那些呼吁最多的公司,他们说需要为其他人如何构建人工智能设置必要的护栏。 我确信他们中的一些人对公司安全的担忧是合理的,但这种做法与这些企业的商业策略和利益高度一致。
当前,扎克伯格支持开源也有自己的动机,他表示,大模型开源的最终结果仍然是技术的垄断和集中,只是形式不同。
Meta 拥有比全球其他任何一家公司都多的用户,并且其社交媒体业务利润丰厚。因此,人工智能可以让他的平台用户更具粘性。如果 Meta 能够通过公开发布模型来有效规范 AI 的发展,那么它对生态系统的影响力只会越来越大。