携程Q3大“赚”,但还能更“赚”
携程Q3大“赚”,但还能更“赚”
无锡新晋独角兽吉姆西启动IPO
无锡新晋独角兽吉姆西启动IPO
较劲的Q3:乐观者李斌,“史上最强”何小鹏,李想开上法拉利
较劲的Q3:乐观者李斌,“史上最强”何小鹏,李想开上法拉利
捷豹重生改命,LOGO大变样,马斯克:你们还是卖车的吗
捷豹重生改命,LOGO大变样,马斯克:你们还是卖车的吗
立即打开APP
邵延港
私信
0
来源:xAI官网截图

站在OpenAI对立面!马斯克开源 Grok,参数量全球最大

2024-03-18
公司动态
Grok-1是3140亿参数的混合专家模型,是“迄今为止全球参数量最大的开源大语言模型”。

当地时间3月17日,马斯克旗下人工智能公司xAI宣布开源大模型Grok-1,遵循Apache 2.0协议开放模型权重和架构。因此,用户可以自由使用、修改和分发软件。

据官网信息,Grok-1是3140亿参数的混合专家模型,是“迄今为止全球参数量最大的开源大语言模型”。

Grok-1 是xAI 使用 JAX 和 Rust 之上的自定义训练堆栈从头开始训练;314B 参数 Mixture-of-Experts 模型,其中 25% 的权重在给定令牌上处于活动状态;此外,Grok-1这是 2023 年 10 月结束的 Grok-1 预训练阶段的原始基础模型检查点。这意味着该模型不会针对任何特定应用(例如对话)进行微调。

对于Grok-1的开源,马斯克在3月11日就曾在社交平台表示xAI将开放Grok的源代码,公众将可免费使用该公司大模型技术背后的代码。

马斯克如约将Grok-1开源,与此同时,马斯克还在因OpenAI的开源问题,起诉OpenAI及其董事会成员。OpenAI 利用 ChatGPT 的官方账号与马斯克进行了互动:你干了我干的事。而马斯克回应称:告诉我们更多关于 OpenAI 的 Open 部分。

开源问题是马斯克与OpenAI争论的核心。据悉,3月1日,马斯克一份46页的诉状被公开,马斯克指控便是OpenAI偏离了公司成立时“为了人类福祉而非私人商业利益”的协议,也违背了“技术开源”的承诺,完全成为了“受控于微软的闭源子公司”。

对于马斯克的指控,3月6日上午10点,OpenAI正式做出回应,在官网发布一篇长博客,称自己始终坚持使命,并针对马斯克的主张一一进行回复。

对于“违背创始协议转向盈利”的指控,OpenAI表示,开发AGI所需的资源超乎他们想象,在最初创办OpenAI时这个数字是1亿美元,而到了2017年则是每年数十亿,金钱的压力迫使他们“为通往AGI规划一条更为合理的路径”,也就是转向盈利——在这一点上,马斯克与他们在2017年前后达成了一致,决定下一步的任务是创建一个营利性实体,但我们无法与 Elon 就营利性条款达成一致。

对于开源,OpenAI表示,我们提供对当今最强大的 AI 的广泛访问,包括数亿人每天使用的免费版本。这个任务并不意味着开源 AGI。正如 Ilya 告诉马斯克的那样:“随着我们越来越接近构建 AI,开始变得不那么开放是有意义的。openAI 的开放意味着每个人都应该从 AI 构建后的成果中受益,但不分享科学是完全可以的......“,马斯克回答说:”是的”。

如今,离开OpenAI的马斯克,在2023年7月份成立xAI,成立之初就被称作“OpenAI对手”。xAI的宗旨是“了解宇宙的真实本质”。 去年11月4日, xAI团队发布了首个AI大模型产品Grok。

马斯克将“迄今为止全球参数量最大的大语言模型” 开源,有准备讽刺了OpenAI一下,在AI社区引发了激烈讨论,坚持开源的马斯克,走上了与OpenAI的对立之路,不过根据xAI公布的数据,在GSM8K、HumanEval和MMLU等一系列基准测试中,Grok-1的表现超过了Llama-2-70B和GPT-3.5,但跟GPT-4还有差距。

猎云网APP阅读全文

体验更加

猎云网

微信扫码关注猎云网

  1. 猎云网原创文章未经授权转载必究,如需转载请联系官方微信号进行授权;
  2. 转载时须在文章头部明确注明出处、保留官方微信、作者和原文链接,如:转自猎云网(微信号: lieyunjingxuan )字样;
  3. 猎云网报道中所涉及的融资金额均由创业公司提供,仅供参考,猎云网不对真实性背书。
  4. 联系猎云,请加微信号:jinjilei
猜你喜欢
长按图片可以分享给好友
×