高开180%市值超130亿,“宁王”收获一个IPO
高开180%市值超130亿,“宁王”收获一个IPO
携程Q3大“赚”,但还能更“赚”
携程Q3大“赚”,但还能更“赚”
较劲的Q3:乐观者李斌,“史上最强”何小鹏,李想开上法拉利
较劲的Q3:乐观者李斌,“史上最强”何小鹏,李想开上法拉利
捷豹重生改命,LOGO大变样,马斯克:你们还是卖车的吗
捷豹重生改命,LOGO大变样,马斯克:你们还是卖车的吗
立即打开APP
韩文静
私信
0
来源:图虫

李开复旗下“零一万物”大模型被指抄袭LLaMA

2023-11-14
观点
开源社区肯定会重新发布 Yi 大模型,并重命名张量以符合 LLaMA 架构。

近日,网络上流传着一张原阿里首席 AI 科学家贾扬清的朋友圈,称某国产大模型实际上是抄袭的LLaMA,然后更换了几个变量名就宣称是自己研发。

有国外开发者直接点名,这个抄袭的模型就是李开复旗下的“零一万物(Yi-34B)”。

具体来看,在Yi-34B 的Hugging Face开源主页上,开发者ehartford质疑称该模型使用了Meta LLaMA的架构,只对两个张量(Tensor)名称进行了修改。ehartford表示,开源社区肯定会重新发布 Yi 大模型,并重命名张量以符合 LLaMA 架构。

据悉,零一万物的首款预训练大模型 Yi-34B 在本月初正式开源,根据Hugging Face英文开源社区平台和C-Eval中文评测的最新榜单,Yi-34B 预训练模型取得了多项 SOTA 国际最佳性能指标认可,成为全球开源大模型“双料冠军”

据三言财经消息,针对抄袭一事,机器之心求证了零一万物,得到回复称:

GPT 是一个业内公认的成熟架构,LLaMA 在 GPT 上做了总结。零一万物研发大模型的结构设计基于GPT 成熟结构,借鉴了行业顶尖水平的公开成果,同时基于零一万物团队对模型和训练的理解做了大量工作,这是我们首次发布获得优秀结果的地基之一。与此同时,零一万物也在持续探索模型结构层面本质上的突破。

模型结构仅是模型训练其中一部分。Yi开源模型在其他方面的精力,比如数据工程、训练方法、baby sitting(训练过程监测)的技巧、hyperparameter 设置、评估方法以及对评估指标的本质理解深度、对模型泛化能力的原理的研究深度、行业顶尖的 Al Infra 能力等,投入了大量研发和打底工作,这些工作往往比起基本结构能起到更大的作用跟价值,这些也是零一万物在大模型预训练阶段的核心技术护城河。

在大量训练实验过程中,由于安验执行需求对代码做了更名,我们尊重开源社区的反馈,将代码进行更新,也更好的融入 Transformer 生态。

我们非常感谢社区的反馈,我们在开源社区刚刚起步,希望和大家携手共创社区繁荣,Yi Open-source 会尽最大努力持续进步。

猎云网APP阅读全文

体验更加

猎云网

微信扫码关注猎云网

  1. 猎云网原创文章未经授权转载必究,如需转载请联系官方微信号进行授权;
  2. 转载时须在文章头部明确注明出处、保留官方微信、作者和原文链接,如:转自猎云网(微信号: lieyunjingxuan )字样;
  3. 猎云网报道中所涉及的融资金额均由创业公司提供,仅供参考,猎云网不对真实性背书。
  4. 联系猎云,请加微信号:jinjilei
猜你喜欢
长按图片可以分享给好友
×