2023-11-17 10:31:02 发布人:hao333 阅读( 8481)
科技讯《AI前哨》 11月16日,原阿里首席AI科学家贾扬清吐槽国内某一新模型中用的其实是LLaMA架构,仅在代码中更改了几个变量名引发网络热议。在被指大模型回...
科技讯《AI前哨》 11月16日,原阿里首席AI科学家贾扬清吐槽国内某一新模型中用的其实是LLaMA架构,仅在代码中更改了几个变量名引发网络热议。在被指大模型回应并发布训练模型过程后,贾扬清最新发文谈了为什么开源领域“魔改”要不得。
贾扬清指出,开源是一个相互合作的事情,本质是要大家能够求同尊异,讨论设计,磨合观点,最后拧成一股绳往前走。初入开源以及better engineering的人往往有一种倾向,“这代码我拿来,魔改下,然后我自己自定义也灵活,何乐而不为?”但是就社区而言这种事情绝对弊大于利,最后形成各种分裂的技术体系,没法维护,没法协作,对于创作者和使用者都是非常大的问题。
他还表示,魔改一时爽,社区火葬场,要真的做出成就来,就得真的有能够和社区一起玩的心。
11月14日,“零一万物”公司正式公开回应了此事,该公司开源团队总监Richard Lin承认了修改Llama张量名称的做法不妥,将会按照外界建议把“修改后的张量名称从Yi改回LLaMA”。
11月15日,零一万物正式公开了对Yi-34B训练过程的说明。李开复也在朋友圈转发了该说明,并表示:“零一万物Yi-34B模型训练的说明也回应这两天大家对于模型架构的探讨。全球大模型架构一路从GPT2-->Gopher-->Chinchilla-->Llama2->Yi,行业逐渐形成大模型的通用标准。01.AI起步受益于开源,也贡献开源,从社区中虚心学习,我们会持续进步。”
相关阅读
RelatedReading猜你喜欢
Guessyoulike