点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:复旦MOSS距离ChatGPT还有多远?
首页> 科技频道> 综合新闻 > 正文

复旦MOSS距离ChatGPT还有多远?

来源:科技日报2023-02-23 10:03

  最近上热搜的MOSS,不是《流浪地球2》中量子计算机550W给自己起的新名字,而是复旦大学计算机科学技术学院教授邱锡鹏团队最新发布的国内第一个对话式大型语言模型,也被称作中国版ChatGPT。

  2月20日,MOSS悄然上线,邱锡鹏团队发布至公开平台(https://moss.fastnlp.top/),邀公众参与内测。但是由于瞬时访问火爆,计算资源无法支撑,内测窗口已暂时关闭。

  悄然上线,又匆匆关闭,MOSS这一“快闪”的举动,让它的亮相饱受争议。

  科技日报记者在浏览器上输入公开平台的网址,其中对MOSS这样介绍:一种像ChatGPT的对话语言模型。MOSS能够按照用户的指示执行各种自然语言任务,包括问答、生成文本、总结文本、生成代码等。MOSS还能够挑战不正确的前提,并且拒绝不适当的请求。

  那么相对于美国OpenAI的ChatGPT,中国的MOSS有何特别之处呢?记者在主页看到了这样的介绍:MOSS和ChatGPT的区别——如MOSS的参数量比ChatGPT少得多;MOSS通过与人类和其他AI模型交谈来学习,而ChatGPT是使用来自人类反馈的强化学习(RLHF)进行培训;MOSS将是开源的,以促进未来的研究,但ChatGPT可能不是这样。

  据介绍,MOSS开发的基本步骤与ChatGPT一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。作为MOSS主要作者之一,邱锡鹏表示:“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”

  ChatGPT语言模型的参数量高达1750亿,而在它问世前,世界上最大的语言模型是微软开发的Turing-NLG,其参数量为170亿。自去年11月30日正式发布以来,ChatGPT上线5天,注册用户就突破百万。目前,其用户规模已达到1亿,成为互联网发展史上用户增长最快的消费级应用。

  在关闭内测之后,MOSS官网发布公告称,MOSS还是一个非常不成熟的模型,距离ChatGPT还有很长的路要走。“我们是一个进行学术研究的实验室,无法做出和ChatGPT能力相近的模型。”科研团队相关负责人指出,当前版本的MOSS表现不够稳定,部分回答或存在事实差错、逻辑不顺等问题。不仅如此,MOSS的英文回答水平较中文回答水平更高,这主要受到其模型基座的单词收录量影响,MOSS学习了3000多亿个英文单词,但中文词语只学了约300亿个。

  复旦大学计算机科学技术学院教授张奇是推出MOSS的复旦大学NLP实验室核心成员之一。对于ChatGPT背后模型所拥有的1750亿的参数规模,他在一次公开讨论中表示,学校这类机构很难去完成,目前百亿级的规模都已经非常困难。

  按照ChatGPT目前开源的最简单复现版本、最便宜模式去计算,要做到1750亿的参数规模,需要大概6000万元的硬件成本,同时运算3.5个月。这还是所有事情都做对的情况,如中间有参数调整,或者想加速训练过程,就需要更高规模的投资。

  归根到底还是研发投入的问题。而除了学术界,国内科技企业也纷纷摩拳擦掌开发自己的ChatGPT:原美团联合创始人王慧文近日明确表示,要“组队拥抱新时代,打造中国OpenAI”;百度此前宣布将在3月上线百度版ChatGPT——文心一言(英文名为ERNIE Bot);阿里达摩院正在研发类ChatGPT的对话机器人,目前已开放给公司内员工测试;科大讯飞也表示,Al学习机将成为公司类ChatGPT技术率先落地的产品……(侯树文 王 春)

[ 责编:林佳欣 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 纪念台湾光复80周年大会在京召开

  • 酒泉卫星发射中心全力备战神舟二十一号任务

独家策划

推荐阅读
记者从在山东东营市召开的2025中日韩澳候鸟保护工作组会议上获悉:我国鸟类保护工作取得显著成效,白鹤、青头潜鸭、黑嘴鸥、中华凤头燕鸥、朱鹮等多个濒危物种种群数量实现稳定增长,2024年、2025年同步监测越冬水鸟数量连创历史调查监测新高。我国连续6年开展“清风行动”,相关违法案件数量和违法犯罪人员数量明显下降,鸟类等野生动植物非法贸易蔓延势头得到有效遏制。
2025-10-24 10:21
光明日报银川10月23日电 记者张文攀从宁夏林业和草原局获悉,多年来,宁夏始终把防沙治沙作为荒漠化防治的重点工作,荒漠化和沙化土地连续25年实现“双缩减”,率先在全国实现了“绿进沙退”的历史性转变。
2025-10-24 09:57
光明日报海口10月23日电 记者王晓樱、通讯员张阳日前从海南大学获悉,该校热带油茶研究团队在海南五指山热带雨林进行油茶种质资源收集时,发现油茶新物种——五指山油茶。研究团队进一步通过形态学比对和叶绿体基因组系统进化分析,确认这次发现的油茶为独立物种。
2025-10-24 09:55
自半导体产业诞生以来,光刻技术始终发挥着关键作用,是推动集成电路芯片制程工艺持续微缩的核心驱动力之一。彭海琳告诉记者,在芯片制造的光刻流程中,“显影”是决定图案成败的核心一步。
2025-10-24 09:54
23日22时30分,我国在文昌航天发射场使用长征五号运载火箭,成功将通信技术试验卫星二十号发射升空,卫星顺利进入预定轨道,发射任务获得圆满成功。
2025-10-24 09:52
从自动化生产线到智能机器人,从大数据分析到物联网技术,从节能改造到绿色转型……当前,我国制造业进入一个更加高端化、智能化、绿色化的制造新时代。其中,推动制造业高端化、智能化、绿色化,有利于持续增强制造业核心竞争力,推动质量提升和品牌建设,不断引领产业向中高端跃升。
2025-10-24 09:51
工业和信息化部近日印发通知,部署开展城域“毫秒用算”专项行动。
2025-10-23 10:31
近日,以“先进制造”为主题的第138届广交会第一期落下帷幕。截至10月19日,境外采购商线下到会人数超15.79万人,环比增长6.3%。
2025-10-23 10:27
日前,大连理工大学科研团队研发的无人机蒙皮超薄一体化集成射频传感器挂飞成功,这标志着我国曲面天线全3D打印技术向实装应用迈出了重要一步。
2025-10-23 10:26
研究团队首次在原子尺度揭示了冰在二维下独特的“织网式”结晶过程。该成果日前发表于国际学术期刊《自然·通讯》。
2025-10-23 10:24
据农情调度,截至10月21日,全国秋粮收获近八成。
2025-10-23 10:23
科研和产业像“两张皮”,中间缺了能把成果“送上门”的人。
2025-10-22 10:17
由美国斯坦福医学院、英国莫菲尔德眼科医院、德国波恩大学等多家国际科研机构组成的团队,开发出一款视网膜下无线微芯片,成功帮助晚期老年性黄斑变性患者恢复了视力。
2025-10-22 10:15
为深切缅怀杨振宁先生,位于清华大学图书馆老馆219室的杨振宁书屋日前正式开放,与其同步启用的杨振宁档案资料库专题网站也面向全球上线发布。
2025-10-22 10:09
中国科学家研究发现,含利福特尼唑的三联方案,让幽门螺杆菌治疗有望重新回归更简便的三联方案时代,为全球幽门螺杆菌感染者带来了全新的治疗选择。
2025-10-22 10:06
10月21日,在上海淀山湖畔举办的“2025年全国青少年智能无人系统应用大赛”发布获奖名单。
2025-10-22 10:04
10月20日,记者从中国工程物理研究院北京高压科学研究中心了解到,该中心联合广东省科学院组成的研究团队,日前在广东省肇庆市德庆县发现了一处小行星撞击形成的地质遗迹——金林陨石坑。
2025-10-21 09:49
美国西雅图华盛顿大学的Grace Hendricks和同事证明,一种mRNA版本的新冠纳米颗粒疫苗在小鼠体内产生的免疫反应是标准mRNA疫苗的28倍。
2025-10-21 09:42
10月17日,中国科学院国家天文台举办“用于太阳磁场精确测量的中红外观测系统”(AIMS)研制总结暨未来科学规划研讨会。”
2025-10-21 09:39
单日就可最多烘干稻谷5000吨。
2025-10-21 09:28
加载更多