首 页 资讯 宏观 金融 行业 国企 民企 人物 新资讯

首页>经济>行业

如何破解市场主体“大模型选择困难症”? 五个维度“出考卷”!

2023年08月04日 16:23  |  来源:人民政协网 分享到: 

人民政协网8月4日电 从拼参数到拼落地,大模型正在经历快速发展的阶段。据不完全统计,国内市场上已有100多款大模型产品,如何在其中挑选出一款适合自己的大模型,成为市场主体新的难题。

8月4日,在百度“AI大模型产品能力交流会”上,新华网联合权威机构共同发布了《国内LLM产品测试报告》(以下简称《报告》),为业界选择大模型提供了内容安全、常识问答、数学运算、阅读理解和主观问答等五大维度。据此,新华网对文心一言、GPT-3.5等四大知名大模型进行评测,结果显示百度文心一言超过GPT-3.5,国内大模型排名第一。

资料显示,文心一言是百度自主研制的知识增强大语言模型,首先从数万亿数据和数千亿知识中融合学习得到预训练大模型,在此基础上采用有监督精调、人类反馈的强化学习和提示等技术,并具备知识增强、检索增强和对话增强等技术优势。

新华网物联网技术总监葛振斌认为,评测大模型的这五个维度非常重要:一是把控生成内容安全性的能力,背后涉及意识形态、政治体制、非法涉黄等维度,每一项都事关一个社会文明的底线;二是常识推断计算的能力,涉及自然、文化、地理、历史和生活等多个领域,必须先吃透这些方面的常识,才能避免生成不恰当的内容结果;三是对长文本的语义理解能力,这可以考验大模型产出的内容是否正确且言之有理,是否具有较好的说服力;四是数学运算及数学推理能力;五是主观思维能力,考验大模型是否可以准确理解当地风俗习惯或者传统文化。

《报告》显示,文心一言凭借中文搜索引擎和算法模型优势,在安全、常识、数学、阅读等方面优势明显。在五个维度上的得分计算均值,文心一言的综合得分为94.7分,排名第一,高于GPT-3.5的76.9分。这说明当前文心一言在总体能力(中文处理)上已经超越了GPT-3.5模型。

凭借上述表现,文心一言在“适合中国”方面抢占领先身位,领跑国内大模型。另有IDC等多个权威机构也发布评测报告认为,由文心大模型3.5支持的文心一言综合能力评测得分已超过ChatGPT3.5。IDC报告显示,文心大模型3.5拿下12项核心指标的7个满分,综合评分位列国内主流大模型第一。

中国传媒大学新媒体研究院院长赵子忠建议,创业者和开发者以及中小企业,可基于文心大模型打造智能应用,避免重复“造轮子”,把精力放在自己擅长的创新上。

资料显示,百度于2019年推出文心大模型1.0,今年5月升级至3.5版本。通过飞桨深度学习平台与文心大模型的协同优化,文心大模型3.5实现了基础模型升级、精调技术创新、知识点增强、逻辑推理增强、插件机制等,模型效果提升50%,训练速度提升2倍,推理速度提升30倍。目前,国内超15万家企业申请文心一言内测,其中有超300家生态伙伴在400多个具体场景取得测试成效,覆盖办公提效、知识管理、智能客服、智能营销等领域,联合国家电网、浦发银行、泰康、吉利等企业,联合发布了 11个行业大模型。此外,百度还设立了 10 亿创投基金鼓励大模型创意、繁荣大模型生态。(崔吕萍)

编辑:秦云