微软崔宏禹:GPT-4以后,不建议再用微调进行特定领域的模型适配

原标题:微软崔宏禹:GPT-4以后,不建议再用微调进行特定领域的模型适配

微软(中国)有限公司创新技术总经理崔宏禹。

5月26日,微软(中国)有限公司创新技术总经理崔宏禹在上海举行的向星力·未来数据技术峰会(FDTC)上回应了当下一个广泛被提及的问题,即如何用自己的数据训练自己的模型,将私域数据与GPT的能力相融合。

崔宏禹解答道,“一般来说,我们推荐两种方式。一种是微调(在不改动预训练模型的基础上,在模型顶层增加分类器或一些特征映射,使微调后的模型能够更贴合实际使用场景),但在GPT-4以后,我们已经不建议或者已经不让大家使用微调的方式了。我们更推荐的是嵌入(将一个内容实体映射为低维向量,从而可以获得内容之间的相似度)的方式。”

嵌入式方式的原理很简单,把企业内的私有数据和文档做向量化或矢量化(嵌入向量可以捕获单词、短语或文本的语义信息,使得它们可以在数学上进行比较和计算),然后去做匹配(两个向量之间的距离用于测量它们之间的相关性,较小距离表示高相关性,较大距离表示低相关性),相似度在0.3以下就认为这个信息的检索已经非常准确。

崔宏禹介绍,在大模型应用中有一个叫嵌入式应用,实际上就是Copilot,即驾驶辅助的角色。这个模型非常简单,在底层基础能力的加持下,在中间这层AI编排的机制下,就可以提供一个Copilot服务,再加上插件的应用,就可以应用在现有的系统,只要有插件就可以方便地把数据接入进来,相当于在原有的系统之外构建了一个辅助驾驶。

崔宏禹认为,微软的系统之所以发展得快,就与这套架构有关系,“当然也有插件。我们觉得OpenAI的插件系统未来会改变商业模式和游戏规则。如果你们用过微软最新的必应搜索就可以发现,在对话过程中它可以跟网站交互获取大量实时数据。以后必应会改变整个应用的生态和游戏规则。”

在此基础之上,怎么样看这个世界?崔宏禹提出两点。

第一,GPT背后,一部分是技术的加持,另一部分是人才、资源、文化。企业非常优秀的数据、这些技术模型是离不开的。但同时,如果公司的人没有以开放的心态拥抱新技术,那这个事情可能也做不了。ChatGPT之所以成功,它是源自于这三方面的成果。

第二,大模型要实现平民化。OpenAI就是想让AI真正Open,让边际成本急剧降低。2012年以后,人工智能兴起,深度学习兴起,但那时候每一个SKU(最小存货单位Stock Keeping Unit,比如销量数据都是以SKU为单位收集,建立预测模型就要为每个SKU单独训练一个模型)都要单独去做训练,成本很高。但是新的AIGC(人工智能生成内容)的模型是通用化的模型,降低再训练的成本,实际上是把边际成本急剧降低。只有当大家都能用的时候,才能说这是人工智能时代,如果只有少数人在用,那不叫一个时代。

“M365(Microsoft 365,基于Microsoft Office 办公室套件的云端办公室方案)就是用这个方法来实现的。在原来微软的Office加了一个Copilot,左下角有一个Graph(存储了电子邮件、文件会议、聊天和日历笔记等office办公软件集合的所有内容),相当于M365下的知识库,通过中间的Copilot能够迅速构建知识库和文档之间的合作关系。这样可以实现,在Windows文档中输入几句话,比如简要概述一下研究报告的核心思想,就可以把报告总结成5页PPT。等它正式上线以后,大家可以体会一下,会急剧提高生产力。”崔宏禹说。

在演讲最后,崔宏禹引用了管理学大师彼得·德鲁克的一句话,“动荡时代的最大风险不是动荡本身,而是企图以昨天的逻辑来应对动荡。”

我想引用管理学大师德鲁克先生(彼得·德鲁克)的一句话,动荡时代的最大风险不是动荡本身,而是企图以昨天的逻辑来应对动荡。

科幻网 - 促进科普科幻教育传播发展
关注微信公众号(khwgfzh)及微博(科幻网官方)
微信公众号
微博
免责声明
科幻网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
成都鼓励AI产业发展:提出19项资金扶持措施,最高奖1000万
原标题:成都鼓励AI产业发展:提出19项资金扶持措施,最高奖1000万
2022年市场规模将超6000亿元 我国智能家居产业发展打开新空间
原标题:2022年市场规模将超6000亿元 我国智能家居产业发展打开新空间
2023年自然资源科技活动周主场活动暨科普讲解大赛决赛在江苏徐州举办
原标题:2023年自然资源科技活动周主场活动暨科普讲解大赛决赛在江苏徐州举办
点击加载更多