• OpenAI有四种不同模型：GPT-X、Codex、DALL-E、ChatGPT。GPT擅长文本生成，Dall-E可以快速生成图片；Codex产生程序员想要的代码；ChatGPT是上述不同模型集成的对话机器人。OpenAI不止可以做ChatGPT，也可以用全文检索、语音识别、图片辨识的AI来打造内部的应用。

• OpenAI本身是基于SaaS的API去交付的对外的SaaS服务，但直接接入OpenAI的API会发生很多问题，比如支付需要有海外的信用卡；使用时很多的request error（请求错误）；以及限制的问题，要用十几个账户去堆叠To C的服务。

• 微软可以帮客户去做内部知识库的集成。我们可以通过上传各种格式的文档做出企业内部的知识库，内部的法律法规也可以集成到现有的知识库里。我们可以通过点击框来预设prompt，那就不会有任何错误的prompt出现。还可以通过对prompt工程进行恰当处理，减小数据外泄的可能性。

• 把OpenAI的模型拿到微软云上做部署，效率有非常大的提升。OpenAI有破亿的用户在应用，但在微软云上面，一模一样的模型只有十几万个企业级的用户。我们在做embedding时，5000笔数据拿给OpenAI做训练要30多分钟，而如果在微软的OpenAI上训练，只要十几分钟。

• 更重要的是企业云的集成，我们发现经常有客户需要海外的专线去使用OpenAI。如果我们要集成内部应用或数据库，都会导致这些模型是对外公开的。所以要考量到云的集成，比如说利用VPC的集成来与虚拟机器、应用服务器、数据库等其他云资源打通。我们可以在云上面把OpenAI变成局域网，无法对外访问，利用网络的方式来提升模型的安全性。除了VPC的集成之外，我们还需要合法合规的跨境链路来完成OpenAI的使用，并且把OpenAI放在局域网内不对外公开，这样我们就可以抵挡掉外部的信息泄露的风险。

• 关于数据落地：很多客户的数据规定只能放在国内，Codex可以通过产生SQL，SQL再去到数据库里面查，查完后将数据库里面跟我的AppServer给到用户，数据不会传去model里面。这个解决方案可以确保数据合规，适合不希望隐秘内部信息传输海外的客户。如果是跨境出海做电商的互联网的客户，可以利用云上的专线把OpenAI变成内部的局域网络访问。

• OpenAI的GPT模型如果想要部署到本地，需要准备好27500个A100的GPU。微软提供开源工具，理论上可以部署到本地，但因为参数量的差异，可能质量不高。我更期望把合规专线打通后利用局域网的方式来访问，如果这条路可以通，我们就不需要花费时间自己去host一个大语言模型。

• 百度的文心大模型较丰富，包括NLP大模型、CV大模型、跨模态大模型、生物计算大模型。除此之外，百度还结合不同行业联合发布了行业大模型。百度更强调行业落地，针对不同行业，通过结合用户数据让它变得更高效。在与行业结合的实际过程中，不用从头训练，只需要导入相应的数据，从而带来更少的训练数据量，更少的算力投入和更短的开发周期。文心大模型的特色就是产业级的知识增强，用专业知识打造产业级的大模型。

• 文心一言定位是新一代知识增强的大语言模型。百度在大语言模型上的特点有三：第一，知识增强，在开发过程中把海量的中文数据进行知识增强；第二，检索增强，结合百度检索基因，输出结果不局限于训练集，同时也做信息检索上的结合；第三，对话增强，在原先对话的基础上增加优化，能够记住上下文的关联。

• 文心一言五大能力：文学创作，商业文案写作、数理逻辑推算、中文理解和多模态生成。文学创作可以进行文学续写；商业文案写作负责产出策划或方案；数理逻辑推算可以回答复杂问答，做数学题；中文理解基于中国的习惯，了解成语和历史典故。多模态生成意味着能进行图片、音频、视频等的生成。

• 未来结合AI能力的应用多样：可以基于文本生成、文本理解能力开发原创资讯生产工具，结合当前热点快速生成相应稿件；可以基于关键字搜索结合产品打造与以往不一样的搜索能力，实现行业信息精准检索、长文档信息概况、专业分析及研究报告生成；可以结合数智人进行对话能力的升级。

• 跟ChatGPT比，百度在中文的语料会更丰富，因为百度在百度知道、百度贴吧等产品上这么多年的积累。这也是为什么生成文本或者是基于历史典故的数据能够准确的反馈，对中文对联、诗歌、小说的缩续写也有更深的理解。

| Q1：目前是怎么把大模型业务结合的？

李国锐（即时设计）：

在SEO撰写、数据分析上，我们不再依赖大数据的开发，能够独立通过SQL数据库去查询；我们原先就会让开发用模型去写代码，但GPT会有一些难以测出的坑，所以后面开发会用它来编写单元测试，加各种代码注释；还有一些插件和小组件的开发。

尤洋（潞晨科技）：

我们构建基础设施用到的算法比如张量并行、流水线并行，之前代码写起来很复杂，现在我们用Copilot、ChatGTP提高了效率。

任喆（伊对）：

很代替人工对用户上传的UGC的内容进行合规审查。我们自研的语言处理和预训练处理模型效果突出。用第三方产品审核一万张图片的成本是自研产品的十倍以上，错误率完全满足我们的需求。

| Q2：应用大模型的阻力是什么？

Alan Liu(微软)：

首先是审核或合规事务繁琐，客户不是一下单马上就能用。

在有大数据集的前提下，有些客户不知道这些东西是可以集成去做很多训练方式的。目前反倒要回到机器学习的概念，需要针对提示工程里头的prompt做筛选和处理；

一些客户不知道用哪种训练方式。第一种是interface，可以在界面上直接跟机器人交互。第二种embedding training，去改变它的向量，出来的训练效果不一定比interface好。第三，微调如果没有对prompt做处理的话，结果会很差。

尤洋（潞晨科技）：

具体业务往往无法量化或者机器学习化。我们可以思考是否能把ChatGPT的能力发挥在制造业一些瓶颈环节上，通过在重要环节把任务定义好，使得ChatGPT能进行理解和推理。

任喆（伊对）：

人力准备：在实际应用中往往遇到研究算法的只关注模型优化，实现后端集成的工程师只关注业务逻辑的情况。在大模型应用上，AI工程师不仅要了解企业的流程，并且能够调遣到各块的人。

第二，因为模型的质量跟高质量的语料库有关，数据的获取和清洗是有较大难度的，我们当时放弃Bert的主要原因就是找不到对应的数据集。

赵树理（百度）：

最近遇到最多的问题就是什么时候能够接入。 

| Q3：调用公开通用模型API还是自己做垂直领域专用模型？

任喆（伊对）：

如果开发轻量级应用，只要能解决用户的问题就好，这时候API是最有效的方法。但如果要做更深层次的应用，对数据非常敏感或者很难交给第三方，那就一定要考虑私有化部署。

我认为会出现专门帮助企业做私有化部署的SaaS运营服务商，企业可以为了实现数据闭环构建自己的模型。以往我们没有那么重视数据资产，但今天我们可以通过模型化的方式保存，大模型可以将用户的无效数据变成产品的能力。

尤洋（潞晨科技）：

我个人觉得以后会有很多用户会去构建自己的模型，甚至五年之后可能会有很多用户去训练自己的模型。模型训练的成本是下降得非常快的。

开源模型最终还会是主流，AI发展到今天最大的驱动力就是行业的开放。OpenAI没有太高的技术壁垒，相对于谷歌、Facebook等公司可能只是暂时处于领先。 

赵树理（百度）：

我们日常接触客户里面，私有化呼声最高的必然是政府部门或者央企国企。一些初创公司、信息化公司，一些做服务类的公司，他们对于服务的接入意愿非常强。 

李国锐（即时设计）：

我们本身还是OpenAI的API用的会比较多，然后自己也在用一些斯坦福羊驼模型，我们现在也想看国内有哪些大模型API可以选择使用。

| Q4：对组织人力产生了什么影响？

赵树理（百度）：

首先是研发部门更忙了；百度内部的设计团队也在用我们的产品，效果非常好，还经常举行大赛，给内部做了提升。

李国锐（即时设计）：

大模型对逻辑、情感方面是不是目前还缺乏理解？如果把它用在情感咨询业务方面，未来是不是能够产生比较大的影公司优化掉了部分整理材料、素材及做些简单的设计外包的人。我们能够很强地感受到一些多面手的能力变得更强了，以前他可能每个方向都知道一点，再运用大模型后他能够完成更多的事情。不过并不存在AI代替人类的恐慌，实际上从年初到现在整个组织并不是人数减少，只是说优化了一些边缘的需求。

Alan Liu(微软)：

我上次去一家设计公司，他们老板对此特别感兴趣，说要替代掉百分之多少的工作量，底下的工程师瑟瑟发抖，我建议他们可以去做目前的AI办不到的事。我们应该去做更创新的工作，而不是在既有的知识上面琢磨。

| Q5：对大模型的未来发展有哪些期待？

李国锐（即时设计）：

我们对多模态会更加期待，因为我们非常需要对视觉的解读、能够快速理解图片。我们现在更多是把文字转换成结果态，一旦能够对视觉型有进一步理解，对设计方向会有很强的能力加持。

Alan Liu(微软)：

我比较期待大家用Codex做自动化处理，因为我发现太多的客户都还只是在进行文本处理，要做客服，太没意思。如果可以像飞书或者Copilot一样真正做一些自动化流程，才是底层企业集成很好的应用方向。

尤洋（潞晨科技）：

AI的能力我个人最期待的还是它能在各个行业迅速开花结果。再有开源化的发展以及大语言模型的最终成本能够降下来，能够让千千万万的企业可以去部署甚至训练自己的AI大模型，这样才能把AI的能力充分地释放出来。 

任喆（伊对）：

医疗行业上，在生物制药和问诊上我看过两个产品，一个用于设计蛋白质分子，如果不用实验就能生成或推测，那生物制药可能会有大的改进。还有一个在问诊领域，通过给出的自然描述生成医疗计划，如果能有专业医疗团队以更可信的方式来做，是很不错的。

金融行业，彭博做了GPT，金融分析的数据可能以后就会由具有几十年金融数据能力和持续采集能力的企业形成超级闭环，分析将会变得极其简单高效。我非常好奇量化交易用人工智能来做会是什么样。

Social&Games这个行业会涉及很多有意思的东西，比如说群体模型的打造。我们上周看斯坦福做了一个社会模拟，25个人一起沙盒，这个东西找到具体场景应用后会很有意思。