time, has advanced search and analysis capabilities not possible by any human.Deeply comprehends user characteristics and needs from conversations, situations, behaviors, and communicates optimally. 未来发展1.基于 ChatGPT 的理论,创建 CNTM 的 GPT 平台:Jinn;2 为 Jinn 加入双引擎结构:GPT 引擎+传统搜索引擎,从而实现 Web3 的 AI 搜索功能;3 将 Jinn 与 CNTM1.0 的板块结合,增强金融领域的 AI 搜索推荐功能;Jinn=ChatGPT+Sparrow热点关联类:ChatGPT 目前的三个核心问题:对于知识类型的问题,ChatGPT 会给出看上去很有道理,但是事实上是错误答 案的内容;拓展解读:对于这样来说,由于 ChatGPT 的一部分回答很准确,而一部分看上 去有道理,但事实上很离谱,而用户并没有足够的能力来进行辨别,这将给用户 如何采信 ChatGPT 的答案带来很多困惑。ChatGPT 目前这种基于 GPT 大模型基础上进一步增加标注数据训练的模式,对 于 LLM 模型吸纳新知识非常不友好; 拓展解读:新知识总是在不断出现,而出现一些新知识就去重新预训练 GPT 模 型是不现实的,无论是训练时间成本还是金钱成本,都不可接受。如果对于新知 识采取 Fine-tune 的模式,看上去可行且成本相对较低,但是很容易产生新数据 的引入导致对原有知识的灾难遗忘问题,尤其是短周期的频繁 fine-tune,会使这个问题更为严重。ChatGPT 或 GPT4 的训练成本以及在线推理成本太高,无法承载超过千万级的 用户同时使用;拓展解读:假设继续采取免费策略,OpenAI 无法承受,但是如果采取收费策略, 又会极大减少用户基数,无法实现规模化。Sparrow(google 的产品)是 ChatGPT 的良好补充:sparrow 在人工标注方面的质量和工作量不如 ChatGPT;Sparow 的基于 retrieval 结果的生成结果证据展示,以及引入 LaMDA 系统的 对于新知识采取 retrieval 模式,可以完美解决新知识的及时引入,以及生成内 容可信性验证两个核心问题。Jinn 的优势:Jinn=ChatGPT+SparrowJinn 使用 ChatGPT 为核心框架,引入了 Sparow 的基于 retrieval 结果的生成 结果证据展示,以及引入 LaMDA 系统的对于新知识采取 retrieval 模式;所以 Jinn 既有有高质量的人工标注,也可以完美解决新知识的引入问题,同时 又有效的内容可信性验证功能,从而打造下一代为 Web3 服务的搜索引擎基础。应用场景类:内容推荐:根据用户行为和与 Jinn 的交互分析,为用户推荐适合他的 Web3 内 容与产品。个性化金融:根据用户行为和与 Jinn 的交互分析,为用户推荐适合他的 DeFi 产品或根据用户的模型来自动构建属于用户的科学家机器人,完成自动交易。 DAO 推荐:为用户推荐合适的 DAO 组织,或直接将理念类似的人连接在一起 自动生成新的 DAO 组织。个性化内容生成:用户可以通过组建关键字,通过 Jinn 输出自己需要的内容。 技术讲解类:核心技术路线第一阶段:冷启动阶段的监督策略模型。靠 GPT 3.5 本身,尽管它很强,但是 它很难理解人类不同类型指令中蕴含的不同意图,也很难判断生成内容是否是高 质量的结果。为了让 GPT 3.5 初步具备理解指令中蕴含的意图,首先会从测试 用户提交的 prompt(就是指令或问题)中随机抽取一批,靠专业的标注人员,给 出指定 prompt 的高质量答案,然后用这些人工标注好的数 据来 Fine-tune GPT 3.5 模型。经过这个过程,我们可以认为 GPT 3.5 初步具 备了理解人类 prompt 中所包含意图,并根据这个意图给出相对高质量回答的能 力;第二阶段:训练回报模型(Reward Model,RM)。这个阶段的主要目的是通过 人工标注训练数据,来训练回报模型。在这个阶段里,首先由冷启动后的监督策 略模型为每个 prompt 产生 K 个结果,人工根据结果质量由高到低排序,以此 作为训练数据,通过 pair-wise learning to rank 模式来训练回报模型。对于学 好的 RM 模型来说,输入,输出结果的质量得分,得分越高 说明产生的回答质量越高。第三阶段:采用强化学习来增强预训练模型的能力。本阶段无需人工标注数据, 而是利用上一阶段学好的 RM 模型,靠 RM 打分结果来更新预训练模型参数。 二三阶段迭代:不断重复第二和第三阶段,每一轮迭代都使得 LLM 模型能力越 来越强。因为第二阶段通过人工标注数据来增强 RM 模型的能力,而第三阶段, 经过增强的 RM 模型对新 prompt 产生的回答打分会更准,并利用强化学习来 鼓励 LLM 模型学习新的高质量内容,这起到了类似利用伪标签扩充高质量训练 数据的作用,于是 LLM 模型进一步得到增强。下一代搜索引擎:JinnJinn 将采用传统搜索引擎+ChatGPT 的双引擎结构,ChatGPT 模型是主引擎, 传统搜索引擎是辅引擎。传统搜索引擎的主要辅助功能有两个:一个是对于 ChatGPT 产生的知识类问题的回答,进行结果可信性验证与展示,就是说在 ChatGPT 给出答案的同时,从搜索引擎里找到相关内容片段及 url 链接,同时 把这些内容展示给用户,使得用户可以从额外提供的内容里验证答案是否真实可 信,这样就可以解决 ChatGPT 产生的回答可信与否的问题,避免用户对于产生 结果无所适从的局面。 传统搜索引擎的第二个辅助功能是及时补充新知识。既然不可能随时把新知识快 速引入 LLM,那么可以把它存到搜索引擎的索引里,ChatGPT 如果发现具备时 效性的问题,它自己又回答不了,则可以转向搜索引擎抽取对应的答案,或者根 据返回相关片段再加上用户输入问题通过 ChatGPT 产生答案,这里有一部分将 参考 LaMDA 关于新知识处理的具体方法。利好类:CNTM CEO Ishii 受邀成为斯坦福大学 AI 课程讲师。 来源:金色财经lg...