FX168财经网_全球视野外汇黄金加密货币NFT资讯网_关键字搜索-FX168

全球数字财富领导者

CoNET｜客户端｜旧版｜｜

FX168 全球视野中文财经

登录 / 注册

天演药业任命Aurélien Marabelle博士为科学与战略顾问委员会成员
 go
（SAB）。作为一名肿瘤学与免疫学医师科学家，Marabelle博士目前主要在法国Gustave Roussy Cancer Center癌症中心的药物开发部（DITEP）从事转化潜力较高的癌症免疫疗法的临床研究工作，并担任INSERM U1015的转化研究实验室（LRTI）负责人，研究免疫靶向疗法的作用机制。　　Marabelle博士表示："调节性T细胞（Tregs）在受体（TCR）被结合时会在细胞膜表面上调CTLA-4表达，因此，通过靶向临床上已证实的CTLA-4分子通路，可以定向地清除肿瘤微环境（TME）内的肿瘤特异性调节T细胞（Tregs）。天演的安全抗体精准掩蔽技术可以通过系统性而非肿瘤内给药的方式施行抗CTLA-4疗法，提升肿瘤部位的抗CTLA-4的药物浓度，清除肿瘤特异性调节性T细胞，从而强化免疫治疗效果。" 　　除了临床与转化研究工作，Marabelle博士还担任专门研究肿瘤内免疫疗法的BIOTHERIS临床调查中心（INSERM CIC1428）的主管，以及巴黎萨克莱大学的临床免疫学全职教授。Marabelle博士早些年在里昂高等师范学院和伦敦国王学院接受科学教育，随后进入法国里昂Léon Bérard癌症中心接受临床医师培训。他在斯坦福大学Ronald Levy教授的实验室的博士后研究聚焦于如何克服对免疫检测点靶向疗法的抗药性。Marabelle博士为欧洲肿瘤内科学会大会（ESMO）、美国临床肿瘤学会（ASCO）、美国癌症研究学会（AACR）、癌症免疫治疗学会（SITC）和欧洲肿瘤免疫学会（EATI）成员，还担任法国癌症免疫治疗学会（FITC）主席，现已发表超过250篇经过同行评审的论文。　　"Aurélien Marabelle博士开创性地引入肿瘤内而非系统给药抗CTLA-4疗法，从而克服了抗CTLA-4疗法的安全性问题并取得突破性的进展。经过多年的临床前与转化研究，Marabelle博士发现，通过增加肿瘤微环境中的抗CTLA-4的有效浓度，可在肿瘤特异性调节性T细胞清除率这一关键指标上实现显著提升。"天演药业联合创始人、首席执行官兼董事长罗培志博士表示，"天演致力于科学基础上的创新，比如我们的抗CTLA-4产品管线（ADG116亲本抗体及安全抗体ADG126）通过靶向CTLA-4高度保守的跨物种交叉表位的分子成功实现了临床前到临床的无缝的转化及验证。而在目前的Ib/II期试验中，无论用于单一疗法还是与抗PD-1相结合，ADG116和ADG126均展现出良好的安全性和有效性。Marabelle博士在抗CTLA-4疗法的转化研究及临床设计上的专业经验将大大促进我们对肿瘤特异性调节T细胞清除作用的认知，以及更好地开发兼具极佳安全性与高效清除肿瘤特异性调节T细胞的新一代可系统给药的抗CTLA-4疗法。" 　　关于天演药业　　天演药业（纳斯达克股票代码：ADAG）是平台驱动并拥有自主平台产出的临床产品开发阶段的生物制药公司，公司致力于发现并开发以原创抗体为基石的新型癌症免疫疗法。借力于计算生物学与人工智能，凭借其全球首创的三体平台技术（新表位抗体NEObody™，安全抗体SAFEbody®及强力抗体POWERbody™），天演药业已建立起聚焦于新型肿瘤免疫疗法的独特原创的抗体产品线，以解决尚未满足的临床需求。天演已和多个全球知名合作伙伴达成了战略合作关系，并以其多种原创前沿科技为合作伙伴的新药研发赋能。　　SAFEbody® 为天演在美国、中国、澳大利亚、日本、新加坡和欧盟的注册商标。来源：金色财经
金色财经2023-03-06
天演药业任命Aurélien Marabelle博士为科学与战略顾问委员会成员
 go
（SAB）。作为一名肿瘤学与免疫学医师科学家，Marabelle博士目前主要在法国Gustave Roussy Cancer Center癌症中心的药物开发部（DITEP）从事转化潜力较高的癌症免疫疗法的临床研究工作，并担任INSERM U1015的转化研究实验室（LRTI）负责人，研究免疫靶向疗法的作用机制。 Marabelle博士表示："调节性T细胞（Tregs）在受体（TCR）被结合时会在细胞膜表面上调CTLA-4表达，因此，通过靶向临床上已证实的CTLA-4分子通路，可以定向地清除肿瘤微环境（TME）内的肿瘤特异性调节T细胞（Tregs）。天演的安全抗体精准掩蔽技术可以通过系统性而非肿瘤内给药的方式施行抗CTLA-4疗法，提升肿瘤部位的抗CTLA-4的药物浓度，清除肿瘤特异性调节性T细胞，从而强化免疫治疗效果。" 除了临床与转化研究工作，Marabelle博士还担任专门研究肿瘤内免疫疗法的BIOTHERIS临床调查中心（INSERM CIC1428）的主管，以及巴黎萨克莱大学的临床免疫学全职教授。Marabelle博士早些年在里昂高等师范学院和伦敦国王学院接受科学教育，随后进入法国里昂Léon Bérard癌症中心接受临床医师培训。他在斯坦福大学Ronald Levy教授的实验室的博士后研究聚焦于如何克服对免疫检测点靶向疗法的抗药性。Marabelle博士为欧洲肿瘤内科学会大会（ESMO）、美国临床肿瘤学会（ASCO）、美国癌症研究学会（AACR）、癌症免疫治疗学会（SITC）和欧洲肿瘤免疫学会（EATI）成员，还担任法国癌症免疫治疗学会（FITC）主席，现已发表超过250篇经过同行评审的论文。 "Aurélien Marabelle博士开创性地引入肿瘤内而非系统给药抗CTLA-4疗法，从而克服了抗CTLA-4疗法的安全性问题并取得突破性的进展。经过多年的临床前与转化研究，Marabelle博士发现，通过增加肿瘤微环境中的抗CTLA-4的有效浓度，可在肿瘤特异性调节性T细胞清除率这一关键指标上实现显著提升。"天演药业联合创始人、首席执行官兼董事长罗培志博士表示，"天演致力于科学基础上的创新，比如我们的抗CTLA-4产品管线（ADG116亲本抗体及安全抗体ADG126）通过靶向CTLA-4高度保守的跨物种交叉表位的分子成功实现了临床前到临床的无缝的转化及验证。而在目前的Ib/II期试验中，无论用于单一疗法还是与抗PD-1相结合，ADG116和ADG126均展现出良好的安全性和有效性。Marabelle博士在抗CTLA-4疗法的转化研究及临床设计上的专业经验将大大促进我们对肿瘤特异性调节T细胞清除作用的认知，以及更好地开发兼具极佳安全性与高效清除肿瘤特异性调节T细胞的新一代可系统给药的抗CTLA-4疗法。" 关于天演药业科学与战略顾问委员会的成员信息，请访问： https://www.adagene.com/about/key-advisors/ 关于天演药业天演药业（纳斯达克股票代码：ADAG）是平台驱动并拥有自主平台产出的临床产品开发阶段的生物制药公司，公司致力于发现并开发以原创抗体为基石的新型癌症免疫疗法。借力于计算生物学与人工智能，凭借其全球首创的三体平台技术（新表位抗体NEObody™，安全抗体SAFEbody®及强力抗体POWERbody™），天演药业已建立起聚焦于新型肿瘤免疫疗法的独特原创的抗体产品线，以解决尚未满足的临床需求。天演已和多个全球知名合作伙伴达成了战略合作关系，并以其多种原创前沿科技为合作伙伴的新药研发赋能。如需了解更多信息，请访问： https://investor.adagene.com 并关注天演药业微信、领英及推特官方帐号。 SAFEbody® 为天演在美国、中国、澳大利亚、日本、新加坡和欧盟的注册商标。安全港声明本新闻稿包含前瞻性陈述，包括关于天演药业对其候选产品的临床前活动、临床开发、监管里程碑和商业化的推进和预期。由于各种重要因素，实际结果可能与前瞻性陈述中所示的结果存在重大差异，包括但不限于天演药业证明其候选药物的安全性和有效性的能力；其候选药物的临床结果，可能不支持进一步开发或监管批准；相关监管机构就天演药业候选药物的监管批准做出决定的内容和时间；如果获得批准，天演药业为其候选药物取得商业成功的能力；天演药业为其技术和药物获得和维持知识产权保护的能力；天演药业依赖第三方进行药物开发、制造和其他服务；天演药业有限的经营历史以及天演药业获得额外资金用于运营以及完成其候选药物的开发和商业化的能力；天演药业在其现有战略伙伴关系或合作之外签订额外合作协议的能力；COVID-19 对天演药业临床开发、商业化和其他运营的影响，以及在天演药业提交给美国证券交易委员会的文件"风险因素"部分更充分讨论的那些风险。所有前瞻性陈述均基于天演药业当前可获得的信息，除非法律可能要求，天演药业不承担因新信息、未来事件或其他原因而公开更新或修改任何前瞻性陈述的义务。
美通社2023-03-06
全国人大代表、齐鲁制药集团总裁李燕：建议加强国家顶层设计，建立适应研究型医生发展的制度体系
 go
个体化治疗，此过程必须由高素质的“医学科学家”来完成。因此，真正培养研究型医生，需要政府和医院的管理者转变传统的思维模式，从源头划分好社会保障型医院（即临床诊疗型医院）与研究型医院的主要职责，制定分工明确、考评合理的管理模式，重新思考未来医院人才培养、队伍建设方式，强调分工合作，共同推动医学学科整体发展。　　（三）拓宽研究型医生培养渠道，让更多人加入到研究型医生的队伍中来　　要实现加快研究型医生队伍建设的目标，一方面需要不断加大优秀研究型医生的引进力度，吸引国内外从事临床研究工作的人员加入；另一方面需要从人才培养的源头开始，完善医学院校的专业设置和培养方案，为研究型医生队伍持续输入新的血液。　　（四）加快研究型病房的建设，让研究型医生拥有更加广阔的发展天地　　研究型病房是医院中的一种特殊病房，其功能不是单纯治病，还承担着基础与临床双向转化的桥梁工作，是推动医学创新落地的关键。北京卫健委联合北京药监局、北京人力资源和社会保障局等已连续多年推进研究型病房建设，指导医疗机构建设标准化、规范化的研究型病房，并建立健全支撑保障体系，全面提升临床研究对医药健康协同创新的支持作用。建议政府高度重视并引导全国医疗卫生系统加大、加快研究型病房建设，让研究型医生依托于研究型病房实现个人价值，为推动更多中国老百姓用得上、用得起的优质治疗药物上市，为推进“健康中国”建设贡献力量。
金融界2023-03-06
ChatGPT思考：探索智能的极限
 go
，GPT 的产生，是这个世界上最顶尖的科学家和工程师们从 2015 年开始就不断研究的结果。OpenAI 的首席科学家， Ilya Sutskever，深刻地相信 AGI 一定能实现。作为图灵奖得主 Geoffery Hinton 的大弟子，从 2007 年就开始研究深度学习。他的 citation 有 37 万，发过的文章精准踩中了过去十年 Deep Learning 的所有关键节点。即使是如此强大的团队，从 GPT 2 到 GPT 3.5 也花了四年的时间，它的科学与工程的难度可想而知。同时，初代 ChatGPT，是 OpenAI 在 GPT 3.5 的基础模型上，花了两星期时间对着 dialog 做 finetuning 之后随手扔出来的 demo。这里真正强的并不是 ChatGPT 这一个产品，而是底下的 GPT 3.5 基础模型。这个模型还在不断地演化，GPT 3.5 系列在 2022 年更新了三个大版本，每个大版本都显著强于前一个版本；同样地，ChatGPT 发布两个月一共更新了四个小版本，每个小版本都在单个的维度上比前一个版本有着明显的改进。OpenAI 的所有模型都在持续不断的演化，随时间推移越来越强。这也就意味着，如果只盯着当前 ChatGPT 这一个产品看，无异于刻舟求剑。当 ChatGPT 出现的时候，它对已有的语音助手们形成了降维打击；如果看不到基础模型的演化，即使花个一两年辛辛苦苦做出一个类似的东西，那时候 OpenAI 的基础模型也在继续变强，如果他们接着产品化，以新的更强的基础模型 finetune 到一个更强的产品，难道要再被降维打击一次吗？刻舟求剑的做法是行不通的。做中国的 OpenAI 第二种答案是，要做中国的 OpenAI。给出这个答案的玩家，跳出了经典中文互联网产品思维。他们不止看到单个产品，而且还看到了这个产品背后，基础模型不断演化的强大驱动力，来源于尖端人才的密度和先进的组织架构。 • 尖端人才的密度：不是一个人集资源带队然后把任务按层级打包分配给底下的人，而是一群顶级的集 science 和 engineering 于一身的人们共同协作； • 先进的组织架构：Language 团队与 Alignment 的团队相互合作迭代，然后底下 scaling 团队和 data 团队帮忙提供基础设施，每个 team 都非常小，但目标明确路径清晰，高度集中资源，朝着 AGI 进发。所以，如果要做这件事情，不只要看到产品，还要看到它背后的人才团队和组织架构；按稀缺程度排名的话，人 > 卡 > 钱。但这里的问题是，不同的土壤对创新的鼓励程度是不一样的。在 OpenAI 刚创立的 2015 年，它的投资者们都相信 AGI ，即使当时看不到什么盈利的点。现在 GPT 做出来了，国内的投资者们也都信了 AGI，但相信的点或许也不一样：到底是信 AGI 能挣钱，还是信 AGI 能推动人类发展？更进一步地，即使 OpenAI 就产生在这里，明天就出现，但他们跟微软达成的 deal，能否跟国内的云计算厂商达成呢？大模型的训练和推理都需要极大的成本，需要一个云计算引擎作为支撑。微软可以倾尽所有，让整个 Azure 给 OpenAI 打下手，这个换到国内，阿里云有可能给一个创业公司打下手吗？组织架构很重要，只有尖端的人才和先进的组织架构才能推动智能的不断迭代与进化；但它同样需要跟所在的土壤做适配，寻找可以 flourish 的方法。探索智能的极限第三种答案是，要探索智能的极限。这是我听到的最好的答案。它远超刻舟求剑式的经典互联网产品思维，也看到了组织架构和尖端人才密度的重要性，并且更重要地是它看到了未来，看到了模型演化与产品迭代，思考着如何把最深刻，最困难的问题用最创新的方法来解决。这就涉及到了思考大模型的极限思维。 02. 极限思维观察现在的 ChatGPT / GPT-3.5 ，它明显是一个中间状态，它还有很多显著可以加强，并且马上就能加强的点，包括： • 更长的输入框：开始的时候，GPT 3.5 的上下文最长到八千个 token；现在的 ChatGPT 上下文建模的长度似乎已经过万。并且这个长度明显可以接着增长，在融入 efficient attention 和 recursive encoding 的方法之后，context length 应该可以接着 scale 到十万，甚至百万的长度； • 更大的模型，更大的数据：模型的大小还没有到极限，MoE 可以接着把模型 scale 到 T 的量级；数据的大小还没有到极限，人类反馈的数据每天都在增长； • 多模态：在增加了多模态数据（音频，图片），特别是视频数据之后，总体与训练数据的大小可以再增大两个量级，这个可以让已知的能力接着按 scaling law 线性增加，同时还有可能继续出现新的涌现能力。比如可能模型在看过各种几何形状的图片，以及看过代数题之后，或许会自动学会做解析几何； • 专业化：现有的模型在文科上大概相当于研究生水平，但在理科上相当于高中或大一大二的学生水平；已有的工作已经证明我们可以把模型的技能点从一个方向挪到另一个方向，这就意味着即使不做任何 scaling，我们依然可以在通过牺牲其他方面能力的情况下，把模型朝着目标方向推进。比如牺牲掉模型的理科能力，把它的文科能力从研究生推到专家教授的水准。以上四点只是现阶段可以看到的，马上就可以加强但暂时还没有加强的点，随着时间的推移和模型的演化，会有更多可以被 scale 的维度进一步体现出来。这意味着我们需要有极限的思维，思考当我们把能够拉满的维度全部拉满的时候，模型会是什么样子。能够拉满全部拉满模型的输入框可以接着加长，模型的大小可以继续增大，模型的数据可以继续增多，多模态的数据可以融合，模型的专业化程度可以继续增高，所有这些维度可以继续往上拉，模型还没有到极限。极限是一个过程，在这个过程中模型的能力会怎样发展呢？ • Log-linear 曲线：一部分能力的增长会遵循 log-linear 的曲线，比如说某项任务的 finetuning。随着 finetune 数据的指数增长，模型所对应的 finetune 的任务的能力会线性增长。这部分能力会可预测地变得更强； • Phase change 曲线：一部分能力会随着 scaling 继续涌现，比如说上文中的模型做解析几何的例子。随着可以被拉满的维度被不断拉满，新的，难以预测的涌现能力会接着出现； • 多项式曲线?当模型强到一定程度，与人类 align 到一定程度之后，或许一些能力的线性增长，所需要的数据，会突破指数增长的封锁，而降低到多项式的量级。也就是说，当模型强到一定程度之后，它或许不需要指数级的数据，而是只需要多项式级的数据，就可以完成泛化。这可以从人类的专业学习中观察到：当一个人还不是领域专家的时候，ta 需要指数级的数据来学习领域的知识；当一个人已经是领域专家的时候了，ta 只需要很少量级的数据就自己迸发出新的灵感和知识。所以，在极限思维下，把所有能拉满的维度全部拉满，模型注定会越来越强，出现越来越多的涌现能力。反推中间过程在思考清楚极限的过程之后，就可以从极限状态往后反推中间过程。比如说，如果我们希望增长输入框的大小： •如果希望把模型的输入框从千的量级增长到万的量级，可能只需要增加显卡数量，进行显存优化就能实现； •如果希望接着把输入框从万的量级增长到十万的量级，可能需要linear attention的方法，因为此时加显存应该也架不住 attention 运算量随输入框长度的二次增长； •如果希望接着把输入框从十万的量级增长到百万的量级，可能需要recursive encoding的方法和增加long-term memory的方法，因为此时 linear attention 可能也架不住显存的增长。以这种方式，我们可以反推不同阶段的 scaling 需要怎样的技术。以上分析不止适用于输入框的长度，也适用于其他因素的 scaling 的过程。这样的话，我们可以得到清晰的从现阶段的技术到 scaling 的极限的每个中间阶段的技术路线图。按模型演化进程产品化模型在不断演化，但产品化不需要等到最终那个模型完成 — 每当模型迭代出来一个大的版本，都可以产品化。以 OpenAI 的产品化过程为例： •2020 年，初代 GPT 3 训练完成，开放 OpenAI API； •2021 年，初代 Codex 训练完成，开放 Github Copilot； •2022 年，GPT-3.5 训练完成，以 dialog 数据 finetune 成 ChatGPT 然后发布。可以看到，在中间阶段的每一个重要版本，模型的能力都会增强，都存在产品化的机会。更加重要的是，按照模型演化进程产品化，可以在产品化的阶段适配市场。学习 OpenAI 的组织架构来推进模型演化本身，但产品化可以按照本土市场的特征来。这种方式或许可以既学到 OpenAI 的先进经验，又避免水土不服的问题。 03. 人工智能显著超过人类的点到目前为止，我们讨论了要用模型演化的视角来分析模型，要用极限的思维讨论模型的演化历程。现阶段马上可以加强的点包括了输入框的长度，更大的模型和数据，多模态数据，和模型的专业化程度。现在让我们再把视野放得更长期些，思考在更大的时间和空间中，模型如何进一步地往极限推。我们讨论： • 并行感知：一个人类研究员一次顺序地读四五篇论文已经是极限，但模型输入框变长之后，可以在极短的时间内并行阅读一百篇论文。这意味着，模型对外部信息的感知能力远超人类一个数量级； • 记忆遗传：人类的演化过程中，子代只继承父代的基因，但不继承父代的记忆，这意味着每一次生殖都需要重启一次；在模型的演化过程中，子代可以继承父代的记忆，并且这个继承的程度可控：我们可以设置子代继承 100%，50%，20% 的记忆，或清空记忆，这意味着父代的经验和技能可以不断累积； • 加速时间：人类相互交流的速率是受到人类说话的物理速度限制的，而模型相互交流的速率可以远快于人类，这意味着模型可以通过相互交流来解决人类数据随时间线性增长的问题；人类演化的过程受到物理时间的限制，模型的演化可以比人类的物理时间快上几个数量级，这意味着模型的进步速度可以远快于人类； • 无限生命：一个人的生命有限，百年之后终归尘土，但模型的权重只要不丢失，就可以不断地演化。从这些角度来说，人工智能超过人类并不是一件难以想象的事情。这就引发了下一个问题：如何驾驭远超人类的强人工智能？这个问题，是 Alignment 这项技术真正想要解决的问题。 04. Alignment 对齐当前阶段，模型的能力，除了 AlphaGo 在围棋上超过了最强人类之外，其他方面的 AI 并没有超过最强的人类（但 ChatGPT 在文科上或许已经超过了 95% 的人类，且它还在继续增长）。在模型还没超过人类的时候，Alignment 的任务是让模型符合人类的价值观和期望；但当模型继续演化到超过人类之后，Alignment 的任务就变成了寻找驾驭远超人类的智能体的方法。 Alignment 作为驾驭远超人类的智能体的方法一个显然的问题是，当 AI 超过人类之后，还可以通过人类反馈让 ta 更强 / 更受约束吗？是不是这个时候就已经管不了了？不一定，即使模型远超人类，我们依然又可能驾驭 ta，这里的一个例子是运动员和教练之间的关系：金牌运动员在 ta 的方向上已经是最强的人类了，但这并不意味着教练就不能训练 ta。相反，即使教练不如运动员，ta 依然可以通过各种反馈机制让运动员变得更强且更有纪律。类似地，人类和强人工智能的关系，在 AI 发展的中后期，可能会变成运动员和教练之间的关系。这个时候，人类需要的能力并不是完成一个目标，而是设定一个好的目标，然后衡量机器是否足够好地完成了这个目标，并给出改进意见。这个方向的研究还非常初步，这个新学科的名字，叫 Scalable Oversight。 Alignment 与组织架构在通往强人工智能的路上，不只是需要人类与 AI 对齐，人类与人类，也需要高度的对齐。从组织架构的角度，alignment 涉及到： • Pretraining 团队与 instruction tuning - alignment 团队之间的对齐：这两者应该是一个相互迭代的过程，pretraining 团队不断地 scale 基础模型，alignment 团队为基础模型做 instruction tuning，同时用得到的结果反向指导 pretraning 团队的方向。 • Pretraining / Alignment 团队与 Scaling / Data 团队的对齐： scaling 负责为 pretraining / alignment 做好基础设施，data 做好高质量数据与人类反馈数据。 • 创业公司与 VC 的对齐： AGI 是一个困难的事情，需要长期的投入，这需要各个方面的人都有足够的耐心和足够高的视野。烧一趟热钱后催产品化然后占满市场的逻辑在大模型时代应该已经不复存在了。大模型的游戏要求 ta 的玩家们有足够高的视野与格局，模型的演化会让有足够耐心的，踏实做事人们在长期得到丰厚的回报，也会让只看短期刻舟求剑的人们一次又一次被降维打击。 05. 结语在 2017 年，我刚刚入行 NLP 的时候，花了很大的力气做可控生成这件事情。那个时候所谓的 text style transfer 最多就是把句子情感分类改一改，把 good 改成 bad 就算是完成了 transfer。 2018 年我花了大量的时间研究如何让模型从句子结构的角度修改句子的风格，一度误认为风格转换是几乎不可能完成的事情。而今 ChatGPT 做风格转换简直信手拈来。那些曾经看似不可能完成的任务，曾经极其困难的事情，今天大语言模型非常轻松地就能完成。在 2022 年一整年，我追踪了从 GPT-3 到 GPT-3.5 的全部版本迭代，亲眼看到它一步步地从弱到强不断演化。这个演化速度并没有变慢，反而正在加快。那些原先看来科幻的事情，现在已经成为现实。谁会知道未来会怎样呢？彼黍离离，彼稷之苗。行迈靡靡，中心摇摇。彼黍离离，彼稷之穗。行迈靡靡，中心如醉。 ——— 《诗经 · 黍离》 Reference 1. Ilya Sutskever https://scholar.google.com/citationsuser=x04W_mMAAAAJ&hl=en 2. GPT 3.5 系列在 2022 年更新了三个大版本 https://platform.openai.com/docs/model-index-for-researchers 3. ChatGPT 发布两个月一共更新了四个小版本https://help.openai.com/en/articles/6825453-chatgpt-release-notes 4. 微软 Azure 辅助 OpenAI https://blogs.microsoft.com/blog/2023/01/23/microsoftandopenaiextendpartnership/ 5. efficient attention https://arxiv.org/abs/2302.04542 6. recursive encoding https://openai.com/research/summarizing-books 7. MoE 可以接着把模型 scale 到 T 的量级 https://arxiv.org/abs/2101.03961 8. log-linear 的曲线 https://arxiv.org/abs/2001.08361 https://arxiv.org/abs/2203.15556 9. Phase change 曲线 https://arxiv.org/abs/2206.07682 10. linear attention https://arxiv.org/abs/2103.02143 https://arxiv.org/abs/2302.04542 11. recursive encoding https://openai.com/research/summarizing-books 12. long-term memory https://arxiv.org/abs/2112.04426 13. OpenAI API https://platform.openai.com/docs/introduction/overview 14. Github Copilot https://github.com/features/copilot 15. Scalable Oversight https://arxiv.org/abs/2211.03540 16. 从 GPT-3 到 GPT-3.5 的全部版本迭代 https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc 来源：元宇宙之心来源：金色财经
金色财经2023-03-05
人工智能如何重新定义Web3
go
项目介绍 Numerai是一种由数据科学家网络建立、使用人工智能技术的新型对冲基金。 Numerai Tournament 的核心是免费数据集。它由经过清理、规范化和混淆的高质量财务数据组成。该平台的主要目标是将去中心化引入数据科学领域，并允许开发人员在创建有效的机器学习预测模型方面展开竞争。应用场景 Numerai Tournament：一种对冲基金，根据全球竞争数据科学家网络所做的数千项预测的汇总来交易股票。Numerai每天从其用户那里收到大约1 亿条预测，然后创建一个元模型进行投资。 Numerai Signals：收集 Russell 3000 股票预测的持续锦标赛。 Erasure Bay：一个信息交换市场，可以交易任何类型的信息，包括估值模型、产品反馈等。 AI+区块链技术面临的挑战 R3PO认为，区块链和AI均是自互联网发明以来最具颠覆性的两项技术，去中心化的区块链给AI带来良好的数据基础，AI又拥有成熟的模块资源和算法资源。目前我们所看到的技术应用只是冰山一角，两者的融合将影响未来几十年社会的发展轨迹和进步，有可能创造一个更高效、更安全、更个性化的数字经济，为个人和公司等带来新的商业模式和机会。但与此同时，区块链技术与人工智能的结合不可避免地会面临一些挑战。 1、安全问题人工智能需要处理大量数据才能发挥作用，而区块链上的数据为避免受黑客侵害是经过安全加密的，那么，为了分析和处理这些数据，有必要对相关文件和数据进行解密，这将令数据更容易受到恶意攻击。WEB3.0发展至今也尚未形成完善的安全体系，所以还有待进一步形成统一的安全标准和规范。 2、成本和效率的限制人工智能在提高区块链运行效率的同时，也存在一定的限制，如目前的分布式技术的应用，涉及大规模的计算和存储系统，硬件上的限制，甚至物理上，运行设备能源的产生，传输，存储都在一定程度上限制了AI与区块链实际应用的落地。当前考虑到诸多链上实际运行时导致的 tps 限制与 gas 费成本，都将使得真正运营在区块链上的人工智能商业应用的成本会难以想象的高，而实际效率则会难以想象的低。所以目前，区块链技术与人工智能的结合仍在初始摸索中。结语 ChatGPT带来的AI热度还在持续发酵，而“区块链＋AI”项目已历经一轮短时间内的暴涨和暴跌。数据显示，AI概念加密项目代币总市值一度超过50亿美元，如SingularityNET曾2月初上涨超过290.53%，但目前这些项目已经迅速回落。短期的FOMO情绪虽然给AI+区块链项目带来了更多关注度，但究其根本，项目未来的发展还是要回归到本身的价值。仅有AI皮毛的一些项目并不能扛起WEB3.0的大旗，这场WEB3.0的革新之旅的终点到底是什么，也无人能给出一个确切的答案，是价值的重新定义？还是去中心化打败中心化？但目前我们可以知晓的是，AI与区块链技术的融合无疑将迸发出更精彩的可能性，让我们拭目以待。来源：panews 作者：Zelda 来源：金色财经
金色财经2023-03-05
谷歌AI绘画4大牛携手创业天使估值7个亿
 go
了3年时间从二级软件工程师做到高级研究科学家，去年12月从谷歌离职。 Chitwan有语音识别、机器翻译的经验，在谷歌工作时，主要负责领导image-to-image扩散模型的工作。第二位William Chan，也是Imagen论文共同一作。他同样出身计算机工程，先后就读于加拿大滑铁卢大学、卡内基梅隆大学，中间在新加坡国立大学当过1年交换生。在卡内基梅隆大学拿下博士学位后，William还在加拿大最大的社区学院之一乔治布朗学院，主攻烘焙和烹饪（？），学了3年。 Willian从2012年起加入谷歌，于2016年成为谷歌大脑的一份子，去年5月离职时，他已经是谷歌大脑多伦多的研究科学家了。然后要介绍的是Jonathan Ho，UC伯克利博士毕业。他不仅是Imagen论文的core contribution，还是Diffusion Model奠基之作《Denoising Diffusion Probabilistic Models》的一作。博士毕业于UC伯克利计算机科学专业的Jonathan，之前在OpenAI当过1年的研究科学家，后来在2019年加入谷歌，共工作了2年零8个月，去年11月以研究科学家的身份从谷歌离职。新公司的最后一位联创叫Mohammad Norouzi，也是Imagen论文的共同一作。 △ 他在多伦多大学计算机科学博士就读期间，拿到了谷歌ML博士奖学金。毕业后他加入谷歌大脑，在那儿工作了7年，在谷歌的最后title是高级研究科学家，工作重点是生成模型。同时，Mohammad也是谷歌神经机器翻译团队的原始成员，SimCLR的联合发明人。他在GitHub主页上小小地透露了自己的最近动态：目前，我在一家初创公司工作，公司使命是推进人工智能的发展水平，帮助人类提高创造力。我们正在招聘！这句话以外，关于新公司的更多信息，四人在任何社交平台都没有更详细的透露。这已经是谷歌最近漏出去的第n波人了。就拿刚刚过去的2个月来说，先是包括顾世翔（Shane Gu，‘让我们一步一步地思考’研究者）在内的至少4名谷歌大脑成员加入OpenAI；情人节时，Hyung Won Chung和CoT最早的一作Jason Wei携手组团叛逃OpenAI。本周三，您猜怎么着？嘿，又跑了一个： OpenAI狂喜，只有谷歌大漏勺本勺受伤的世界诞生了。 Imagen是什么？了解完谷歌漏走的这四个人，回头来说说为他们职业生涯赢得掌声的Imagen项目。 Imagen是谷歌发布的文生图模型，发布时间在DALL-E 2新鲜出炉一个月以后。本文开头放的熊猫震惊表情包，就是朝Imagen输入“一只非常快乐的毛茸熊猫打扮成了在厨房里做面团的厨师的高对比度画像，他身后的墙上还有一幅画了鲜花的画”后，得出的一张要素完备的AI生成画作。（不好意思，请自行断句）在Imagen出现之前，文生图都共用一个套路，那就是CLIP负责从文本特征映射到图像特征，然后指导一个GAN或Diffusion Model生成图像。 Imagen不走寻常路，开辟了text-to-image新范式：纯语言模型只负责编码文本特征，具体text-to-image的工作，被Imagen丢给了图像生成模型。具体来讲，Imagen包含一个冻结的语言模型T5-XXL（谷歌自家出品），当作文本编码器。T5-XXL的C4训练集包含800GB的纯文本语料，在文本理解能力上比CLIP强不少，因为后者只用有限图文对训练。图像生成部分则用了一系列扩散模型，先生成低分辨率图像，再逐级超采样。依赖于新的采样技术，Imagen允许使用大的引导权重，所以不会像原有工作一样使样本质量下降。这么一来，图像具有更高的保真度，并且能更好地完成图像-文本对齐。概念说起来简单，但Imagen的效果还是令人大为震撼的。生成的狗子飙车技术一流：比起爆火的DALLE-2，Imagen能更准确地理解同时出现两个颜色要求的情况：一边绘画一边写字这种要求，Imagen也成功完成，不仅写得对，还能加光影魔术手般的烟花特效（不是）。以及对后来研究更有帮助的是，谷歌通过Imagen的研究，优化了扩散模型。首先，增加无分类器引导（classifier-free guidance）的权重可以改善图文对齐，同时却会损害图像保真度。为了解决这个bug，在每一步采样时引入动态阈值（dynamic thresholding）这个新的新的扩散采样技术，来防止过饱和。第二，使用高引导权重的同时在低分辨率图像上增加噪声，可以改善扩散模型多样性不足的问题。第三，对扩散模型的经典结构U-Net做了改进，变成了Efficient U-Net。后者改善了内存使用效率、收敛速度和推理时间。后来在Imagen上微调，谷歌还推出了能“指哪打哪”版本的文生图模型DreamBooth。只需上传3-5张指定物体的照片，再用文字描述想要生成的背景、动作或表情，就能让指定物体“闪现”到你想要的场景中。比如酱婶儿的：又或者酱婶儿的：大概是Imagen效果太过出色，劈柴哥后来亲自宣发的谷歌AI生成视频选手大将，就叫做“Imagen Video”，能生成1280*768分辨率、每秒24帧的视频片段。啊，等等，谷歌有Imagen Vedio，这和四人的新公司不是撞方向了吗？仔细看了下论文，无论是Imagen还是Imagen Video，各自都有大篇幅涉及风险、社会影响力的内容。出于安全、AI伦理和公平性等方面考虑，Imagen和Imagen Vedio都没有直接开源或开放API，甚至连demo都没有。哪怕市面上出现开源复刻版本，也不是最正宗的味道。此前就曝出过在谷歌每年的内部员工调查“Googlegeist”中，员工表示对谷歌执行能力不佳的质疑。也许，这四人出走，继续做Imagen，并做Imagen的视频版，说不定就是为了想把项目放到一个更开放的AI环境。而且这种出走创业，也是热钱大钱向AIGC汹涌的结果。所以既然AIGC的创投热潮已经在太平洋那头开启，那应该在太平洋这头也不会悄无声息。或许你已经听说了一些同样的大厂出走创业，欢迎爆料说说~~ 来源：“量子位”（ID：QbitAI），DeFi之道作者：衡宇来源：金色财经
金色财经2023-03-05
人工智能：中国式ChatGPT的“大跃进”
go
灵奖得主Yann LeCun以首席AI科学家的身份坐镇。微软手下的急先锋OpenAI，也是基于强大的科研团队才奠定的领先地位。科技情报分析机构AMiner和智谱研究发布的《ChatGPT团队背景研究报告》显示，OpenAI的ChatGPT研发团队中，27人为本科学历，25人为硕士学历，28人为博士研学历(注：5人信息缺失)，占比分别为33%、30%、37%。 ChatGPT团队学历分布而另一份来自猎聘大数据的国内AI人才市场调查则显示：近一年，预训练模型、对话机器人和AIGC三个ChatGPT相关领域中，国内企业明确要求本科以上学历的职位分别占71.33%、82.30%、92.53%；要求硕、博士学历的占比分别为16.49%、9.86%、18.22%。对比ChatGPT团队，国内AI人才的平均水平差距较大，硕博比例明显不足。而在今天这种大家齐上大模型赛道的“加速”发展态势下，要在短时间里“大干快上”，势必要先比试比试谁的团队技术实力强，谁更能在自己的麾下聚拢一批大模型人才。抢人大作战技术大战开打之前，各家的大模型团队先得打赢一场关键的人才争夺战。如果你是一个清华博士，有5-10年NLP（Natural Language Processing，自然语言处理）行业经验，那么你的资料只要出现在招聘平台上，不需要任何详细履历，就可以在注册完成后的48小时内，接到多家猎头公司的询问电话，以及数十条HR、猎头、业务经历甚至BOSS本人发来的站内信息。在这些信息中，不乏阿里、美团、小红书等大厂，还有诸多创业公司，以及研究机构。猎头们提供的NLP算法研究员岗位年薪也大多会在百万元上下。根据猎聘大数据调查，过去五年，人工智能和互联网的招聘薪资均处于上涨态势，人工智能年均招聘薪资明显高出互联网。2022年，人工智能招聘平均年薪为33.15万元，比互联网高出4.27万元，即14.78%。五年来人工智能与互联网招聘平均年薪对比在ChatGPT爆火后，这样的情况越来越明显。据上述调查显示，与ChatGPT相关的岗位工资均超过平均水平，AIGC为39.08万，对话机器人为34.89万，预训练模型为33.93万。“ChatGPT一火起来，AI工程师的薪资水平也越来越高，你不开高价就抢不到人。”某AI领域投资人对虎嗅说。从技术的角度看，大模型发端于NLP领域，自然语言处理岗位在人工智能领域一直都处于人才稀缺的状态，薪酬水平处于高位。科锐国际调研咨询业务负责人&高科技领域资深专家景晓平对虎嗅表示，“人工智能行业典型岗位按产业链划分，技术层和基础层薪酬水平处于高位，高于互联网其他领域薪酬水平，应用层和互联网常规岗位薪酬一致。” 事实上，近年来国内AI人才的硕博占比也在逐年提升，很多企业对AI领域的人才要求学历至少是硕士。薪酬结构则与企业的性质密切相关，国有企业、研究所的薪酬主要是固定薪酬、项目奖金和津贴，例如，国内第一梯队的AI实验室，清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）挂在官网上的博士后招聘待遇为年薪30万，享受清华大学教职工社会保险、住房公积金等待遇。提供公寓或每年4.2万的租房补贴，同时可以解决子女入园、入学。 IT大厂和AI创业公司的薪酬结构则多为，固定薪资+浮动奖金+股权期权激励。在猎聘、脉脉、BOSS直聘三个平台搜索ChatGPT，硕博学历职位的月薪普遍高于3万，最高达9万。“在薪酬方面IT大厂并不会占多少便宜，AI大模型的研发都是高举高打，创业公司给出的薪酬可能更有竞争力。”西湖心辰COO俞佳认为，没有资金支持很难在大模型的基础训练领域推动一家初创公司，对于这个领域来说，钱的问题可能“不是最大的问题”。猎聘、脉脉、BOSS直聘，搜索ChatGPT的前排结果此外，在诸多岗位信息中，工作地点集中在北京、上海、杭州和深圳，但其中一些职位也并不限制办公地。景晓平表示，目前国内AI人才北京占据第一位，上海、广东省分列二三位，近些年互联网发展极为活跃的浙江省，在人工智能发展上也丝毫不落风头，成都作为科技新秀城市，有优质相关生源的地域，也储备了不少人工智能人才。但从需求总量来看，国内AI人才还有很大缺口。 OpenAI的专家团队为何强 OpenAI官网挂出的参与过ChatGPT的项目团队共87人，该团队平均年龄为32岁，其中90后是主力军。《ChatGPT团队背景研究报告》显示，ChatGPT研发团队绝大多数成员拥有名校学历，成员最集中的前5大高校是：斯坦福大学（14人）、加州大学伯克利分校（10人）、麻省理工学院（7人）、剑桥大学（5人）、哈佛大学（4人）和佐治亚理工学院（4人）。 ChatGPT 团队成员毕业前10名高校此外，很多成员都有名企工作经历，包括：Facebook、Stripe、Uber、Quora、NVIDIA、Microsoft、Dropbox、DeepMind、Apple、Intel等公司，其中有10人来自谷歌，OpenAI的首席科学家Ilya Sutskever亦是从谷歌转会而来，Ilya Sutskever是AlphaGo的作者之一，师从人工智能学界泰斗Geoffrey Hinton。 ChatGPT团队成员流动示意图 1985年出生在苏联的Ilya Sutskever，如今已经是英国皇家学会院士。据说Ilya Sutskever退出谷歌，与Sam Altman、Elon Musk等人一起创立OpenAI时，年薪曾大幅缩水。但他参与创立OpenAI的初衷是“确保强大的人工智能造福全人类”的大义和情怀。 OpenAI初创之时是一家非营利研究机构，从这点上来看，无论是否带着情怀加入这家公司的研究人员，还是给“非营利”事业烧钱的投资人，多少都有一点对技术的“信仰”，这种驱动力，可能是钱买不来的。不过OpenAI给这些科技精英们提供的薪酬待遇并不低。据纽约时报报道，2016年，OpenAI向Ilya Sutskever支付了超过190万美元。另一位行业大佬级的研究员Ian Goodfellow（对抗式生成网络的提出者）2016年从OpenAI得到的报酬则超过80万美元，而他在这一年中只工作了9个月，不过Ian Goodfellow在OpenAI没有待很长时间就离开了。一直以来，硅谷的AI研究员都是高收入人群。在谷歌发布的官方招聘信息中，在美国工作的全职“高级软件工程师，大型语言模型，应用机器学习”（Staff Software Engineer, Large Language Models, Applied ML）岗位基本工资范围为年薪17.4万-27.6万美元（约120万-190万元人民币）+奖金+股权+福利。这份工作的主要职责是：为谷歌大型语言模型的关键冲刺做出贡献，将尖端的 LLM（Large Language Mode，大型语言模型）引入下一代谷歌产品和应用程序，以及外部用户。在建模技术方面进行协作，以支持全方位的 LLM 调整，从提示工程、指令调整、基于人类反馈的强化学习 (RLHF)、参数高效调整到微调。微软研究院的研究员岗位“博士后研究员-机器学习和强化学习”（Post Doc Researcher-Machine Learning and Reinforcement Learning）年薪则在9.4万-18.2万美元（约64万-125万元人民币）。工作职责是“与其他研究人员合作制定自己的研究议程，推动有效的基础、基础和应用研究计划。” ChatGPT团队中另一个有意思的点是团队中有9位华人成员，其中5人本科毕业于国内高校，美国学界对人才的虹吸效应也正是硅谷巨头以及“OpenAI”们强大人才竞争力的基础。 “中国的AI人才是从14亿人里挑，美国是从80亿人里挑，全世界优秀的人很多都到美国去了。”图灵联合创始人、原智源研究院副院长刘江表示，要承认差距确实存在，不过他也表示，“在这方面，我们也不用气馁。中国也有自己的优势，比如市场化、产品化的能力，近年来我们不比美国同行差了。” 国内大厂的实力如何？除了人才问题，国内大模型研究落后美国另一个原因是在生成式AI和大模型研究方面起步略晚，而起步晚的原因，则还是与“钱”脱不开关系。从技术角度看，生成式技术在Stable Diffusion和ChatGPT等网红产品出现之前，技术实现的效果并不理想，且需要消耗大量算力进行研究。所以大厂、资本很难斥以重资，投入到这种看上去不太赚钱，还要烧钱的业务。中国的AI产业更注重应用场景，而非基础理论和技术创新。各家大厂在NLP的理解方面有很多成熟业务，比如听写、翻译，在视觉识别和AI大数据处理方面也有很多应用场景。所以这部分业务自然是AI研发的主力，一方面他们赚钱，另一方面在这些领域的技术积累，使研究人员能够“在规定跑道上赛跑”，而不是在未知领域探路。这一点不只是限制了国内公司，更是很多全球巨头的创新桎梏。正如诺基亚做不出iPhone一样，巨头都不喜欢“破坏式创新”，谷歌发布的Bard只因一个小失误就牵动了母公司Alphabet的万亿市值，这也正是谷歌一直声称不愿发布LaMDA大模型的理由，害怕会因AI的失误影响自己的商誉。而OpenAI显然不太在乎ChatGPT在公测中会出什么问题，毕竟他发布ChatGPT时只是一家估值200亿美元的独角兽。不过，在这波大模型的追赶赛中，国内大厂的团队也可以说是实力颇强。百度在大模型方面走的最早，百度自2019年开始研发预训练模型，先后发布了知识增强文心（ERNIE）系列模型。文心大模型研发的带头人，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰博士，是自然语言处理领域权威国际学术组织ACL（Association for Computational Linguistics）的首位华人主席、ACL亚太分会创始主席、ACL Fellow，还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前，王海峰在国内外期刊会议上发表的学术论文有200余篇，获得已授权专利170余项。虽然没有像百度一样公布类ChatGPT产品的发布时间表，但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型，均已研发了很长时间。据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计（2023年的统计尚未发布）显示，2012-2021年中，在ML（Machine Learning，机器学习）和NLP顶级期刊和会议发表论文数量最多的机构是谷歌，微软紧随其后。发文数量最多的中国机构是清华大学，第二是位列第16的腾讯，腾讯也是前32名中唯一的中国互联网厂商。不过，在2021年单年的统计中，阿里和华为也登上此榜，腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计目前，腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过，腾讯旗下AI研发团队“腾讯AI Lab”的专家构成，也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI科学家和超过300名应用工程师组成，带头人张正友博士是腾讯首席科学家、腾讯 AI Lab 及 Robotics X 实验室主任，腾讯首位17级研究员、杰出科学家。他在美国斯坦福大学（Stanford University）发布的2022 年度“全球前2%顶尖科学家榜单”（World's Top 2% Scientists 2022）中，排名全球“终身科学影响力排行榜”第1002名，中国排名 Top 10。阿里在LLM领域的研究主要由阿里巴巴达摩院负责，阿里巴巴集团资深副总裁，阿里云智能CTO、达摩院副院长周靖人主导，他是IEEE Fellow，多次担任VLDB，SIGMOD，ICDE等国际顶级会议程序委员会主编、主席，在顶尖国际期刊和会议上发表论文超百篇，并拥有几十项技术专利。华为也未对“类ChatGPT产品”公开表态，但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导，他是计算机视觉、多媒体信息检索专家，IEEE Fellow，国际欧亚科学院院士，教育部长江讲座教授，国家自然科学基金海外杰青，中国科学院海外评审专家，在国内多所高校任讲席教授及客座教授。在自己组建团队投入研发的同时，百度、阿里、腾讯、华为等IT大厂，也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构数据闭环是大模型研发的关键，用户越多，积累时间越长，就意味着可以用于迭代升级的数据和反馈也就越多。在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月，但用户量和访问量增长速度飞快，这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了，就会面临卡脖子的风险。”很多AI专家对此都有担心，由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持，以及地方政策支持，人才聚拢能力非常强劲。北京智源人工智能研究院（以下简称“智源研究院”）是科技部和北京市政府共同支持，联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江，是美国国家工程院外籍院士，ACM Fellow和IEEE Fellow，同时也是微软亚洲研究院的创始人之一。 2021年，智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本，这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）的孙茂松教授，清华大学知识工程研究室（KEG）的唐杰教授，清华大学交互式人工智能课题组（CoAI）的黄民烈教授。目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中，大模型给搜索广告带来了2.7%的收入增长。在南方的科技重镇也有一家相似的研究机构，粤港澳大湾区数字经济研究院（以下简称IDEA研究院），IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处，IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士，他参与创建了微软亚洲研究院，担任院长兼首席科学家，并曾担任微软公司全球执行副总裁，主管微软全球研究院和人工智能产品线，并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院，他的团队推出的开源模型“太乙”，据称在中文文生图领域可以达到接近Stable Diffusion（一款开源文生图AI模型）的水平。目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”，已经开源了6个系列共10个模型，包含4种模型结构，模型参数最大为35亿。其中包括：以Encoder结构为主的双向语言系列模型的二郎神系列；面向医疗领域，拥有35亿参数的余元系列；与追一科技联合开发的新结构大模型周文王系列；以Decoder结构为主的单向语言模型闻仲系列；以Transformer结构为主的编解码语言模型，主要解决通用任务的大模型燃灯系列；以及主要面向各种纠错任务的比干系列。 2月20日晚，复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”，并在公开平台（https://moss.fastnlp.top/），邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示，“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会，但是从后边的公告来看，有可能是在工程优化，并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上，邱锡鹏教授公开表示，如果优化顺利，MOSS计划在2023年3月底开源。虽然，没能成功抢发“国产ChatGPT”，但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价，“邱锡鹏教授的团队比较偏重学术，这和早期的OpenAI在科研心态上是有共性的，非营利性的AI研究机构，没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学，虽然计算机技术已发展多年，但AI仍属于前沿科技，对LLM以及其他通用大模型的研究更是兴起不久，仍然需要依靠应用数据，持续迭代升级，不管MOSS是不是因为工程经验绊了跟头，要在AI、大模型这些领域实现突破，能推广到市场中，接地气的技术和产品才是王道。事实上，目前国内AI行业活跃的实验室大多已开始尝试商业化，在市场的磨砺中探索大模型未来的出路。深言科技深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）。THUNLP由清华大学人工智能研究院常务副院长孙茂松，以及刘洋、刘知远，三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一，「九歌」已经为用户创作了超过3000万首诗词。孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身，也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的，目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”，以及根据意思查询句子的“WantQuotes据意查句”。智谱AI 智谱AI的前身是清华大学知识工程研究室（KEG），KEG专注研究网络环境下的知识工程，在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年，智谱AI就启动了科技信息分析引擎ArnetMiner（以下简称AMiner）的相关研究，先后获得了国际顶级会议SIGKDD的十年最佳论文（Test-of-Time Award）、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月，由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布，其在多个公开评测榜单上超过GPT-3 v1。此外，智谱AI还打造了认知大模型平台（BigModel.ai），形成AIGC产品矩阵，提供智能API服务。聆心智能 2月17日，聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型，基于大模型可控、可配置、可信的核心技术优势，聆心智能推出“AI乌托邦”，该系统允许用户快速定制 AI 角色。聆心智能由清华大学交互式人工智能课题组（CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年，就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。西湖心辰西湖心辰背靠西湖大学深度学习实验室，创始人是西湖大学助理教授、博士生导师蓝振忠，主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家，也是轻量化大模型ALBERT的第一作者。西湖大学在人工智能领域的研发实力很强，除了蓝振忠博士的深度学习实验室，西湖大学NLP实验室，在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中，于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势，技术和数据。”西湖心辰COO俞佳对虎嗅表示，国内大模型创业公司在技术方面普遍已有多年研究经验，构筑了一定的技术壁垒，这是很难短期超越的。同时，由于已经推出了相关产品，“数据飞轮”已经转起来了，这些数据的质量相比互联网数据质量要高很多，能够对产品迭代起到很大支撑作用。对于国内大模型创业公司未来的发展趋势，俞佳认为可能性很多，“有些公司可能会走出自己的道路，也有的公司可能会像OpenAI一样与IT大厂开展深度合作，甚至像DeepMind直接并入其中。” 出品｜虎嗅科技组作者｜齐健编辑｜陈伊凡来源：DeFi之道来源：金色财经
金色财经2023-03-05
英前首相鲍里斯被控误导议会，或被取消议员资格！国王查尔斯将访问法国德国...
go
。去年，欧盟因北爱尔兰贸易争端阻止英国科学家加入该框架。此前（3月2日），英国皇家化学学会（RSC）、罗素集团（Russell Group）等18家研究机构联合要求英国和欧盟结束有关“地平线”的僵局。英国工业联合会创新主管Naomi Weir认为加入该框架是“双赢”。但英国政府高级官员们表示，苏纳克对“地平线“的价值以及英国参与的成本“持怀疑态度”，并在考虑英国“B计划”、全球研究计划在内的其它选项。尽管英国原本打算给为期7年的“地平线”贡献150亿英镑的经费，但3年已经过去，双方现在必须就英国需要提供多少资金达成一致。伦敦城市机场率先取消携带液体禁令据英媒报道，伦敦城市机场（London City airport）有意在3月底率先取消携带液体禁令，成为英国境内首个解除相关限制的机场。届时，伦敦城市机场将全面更新现有安检设备，采用新一代电脑断层扫描系统，旅客可随身携带多达2升的液体，也无须在安检时将笔记电脑和手机从手提行李取出。英媒认为，伦敦城市机场决定在3月底实施这一新规，是考虑到4月初是英国的复活节假期，新措施有助提升旅客便利和安检效率，并且减少塑胶袋使用量。目前，英国各机场规定旅客必须将随身携带的乳液、手部消毒液等物品放置进塑胶袋中，且总容量不超过100毫升。英国公立医院要求医学生填补NHS罢工时人员空缺从3月13日起，NHS初级医生将罢工72小时，试图解决薪酬和人员配置的纠纷，英国公立医院将面临前所未有的服务中断。据英媒报道，尚未获得行医资格的医学院学生被要求在医院提供临床支持，以填补人员缺口。该消息一经曝光立即引起了医生工会的谴责。他们对安全问题表示担忧，并表示医学生应该拒绝承担超出他们能力范围的任务。还有人担心，让医学生出现医疗事故时，可能会面临法律上的困难。苏格兰和英格兰东北部发布冰雪黄色预警当地时间3月3日，英国气象局（The Met Office）发布冰雪黄色预警，预计苏格兰部分地区和英格兰东北部地区下周一（3月6日）、周二（3月7日）或出现降雪和结冰。苏格兰北部、东部地区以及英格兰东北部远至赫尔等地均会受影响，道路交通可能会延误，铁路服务和航班也会延误或取消。此外，从周一（3月6日）凌晨1点到周三（3月8日）午夜，英格兰所有地区都将经历寒冷天气。 UKHSA极端事件和健康保护负责人Agostinho Sousa博士说：“在这样的时期，要关注家人、朋友和亲戚的健康状况，他们可能更容易受到寒冷天气的影响。如果你患有基础病，或者年龄超过65岁，尽量把家里温度提高到至少18℃。” 英国政府投入2500万英镑，推广纯电动绿色巴士当地时间3月2日，英国政府在官网上宣布投入至少2500万英镑，在全英范围内推广本土制造的纯电动绿色巴士。作为首批推出的巴士，117辆净零排放的绿色巴士将在约克郡（Yorkshire）、诺福克郡（Norfolk）、朴茨茅斯（Portsmouth）和汉普郡（Hampshire）试运行，为当地的乘客提供更环保的出行选择。据了解，英国政府计划一共投资3亿英镑推广绿色巴士，它们将由北爱尔兰巴士供应商Wrightbus制造，由公交公司FirstBus运营，创造数百个高技能工作岗位。
英伦投资客2023-03-05
「比特币新文化」继续 Secrets 或成比特币上的「OpenSea」
go
a。Muneeb Ali 是一位计算机科学家和企业家，他拥有普林斯顿大学的博士学位，曾在斯坦福大学攻读计算机科学硕士学位。在创立 Stacks 之前，他曾在 Google 等知名科技公司工作，并在多个领域拥有丰富的技术和商业经验。Ryan Shea 也是一位计算机科学家和企业家，他曾在麻省理工学院攻读计算机科学硕士学位，并在多个知名科技公司和创业公司担任要职。在创立 Stacks 之前，他曾与 Muneeb Ali 共同创立了 Blockstack PBC，并在该公司担任首席执行官。 Stacks 未来前景如何，还有哪些比特币项目值得关注对于 Stacks 的未来前景，加密大 V 又如何看呢？除此之外，比特币新文化运动概念项目还有哪些？加密货币分析机构 Messari 在一篇「Stacks Analysis: The potential of a Bitcoin Smart Contract Layer」的研报中认为：Stacks 有望成为比特币生态系统中的一个重要组成部分，提供更加安全、高效和可持续的智能合约服务，同时还可以与其他加密货币项目和传统金融市场进行协同创新。考虑到比特币庞大的用户群体，由于 Stacks 与比特币生态系统的紧密结合、更加可持续和去中心化的经济模型、更好的隐私保护和更高的性能等，使其相较其他公链具备更大的发展空间。 Matrixport 在 2 月 22 日的一份研究报告中表示：由于 Ordinals 是直接铸造在区块链上的，由于在分布式账本上的持久性和不可更改性，它们被认为是数字产品，而传统的 NFT 可以由智能合约开发人员更改。比特币 NFT 的想法并不是一个新概念，它是由 Counterparty 和 Stacks 等协议发展起来的。最近围绕 Ordinals NFT 的炒作导致本周早些时候 STX 上涨了 50%。NFT 和比特币网络的结合带来了更多的安全性、透明度和可追溯性。它开辟了更多的用例，并重新点燃了人们对这些代币的兴趣。上周，比特币区块链上新发行的 Ordinal NFT 数量超过了 10 万个。此外，Stack 利用比特币区块链的安全性进行交易结算的能力，使该网络很好地发展了比特币 DeFi。除了 Stacks，比特币侧链中还有一些较为成熟的项目也值得关注，其主要有： Lightning Network：闪电网络是一个基于比特币区块链的第二层网络，旨在实现更快、更便宜的交易。通过闪电网络，用户可以进行微小的交易，而不必等待比特币主链上的确认，从而实现了快速的支付体验。 Liquid Network：Liquid Network 是一个由比特币交易所和金融机构支持的侧链，旨在提供更快、更便宜、更安全的交易服务。它支持加密货币和资产的交易，并提供了机密交易和批量交易等功能。 RSK：RSK 是一个基于比特币区块链的智能合约平台，旨在提供比以太坊更快、更安全、更低成本的智能合约。它采用比特币的挖矿算法，实现了与比特币主链的交互，并提供了具有扩展性的侧链技术。 Rootstock Bridge：Rootstock Bridge 是一种将以太坊智能合约转移到比特币侧链 RSK 上的桥梁。它使得以太坊的开发者能够利用 RSK 的技术和生态系统，同时受益于比特币的安全性和可靠性。来源：DeFi之道撰文：Asher Zhang 来源：金色财经
金色财经2023-03-04
中国式ChatGPT“大跃进”
go
灵奖得主Yann LeCun以首席AI科学家的身份坐镇。微软手下的急先锋OpenAI，也是基于强大的科研团队才奠定的领先地位。科技情报分析机构AMiner和智谱研究发布的《ChatGPT团队背景研究报告》显示，OpenAI的ChatGPT研发团队中，27人为本科学历，25人为硕士学历，28人为博士研学历(注：5人信息缺失)，占比分别为33%、30%、37%。 ChatGPT团队学历分布而另一份来自猎聘大数据的国内AI人才市场调查则显示：近一年，预训练模型、对话机器人和AIGC三个ChatGPT相关领域中，国内企业明确要求本科以上学历的职位分别占71.33%、82.30%、92.53%；要求硕、博士学历的占比分别为16.49%、9.86%、18.22%。对比ChatGPT团队，国内AI人才的平均水平差距较大，硕博比例明显不足。而在今天这种大家齐上大模型赛道的“加速”发展态势下，要在短时间里“大干快上”，势必要先比试比试谁的团队技术实力强，谁更能在自己的麾下聚拢一批大模型人才。抢人大作战技术大战开打之前，各家的大模型团队先得打赢一场关键的人才争夺战。如果你是一个清华博士，有5-10年NLP（Natural Language Processing，自然语言处理）行业经验，那么你的资料只要出现在招聘平台上，不需要任何详细履历，就可以在注册完成后的48小时内，接到多家猎头公司的询问电话，以及数十条HR、猎头、业务经历甚至BOSS本人发来的站内信息。在这些信息中，不乏阿里、美团、小红书等大厂，还有诸多创业公司，以及研究机构。猎头们提供的NLP算法研究员岗位年薪也大多会在百万元上下。根据猎聘大数据调查，过去五年，人工智能和互联网的招聘薪资均处于上涨态势，人工智能年均招聘薪资明显高出互联网。2022年，人工智能招聘平均年薪为33.15万元，比互联网高出4.27万元，即14.78%。五年来人工智能与互联网招聘平均年薪对比在ChatGPT爆火后，这样的情况越来越明显。据上述调查显示，与ChatGPT相关的岗位工资均超过平均水平，AIGC为39.08万，对话机器人为34.89万，预训练模型为33.93万。“ChatGPT一火起来，AI工程师的薪资水平也越来越高，你不开高价就抢不到人。”某AI领域投资人对虎嗅说。从技术的角度看，大模型发端于NLP领域，自然语言处理岗位在人工智能领域一直都处于人才稀缺的状态，薪酬水平处于高位。科锐国际调研咨询业务负责人&高科技领域资深专家景晓平对虎嗅表示，“人工智能行业典型岗位按产业链划分，技术层和基础层薪酬水平处于高位，高于互联网其他领域薪酬水平，应用层和互联网常规岗位薪酬一致。” 事实上，近年来国内AI人才的硕博占比也在逐年提升，很多企业对AI领域的人才要求学历至少是硕士。薪酬结构则与企业的性质密切相关，国有企业、研究所的薪酬主要是固定薪酬、项目奖金和津贴，例如，国内第一梯队的AI实验室，清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）挂在官网上的博士后招聘待遇为年薪30万，享受清华大学教职工社会保险、住房公积金等待遇。提供公寓或每年4.2万的租房补贴，同时可以解决子女入园、入学。 IT大厂和AI创业公司的薪酬结构则多为，固定薪资+浮动奖金+股权期权激励。在猎聘、脉脉、BOSS直聘三个平台搜索ChatGPT，硕博学历职位的月薪普遍高于3万，最高达9万。“在薪酬方面IT大厂并不会占多少便宜，AI大模型的研发都是高举高打，创业公司给出的薪酬可能更有竞争力。”西湖心辰COO俞佳认为，没有资金支持很难在大模型的基础训练领域推动一家初创公司，对于这个领域来说，钱的问题可能“不是最大的问题”。猎聘、脉脉、BOSS直聘，搜索ChatGPT的前排结果此外，在诸多岗位信息中，工作地点集中在北京、上海、杭州和深圳，但其中一些职位也并不限制办公地。景晓平表示，目前国内AI人才北京占据第一位，上海、广东省分列二三位，近些年互联网发展极为活跃的浙江省，在人工智能发展上也丝毫不落风头，成都作为科技新秀城市，有优质相关生源的地域，也储备了不少人工智能人才。但从需求总量来看，国内AI人才还有很大缺口。 OpenAI的专家团队为何强 OpenAI官网挂出的参与过ChatGPT的项目团队共87人，该团队平均年龄为32岁，其中90后是主力军。《ChatGPT团队背景研究报告》显示，ChatGPT研发团队绝大多数成员拥有名校学历，成员最集中的前5大高校是：斯坦福大学（14人）、加州大学伯克利分校（10人）、麻省理工学院（7人）、剑桥大学（5人）、哈佛大学（4人）和佐治亚理工学院（4人）。 ChatGPT 团队成员毕业前10名高校此外，很多成员都有名企工作经历，包括：Facebook、Stripe、Uber、Quora、NVIDIA、Microsoft、Dropbox、DeepMind、Apple、Intel等公司，其中有10人来自谷歌，OpenAI的首席科学家Ilya Sutskever亦是从谷歌转会而来，Ilya Sutskever是AlphaGo的作者之一，师从人工智能学界泰斗Geoffrey Hinton。 ChatGPT团队成员流动示意图 1985年出生在苏联的Ilya Sutskever，如今已经是英国皇家学会院士。据说Ilya Sutskever退出谷歌，与Sam Altman、Elon Musk等人一起创立OpenAI时，年薪曾大幅缩水。但他参与创立OpenAI的初衷是“确保强大的人工智能造福全人类”的大义和情怀。 OpenAI初创之时是一家非营利研究机构，从这点上来看，无论是否带着情怀加入这家公司的研究人员，还是给“非营利”事业烧钱的投资人，多少都有一点对技术的“信仰”，这种驱动力，可能是钱买不来的。不过OpenAI给这些科技精英们提供的薪酬待遇并不低。据纽约时报报道，2016年，OpenAI向Ilya Sutskever支付了超过190万美元。另一位行业大佬级的研究员Ian Goodfellow（对抗式生成网络的提出者）2016年从OpenAI得到的报酬则超过80万美元，而他在这一年中只工作了9个月，不过Ian Goodfellow在OpenAI没有待很长时间就离开了。一直以来，硅谷的AI研究员都是高收入人群。在谷歌发布的官方招聘信息中，在美国工作的全职“高级软件工程师，大型语言模型，应用机器学习”（Staff Software Engineer, Large Language Models, Applied ML）岗位基本工资范围为年薪17.4万-27.6万美元（约120万-190万元人民币）+奖金+股权+福利。这份工作的主要职责是：为谷歌大型语言模型的关键冲刺做出贡献，将尖端的 LLM（Large Language Mode，大型语言模型）引入下一代谷歌产品和应用程序，以及外部用户。在建模技术方面进行协作，以支持全方位的 LLM 调整，从提示工程、指令调整、基于人类反馈的强化学习 (RLHF)、参数高效调整到微调。微软研究院的研究员岗位“博士后研究员-机器学习和强化学习”（Post Doc Researcher-Machine Learning and Reinforcement Learning）年薪则在9.4万-18.2万美元（约64万-125万元人民币）。工作职责是“与其他研究人员合作制定自己的研究议程，推动有效的基础、基础和应用研究计划。” ChatGPT团队中另一个有意思的点是团队中有9位华人成员，其中5人本科毕业于国内高校，美国学界对人才的虹吸效应也正是硅谷巨头以及“OpenAI”们强大人才竞争力的基础。 “中国的AI人才是从14亿人里挑，美国是从80亿人里挑，全世界优秀的人很多都到美国去了。”图灵联合创始人、原智源研究院副院长刘江表示，要承认差距确实存在，不过他也表示，“在这方面，我们也不用气馁。中国也有自己的优势，比如市场化、产品化的能力，近年来我们不比美国同行差了。” 国内大厂的实力如何？除了人才问题，国内大模型研究落后美国另一个原因是在生成式AI和大模型研究方面起步略晚，而起步晚的原因，则还是与“钱”脱不开关系。从技术角度看，生成式技术在Stable Diffusion和ChatGPT等网红产品出现之前，技术实现的效果并不理想，且需要消耗大量算力进行研究。所以大厂、资本很难斥以重资，投入到这种看上去不太赚钱，还要烧钱的业务。中国的AI产业更注重应用场景，而非基础理论和技术创新。各家大厂在NLP的理解方面有很多成熟业务，比如听写、翻译，在视觉识别和AI大数据处理方面也有很多应用场景。所以这部分业务自然是AI研发的主力，一方面他们赚钱，另一方面在这些领域的技术积累，使研究人员能够“在规定跑道上赛跑”，而不是在未知领域探路。这一点不只是限制了国内公司，更是很多全球巨头的创新桎梏。正如诺基亚做不出iPhone一样，巨头都不喜欢“破坏式创新”，谷歌发布的Bard只因一个小失误就牵动了母公司Alphabet的万亿市值，这也正是谷歌一直声称不愿发布LaMDA大模型的理由，害怕会因AI的失误影响自己的商誉。而OpenAI显然不太在乎ChatGPT在公测中会出什么问题，毕竟他发布ChatGPT时只是一家估值200亿美元的独角兽。不过，在这波大模型的追赶赛中，国内大厂的团队也可以说是实力颇强。百度在大模型方面走的最早，百度自2019年开始研发预训练模型，先后发布了知识增强文心（ERNIE）系列模型。文心大模型研发的带头人，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰博士，是自然语言处理领域权威国际学术组织ACL（Association for Computational Linguistics）的首位华人主席、ACL亚太分会创始主席、ACL Fellow，还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前，王海峰在国内外期刊会议上发表的学术论文有200余篇，获得已授权专利170余项。虽然没有像百度一样公布类ChatGPT产品的发布时间表，但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型，均已研发了很长时间。据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计（2023年的统计尚未发布）显示，2012-2021年中，在ML（Machine Learning，机器学习）和NLP顶级期刊和会议发表论文数量最多的机构是谷歌，微软紧随其后。发文数量最多的中国机构是清华大学，第二是位列第16的腾讯，腾讯也是前32名中唯一的中国互联网厂商。不过，在2021年单年的统计中，阿里和华为也登上此榜，腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计目前，腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过，腾讯旗下AI研发团队“腾讯AI Lab”的专家构成，也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI科学家和超过300名应用工程师组成，带头人张正友博士是腾讯首席科学家、腾讯 AI Lab 及 Robotics X 实验室主任，腾讯首位17级研究员、杰出科学家。他在美国斯坦福大学（Stanford University）发布的2022 年度“全球前2%顶尖科学家榜单”（World's Top 2% Scientists 2022）中，排名全球“终身科学影响力排行榜”第1002名，中国排名 Top 10。阿里在LLM领域的研究主要由阿里巴巴达摩院负责，阿里巴巴集团资深副总裁，阿里云智能CTO、达摩院副院长周靖人主导，他是IEEE Fellow，多次担任VLDB，SIGMOD，ICDE等国际顶级会议程序委员会主编、主席，在顶尖国际期刊和会议上发表论文超百篇，并拥有几十项技术专利。华为也未对“类ChatGPT产品”公开表态，但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导，他是计算机视觉、多媒体信息检索专家，IEEE Fellow，国际欧亚科学院院士，教育部长江讲座教授，国家自然科学基金海外杰青，中国科学院海外评审专家，在国内多所高校任讲席教授及客座教授。在自己组建团队投入研发的同时，百度、阿里、腾讯、华为等IT大厂，也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构数据闭环是大模型研发的关键，用户越多，积累时间越长，就意味着可以用于迭代升级的数据和反馈也就越多。在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月，但用户量和访问量增长速度飞快，这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了，就会面临卡脖子的风险。”很多AI专家对此都有担心，由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持，以及地方政策支持，人才聚拢能力非常强劲。北京智源人工智能研究院（以下简称“智源研究院”）是科技部和北京市政府共同支持，联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江，是美国国家工程院外籍院士，ACM Fellow和IEEE Fellow，同时也是微软亚洲研究院的创始人之一。 2021年，智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本，这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）的孙茂松教授，清华大学知识工程研究室（KEG）的唐杰教授，清华大学交互式人工智能课题组（CoAI）的黄民烈教授。目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中，大模型给搜索广告带来了2.7%的收入增长。在南方的科技重镇也有一家相似的研究机构，粤港澳大湾区数字经济研究院（以下简称IDEA研究院），IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处，IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士，他参与创建了微软亚洲研究院，担任院长兼首席科学家，并曾担任微软公司全球执行副总裁，主管微软全球研究院和人工智能产品线，并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院，他的团队推出的开源模型“太乙”，据称在中文文生图领域可以达到接近Stable Diffusion（一款开源文生图AI模型）的水平。目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”，已经开源了6个系列共10个模型，包含4种模型结构，模型参数最大为35亿。其中包括：以Encoder结构为主的双向语言系列模型的二郎神系列；面向医疗领域，拥有35亿参数的余元系列；与追一科技联合开发的新结构大模型周文王系列；以Decoder结构为主的单向语言模型闻仲系列；以Transformer结构为主的编解码语言模型，主要解决通用任务的大模型燃灯系列；以及主要面向各种纠错任务的比干系列。 2月20日晚，复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”，并在公开平台（https://moss.fastnlp.top/），邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示，“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会，但是从后边的公告来看，有可能是在工程优化，并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上，邱锡鹏教授公开表示，如果优化顺利，MOSS计划在2023年3月底开源。虽然，没能成功抢发“国产ChatGPT”，但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价，“邱锡鹏教授的团队比较偏重学术，这和早期的OpenAI在科研心态上是有共性的，非营利性的AI研究机构，没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学，虽然计算机技术已发展多年，但AI仍属于前沿科技，对LLM以及其他通用大模型的研究更是兴起不久，仍然需要依靠应用数据，持续迭代升级，不管MOSS是不是因为工程经验绊了跟头，要在AI、大模型这些领域实现突破，能推广到市场中，接地气的技术和产品才是王道。事实上，目前国内AI行业活跃的实验室大多已开始尝试商业化，在市场的磨砺中探索大模型未来的出路。深言科技深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）。THUNLP由清华大学人工智能研究院常务副院长孙茂松，以及刘洋、刘知远，三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一，「九歌」已经为用户创作了超过3000万首诗词。孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身，也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的，目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”，以及根据意思查询句子的“WantQuotes据意查句”。智谱AI 智谱AI的前身是清华大学知识工程研究室（KEG），KEG专注研究网络环境下的知识工程，在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年，智谱AI就启动了科技信息分析引擎ArnetMiner（以下简称AMiner）的相关研究，先后获得了国际顶级会议SIGKDD的十年最佳论文（Test-of-Time Award）、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月，由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布，其在多个公开评测榜单上超过GPT-3 v1。此外，智谱AI还打造了认知大模型平台（BigModel.ai），形成AIGC产品矩阵，提供智能API服务。聆心智能 2月17日，聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型，基于大模型可控、可配置、可信的核心技术优势，聆心智能推出“AI乌托邦”，该系统允许用户快速定制 AI 角色。聆心智能由清华大学交互式人工智能课题组（CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年，就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。西湖心辰西湖心辰背靠西湖大学深度学习实验室，创始人是西湖大学助理教授、博士生导师蓝振忠，主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家，也是轻量化大模型ALBERT的第一作者。西湖大学在人工智能领域的研发实力很强，除了蓝振忠博士的深度学习实验室，西湖大学NLP实验室，在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中，于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势，技术和数据。”西湖心辰COO俞佳对虎嗅表示，国内大模型创业公司在技术方面普遍已有多年研究经验，构筑了一定的技术壁垒，这是很难短期超越的。同时，由于已经推出了相关产品，“数据飞轮”已经转起来了，这些数据的质量相比互联网数据质量要高很多，能够对产品迭代起到很大支撑作用。对于国内大模型创业公司未来的发展趋势，俞佳认为可能性很多，“有些公司可能会走出自己的道路，也有的公司可能会像OpenAI一样与IT大厂开展深度合作，甚至像DeepMind直接并入其中。” 来源：金色财经
金色财经2023-03-03

上一页
1
•••
164
165
166
167
168
•••
203
下一页

24小时热点

最新话题更多