全球数字财富领导者
客户端
|
旧版
|
北美站
|
FX168 全球视野 中文财经
首页
资讯
速递
行情
日历
数据
社区
视频
直播
点评旗舰店
商品
财富汇
登录 / 注册
搜 索
综合
行情
速递
日历
话题
168人气号
文章
谷歌AI绘画4大牛携手创业 天使估值7个亿
go
lg
...
了3年时间从二级软件工程师做到高级研究
科
学
家
,去年12月从谷歌离职。 Chitwan有语音识别、机器翻译的经验,在谷歌工作时,主要负责领导image-to-image扩散模型的工作。 第二位William Chan,也是Imagen论文共同一作。他同样出身计算机工程,先后就读于加拿大滑铁卢大学、卡内基梅隆大学,中间在新加坡国立大学当过1年交换生。 在卡内基梅隆大学拿下博士学位后,William还在加拿大最大的社区学院之一乔治布朗学院,主攻烘焙和烹饪(?),学了3年。 Willian从2012年起加入谷歌,于2016年成为谷歌大脑的一份子,去年5月离职时,他已经是谷歌大脑多伦多的研究
科
学
家
了。 然后要介绍的是Jonathan Ho,UC伯克利博士毕业。 他不仅是Imagen论文的core contribution,还是Diffusion Model奠基之作《Denoising Diffusion Probabilistic Models》的一作。 博士毕业于UC伯克利计算机科学专业的Jonathan,之前在OpenAI当过1年的研究
科
学
家
,后来在2019年加入谷歌,共工作了2年零8个月,去年11月以研究
科
学
家
的身份从谷歌离职。 新公司的最后一位联创叫Mohammad Norouzi,也是Imagen论文的共同一作。 △ 他在多伦多大学计算机科学博士就读期间,拿到了谷歌ML博士奖学金。毕业后他加入谷歌大脑,在那儿工作了7年,在谷歌的最后title是高级研究
科
学
家
,工作重点是生成模型。 同时,Mohammad也是谷歌神经机器翻译团队的原始成员,SimCLR的联合发明人。他在GitHub主页上小小地透露了自己的最近动态: 目前,我在一家初创公司工作,公司使命是推进人工智能的发展水平,帮助人类提高创造力。我们正在招聘! 这句话以外,关于新公司的更多信息,四人在任何社交平台都没有更详细的透露。 这已经是谷歌最近漏出去的第n波人了。 就拿刚刚过去的2个月来说,先是包括顾世翔(Shane Gu,‘让我们一步一步地思考’研究者)在内的至少4名谷歌大脑成员加入OpenAI;情人节时,Hyung Won Chung和CoT最早的一作Jason Wei携手组团叛逃OpenAI。 本周三,您猜怎么着?嘿,又跑了一个: OpenAI狂喜,只有谷歌大漏勺本勺受伤的世界诞生了。 Imagen是什么? 了解完谷歌漏走的这四个人,回头来说说为他们职业生涯赢得掌声的Imagen项目。 Imagen是谷歌发布的文生图模型,发布时间在DALL-E 2新鲜出炉一个月以后。 本文开头放的熊猫震惊表情包,就是朝Imagen输入“一只非常快乐的毛茸熊猫打扮成了在厨房里做面团的厨师的高对比度画像,他身后的墙上还有一幅画了鲜花的画”后,得出的一张要素完备的AI生成画作。(不好意思,请自行断句) 在Imagen出现之前,文生图都共用一个套路,那就是CLIP负责从文本特征映射到图像特征,然后指导一个GAN或Diffusion Model生成图像。 Imagen不走寻常路,开辟了text-to-image新范式: 纯语言模型只负责编码文本特征,具体text-to-image的工作,被Imagen丢给了图像生成模型。 具体来讲,Imagen包含一个冻结的语言模型T5-XXL(谷歌自家出品),当作文本编码器。T5-XXL的C4训练集包含800GB的纯文本语料,在文本理解能力上比CLIP强不少,因为后者只用有限图文对训练。 图像生成部分则用了一系列扩散模型,先生成低分辨率图像,再逐级超采样。 依赖于新的采样技术,Imagen允许使用大的引导权重,所以不会像原有工作一样使样本质量下降。这么一来,图像具有更高的保真度,并且能更好地完成图像-文本对齐。 概念说起来简单,但Imagen的效果还是令人大为震撼的。 生成的狗子飙车技术一流: 比起爆火的DALLE-2,Imagen能更准确地理解同时出现两个颜色要求的情况: 一边绘画一边写字这种要求,Imagen也成功完成,不仅写得对,还能加光影魔术手般的烟花特效(不是)。 以及对后来研究更有帮助的是,谷歌通过Imagen的研究,优化了扩散模型。 首先,增加无分类器引导(classifier-free guidance)的权重可以改善图文对齐,同时却会损害图像保真度。 为了解决这个bug,在每一步采样时引入动态阈值(dynamic thresholding)这个新的新的扩散采样技术,来防止过饱和。 第二,使用高引导权重的同时在低分辨率图像上增加噪声,可以改善扩散模型多样性不足的问题。 第三,对扩散模型的经典结构U-Net做了改进,变成了Efficient U-Net。后者改善了内存使用效率、收敛速度和推理时间。 后来在Imagen上微调,谷歌还推出了能“指哪打哪”版本的文生图模型DreamBooth。只需上传3-5张指定物体的照片,再用文字描述想要生成的背景、动作或表情,就能让指定物体“闪现”到你想要的场景中。 比如酱婶儿的: 又或者酱婶儿的: 大概是Imagen效果太过出色,劈柴哥后来亲自宣发的谷歌AI生成视频选手大将,就叫做“Imagen Video”,能生成1280*768分辨率、每秒24帧的视频片段。 啊,等等,谷歌有Imagen Vedio,这和四人的新公司不是撞方向了吗? 仔细看了下论文,无论是Imagen还是Imagen Video,各自都有大篇幅涉及风险、社会影响力的内容。 出于安全、AI伦理和公平性等方面考虑,Imagen和Imagen Vedio都没有直接开源或开放API,甚至连demo都没有。 哪怕市面上出现开源复刻版本,也不是最正宗的味道。 此前就曝出过在谷歌每年的内部员工调查“Googlegeist”中,员工表示对谷歌执行能力不佳的质疑。也许,这四人出走,继续做Imagen,并做Imagen的视频版,说不定就是为了想把项目放到一个更开放的AI环境。 而且这种出走创业,也是热钱大钱向AIGC汹涌的结果。 所以既然AIGC的创投热潮已经在太平洋那头开启,那应该在太平洋这头也不会悄无声息。 或许你已经听说了一些同样的大厂出走创业,欢迎爆料说说~~ 来源:“量子位”(ID:QbitAI),DeFi之道 作者:衡宇 来源:金色财经
lg
...
金色财经
2023-03-05
人工智能:中国式ChatGPT的“大跃进”
go
lg
...
灵奖得主Yann LeCun以首席AI
科
学
家
的身份坐镇。 微软手下的急先锋OpenAI,也是基于强大的科研团队才奠定的领先地位。科技情报分析机构AMiner和智谱研究发布的《ChatGPT团队背景研究报告》显示,OpenAI的ChatGPT研发团队中,27人为本科学历,25人为硕士学历,28人为博士研学历(注:5人信息缺失),占比分别为33%、30%、37%。 ChatGPT团队学历分布 而另一份来自猎聘大数据的国内AI人才市场调查则显示:近一年,预训练模型、对话机器人和AIGC三个ChatGPT相关领域中,国内企业明确要求本科以上学历的职位分别占71.33%、82.30%、92.53%;要求硕、博士学历的占比分别为16.49%、9.86%、18.22%。 对比ChatGPT团队,国内AI人才的平均水平差距较大,硕博比例明显不足。而在今天这种大家齐上大模型赛道的“加速”发展态势下,要在短时间里“大干快上”,势必要先比试比试谁的团队技术实力强,谁更能在自己的麾下聚拢一批大模型人才。 抢人大作战 技术大战开打之前,各家的大模型团队先得打赢一场关键的人才争夺战。 如果你是一个清华博士,有5-10年NLP(Natural Language Processing,自然语言处理)行业经验,那么你的资料只要出现在招聘平台上,不需要任何详细履历,就可以在注册完成后的48小时内,接到多家猎头公司的询问电话,以及数十条HR、猎头、业务经历甚至BOSS本人发来的站内信息。在这些信息中,不乏阿里、美团、小红书等大厂,还有诸多创业公司,以及研究机构。猎头们提供的NLP算法研究员岗位年薪也大多会在百万元上下。 根据猎聘大数据调查,过去五年,人工智能和互联网的招聘薪资均处于上涨态势,人工智能年均招聘薪资明显高出互联网。2022年,人工智能招聘平均年薪为33.15万元,比互联网高出4.27万元,即14.78%。 五年来人工智能与互联网招聘平均年薪对比 在ChatGPT爆火后,这样的情况越来越明显。据上述调查显示,与ChatGPT相关的岗位工资均超过平均水平,AIGC为39.08万,对话机器人为34.89万,预训练模型为33.93万。“ChatGPT一火起来,AI工程师的薪资水平也越来越高,你不开高价就抢不到人。”某AI领域投资人对虎嗅说。 从技术的角度看,大模型发端于NLP领域,自然语言处理岗位在人工智能领域一直都处于人才稀缺的状态,薪酬水平处于高位。科锐国际调研咨询业务负责人&高科技领域资深专家景晓平对虎嗅表示,“人工智能行业典型岗位按产业链划分,技术层和基础层薪酬水平处于高位,高于互联网其他领域薪酬水平,应用层和互联网常规岗位薪酬一致。” 事实上,近年来国内AI人才的硕博占比也在逐年提升,很多企业对AI领域的人才要求学历至少是硕士。薪酬结构则与企业的性质密切相关,国有企业、研究所的薪酬主要是固定薪酬、项目奖金和津贴,例如,国内第一梯队的AI实验室,清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)挂在官网上的博士后招聘待遇为年薪30万,享受清华大学教职工社会保险、住房公积金等待遇。提供公寓或每年4.2万的租房补贴,同时可以解决子女入园、入学。 IT大厂和AI创业公司的薪酬结构则多为,固定薪资+浮动奖金+股权期权激励。在猎聘、脉脉、BOSS直聘三个平台搜索ChatGPT,硕博学历职位的月薪普遍高于3万,最高达9万。“在薪酬方面IT大厂并不会占多少便宜,AI大模型的研发都是高举高打,创业公司给出的薪酬可能更有竞争力。”西湖心辰COO俞佳认为,没有资金支持很难在大模型的基础训练领域推动一家初创公司,对于这个领域来说,钱的问题可能“不是最大的问题”。 猎聘、脉脉、BOSS直聘,搜索ChatGPT的前排结果 此外,在诸多岗位信息中,工作地点集中在北京、上海、杭州和深圳,但其中一些职位也并不限制办公地。景晓平表示,目前国内AI人才北京占据第一位,上海、广东省分列二三位,近些年互联网发展极为活跃的浙江省,在人工智能发展上也丝毫不落风头,成都作为科技新秀城市,有优质相关生源的地域,也储备了不少人工智能人才。但从需求总量来看,国内AI人才还有很大缺口。 OpenAI的专家团队为何强 OpenAI官网挂出的参与过ChatGPT的项目团队共87人,该团队平均年龄为32岁,其中90后是主力军。 《ChatGPT团队背景研究报告》显示,ChatGPT研发团队绝大多数成员拥有名校学历,成员最集中的前5大高校是:斯坦福大学(14人)、加州大学伯克利分校(10人)、麻省理工学院(7人)、剑桥大学(5人)、哈佛大学(4人)和佐治亚理工学院(4人)。 ChatGPT 团队成员毕业前10名高校 此外,很多成员都有名企工作经历,包括:Facebook、Stripe、Uber、Quora、NVIDIA、Microsoft、Dropbox、DeepMind、Apple、Intel等公司,其中有10人来自谷歌,OpenAI的首席
科
学
家
Ilya Sutskever亦是从谷歌转会而来,Ilya Sutskever是AlphaGo的作者之一,师从人工智能学界泰斗Geoffrey Hinton。 ChatGPT团队成员流动示意图 1985年出生在苏联的Ilya Sutskever,如今已经是英国皇家学会院士。据说Ilya Sutskever退出谷歌,与Sam Altman、Elon Musk等人一起创立OpenAI时,年薪曾大幅缩水。但他参与创立OpenAI的初衷是“确保强大的人工智能造福全人类”的大义和情怀。 OpenAI初创之时是一家非营利研究机构,从这点上来看,无论是否带着情怀加入这家公司的研究人员,还是给“非营利”事业烧钱的投资人,多少都有一点对技术的“信仰”,这种驱动力,可能是钱买不来的。 不过OpenAI给这些科技精英们提供的薪酬待遇并不低。据纽约时报报道,2016年,OpenAI向Ilya Sutskever支付了超过190万美元。另一位行业大佬级的研究员Ian Goodfellow(对抗式生成网络的提出者)2016年从OpenAI得到的报酬则超过80万美元,而他在这一年中只工作了9个月,不过Ian Goodfellow在OpenAI没有待很长时间就离开了。 一直以来,硅谷的AI研究员都是高收入人群。在谷歌发布的官方招聘信息中,在美国工作的全职“高级软件工程师,大型语言模型,应用机器学习”(Staff Software Engineer, Large Language Models, Applied ML)岗位基本工资范围为年薪17.4万-27.6万美元(约120万-190万元人民币)+奖金+股权+福利。 这份工作的主要职责是:为谷歌大型语言模型的关键冲刺做出贡献,将尖端的 LLM(Large Language Mode,大型语言模型) 引入下一代谷歌产品和应用程序,以及外部用户。在建模技术方面进行协作,以支持全方位的 LLM 调整,从提示工程、指令调整、基于人类反馈的强化学习 (RLHF)、参数高效调整到微调。 微软研究院的研究员岗位“博士后研究员-机器学习和强化学习”(Post Doc Researcher-Machine Learning and Reinforcement Learning)年薪则在9.4万-18.2万美元(约64万-125万元人民币)。工作职责是“与其他研究人员合作制定自己的研究议程,推动有效的基础、基础和应用研究计划。” ChatGPT团队中另一个有意思的点是团队中有9位华人成员,其中5人本科毕业于国内高校,美国学界对人才的虹吸效应也正是硅谷巨头以及“OpenAI”们强大人才竞争力的基础。 “中国的AI人才是从14亿人里挑,美国是从80亿人里挑,全世界优秀的人很多都到美国去了。”图灵联合创始人、原智源研究院副院长刘江表示,要承认差距确实存在,不过他也表示,“在这方面,我们也不用气馁。中国也有自己的优势,比如市场化、产品化的能力,近年来我们不比美国同行差了。” 国内大厂的实力如何? 除了人才问题,国内大模型研究落后美国另一个原因是在生成式AI和大模型研究方面起步略晚,而起步晚的原因,则还是与“钱”脱不开关系。 从技术角度看,生成式技术在Stable Diffusion和ChatGPT等网红产品出现之前,技术实现的效果并不理想,且需要消耗大量算力进行研究。所以大厂、资本很难斥以重资,投入到这种看上去不太赚钱,还要烧钱的业务。 中国的AI产业更注重应用场景,而非基础理论和技术创新。各家大厂在NLP的理解方面有很多成熟业务,比如听写、翻译,在视觉识别和AI大数据处理方面也有很多应用场景。所以这部分业务自然是AI研发的主力,一方面他们赚钱,另一方面在这些领域的技术积累,使研究人员能够“在规定跑道上赛跑”,而不是在未知领域探路。 这一点不只是限制了国内公司,更是很多全球巨头的创新桎梏。正如诺基亚做不出iPhone一样,巨头都不喜欢“破坏式创新”,谷歌发布的Bard只因一个小失误就牵动了母公司Alphabet的万亿市值,这也正是谷歌一直声称不愿发布LaMDA大模型的理由,害怕会因AI的失误影响自己的商誉。而OpenAI显然不太在乎ChatGPT在公测中会出什么问题,毕竟他发布ChatGPT时只是一家估值200亿美元的独角兽。 不过,在这波大模型的追赶赛中,国内大厂的团队也可以说是实力颇强。 百度在大模型方面走的最早,百度自2019年开始研发预训练模型,先后发布了知识增强文心(ERNIE)系列模型。文心大模型研发的带头人,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰博士,是自然语言处理领域权威国际学术组织ACL(Association for Computational Linguistics)的首位华人主席、ACL亚太分会创始主席、ACL Fellow,还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前,王海峰在国内外期刊会议上发表的学术论文有200余篇,获得已授权专利170余项。 虽然没有像百度一样公布类ChatGPT产品的发布时间表,但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型,均已研发了很长时间。 据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计(2023年的统计尚未发布)显示,2012-2021年中,在ML(Machine Learning,机器学习)和NLP顶级期刊和会议发表论文数量最多的机构是谷歌,微软紧随其后。发文数量最多的中国机构是清华大学,第二是位列第16的腾讯,腾讯也是前32名中唯一的中国互联网厂商。不过,在2021年单年的统计中,阿里和华为也登上此榜,腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计 目前,腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过,腾讯旗下AI研发团队“腾讯AI Lab”的专家构成,也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI
科
学
家
和超过300名应用工程师组成,带头人张正友博士是腾讯首席
科
学
家
、腾讯 AI Lab 及 Robotics X 实验室主任,腾讯首位17级研究员、杰出
科
学
家
。他在美国斯坦福大学(Stanford University)发布的2022 年度“全球前2%顶尖
科
学
家
榜单”(World's Top 2% Scientists 2022)中,排名全球“终身科学影响力排行榜”第1002名,中国排名 Top 10。 阿里在LLM领域的研究主要由阿里巴巴达摩院负责,阿里巴巴集团资深副总裁,阿里云智能CTO、达摩院副院长周靖人主导,他是IEEE Fellow,多次担任VLDB,SIGMOD,ICDE等国际顶级会议程序委员会主编、主席,在顶尖国际期刊和会议上发表论文超百篇,并拥有几十项技术专利。 华为也未对“类ChatGPT产品”公开表态,但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席
科
学
家
田奇博士领导,他是计算机视觉、多媒体信息检索专家,IEEE Fellow,国际欧亚科学院院士,教育部长江讲座教授,国家自然科学基金海外杰青,中国科学院海外评审专家,在国内多所高校任讲席教授及客座教授。 在自己组建团队投入研发的同时,百度、阿里、腾讯、华为等IT大厂,也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构 数据闭环是大模型研发的关键,用户越多,积累时间越长,就意味着可以用于迭代升级的数据和反馈也就越多。 在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月,但用户量和访问量增长速度飞快,这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了,就会面临卡脖子的风险。”很多AI专家对此都有担心,由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持,以及地方政策支持,人才聚拢能力非常强劲。 北京智源人工智能研究院(以下简称“智源研究院”)是科技部和北京市政府共同支持,联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江,是美国国家工程院外籍院士,ACM Fellow和IEEE Fellow,同时也是微软亚洲研究院的创始人之一。 2021年,智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本,这项工作由100余位
科
学
家
共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)的孙茂松教授,清华大学知识工程研究室(KEG)的唐杰教授,清华大学交互式人工智能课题组(CoAI)的黄民烈教授。 目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中,大模型给搜索广告带来了2.7%的收入增长。 在南方的科技重镇也有一家相似的研究机构,粤港澳大湾区数字经济研究院(以下简称IDEA研究院),IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处,IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士,他参与创建了微软亚洲研究院,担任院长兼首席
科
学
家
,并曾担任微软公司全球执行副总裁,主管微软全球研究院和人工智能产品线,并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院,他的团队推出的开源模型“太乙”,据称在中文文生图领域可以达到接近Stable Diffusion(一款开源文生图AI模型)的水平。 目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”,已经开源了6个系列共10个模型,包含4种模型结构,模型参数最大为35亿。其中包括:以Encoder结构为主的双向语言系列模型的二郎神系列;面向医疗领域,拥有35亿参数的余元系列;与追一科技联合开发的新结构大模型周文王系列;以Decoder结构为主的单向语言模型闻仲系列;以Transformer结构为主的编解码语言模型,主要解决通用任务的大模型燃灯系列;以及主要面向各种纠错任务的比干系列。 2月20日晚,复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”,并在公开平台(https://moss.fastnlp.top/),邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。 目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示,“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会,但是从后边的公告来看,有可能是在工程优化,并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上,邱锡鹏教授公开表示,如果优化顺利,MOSS计划在2023年3月底开源。 虽然,没能成功抢发“国产ChatGPT”,但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价,“邱锡鹏教授的团队比较偏重学术,这和早期的OpenAI在科研心态上是有共性的,非营利性的AI研究机构,没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学,虽然计算机技术已发展多年,但AI仍属于前沿科技,对LLM以及其他通用大模型的研究更是兴起不久,仍然需要依靠应用数据,持续迭代升级,不管MOSS是不是因为工程经验绊了跟头,要在AI、大模型这些领域实现突破,能推广到市场中,接地气的技术和产品才是王道。事实上,目前国内AI行业活跃的实验室大多已开始尝试商业化,在市场的磨砺中探索大模型未来的出路。 深言科技 深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)。THUNLP由清华大学人工智能研究院常务副院长孙茂松,以及刘洋、刘知远,三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一,「九歌」已经为用户创作了超过3000万首诗词。 孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身,也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的,目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”,以及根据意思查询句子的“WantQuotes据意查句”。 智谱AI 智谱AI的前身是清华大学知识工程研究室(KEG),KEG专注研究网络环境下的知识工程,在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年,智谱AI就启动了科技信息分析引擎ArnetMiner(以下简称AMiner)的相关研究,先后获得了国际顶级会议SIGKDD的十年最佳论文(Test-of-Time Award)、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月,由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布,其在多个公开评测榜单上超过GPT-3 v1。此外,智谱AI还打造了认知大模型平台(BigModel.ai),形成AIGC产品矩阵,提供智能API服务。 聆心智能 2月17日,聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型,基于大模型可控、可配置、可信的核心技术优势,聆心智能推出“AI乌托邦”,该系统允许用户快速定制 AI 角色。 聆心智能由清华大学交互式人工智能课题组(CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年,就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。 西湖心辰 西湖心辰背靠西湖大学深度学习实验室,创始人是西湖大学助理教授、博士生导师蓝振忠,主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究
科
学
家
,也是轻量化大模型ALBERT的第一作者。 西湖大学在人工智能领域的研发实力很强,除了蓝振忠博士的深度学习实验室,西湖大学NLP实验室,在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中,于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势,技术和数据。”西湖心辰COO俞佳对虎嗅表示,国内大模型创业公司在技术方面普遍已有多年研究经验,构筑了一定的技术壁垒,这是很难短期超越的。同时,由于已经推出了相关产品,“数据飞轮”已经转起来了,这些数据的质量相比互联网数据质量要高很多,能够对产品迭代起到很大支撑作用。 对于国内大模型创业公司未来的发展趋势,俞佳认为可能性很多,“有些公司可能会走出自己的道路,也有的公司可能会像OpenAI一样与IT大厂开展深度合作,甚至像DeepMind直接并入其中。” 出品|虎嗅科技组 作者|齐健 编辑|陈伊凡 来源:DeFi之道 来源:金色财经
lg
...
金色财经
2023-03-05
英前首相鲍里斯被控误导议会,或被取消议员资格!国王查尔斯将访问法国德国...
go
lg
...
。去年,欧盟因北爱尔兰贸易争端阻止英国
科
学
家
加入该框架。 此前(3月2日),英国皇家化学学会(RSC)、罗素集团(Russell Group)等18家研究机构联合要求英国和欧盟结束有关“地平线”的僵局。英国工业联合会创新主管Naomi Weir认为加入该框架是“双赢”。 但英国政府高级官员们表示,苏纳克对“地平线“的价值以及英国参与的成本“持怀疑态度”,并在考虑英国“B计划”、全球研究计划在内的其它选项。 尽管英国原本打算给为期7年的“地平线”贡献150亿英镑的经费,但3年已经过去,双方现在必须就英国需要提供多少资金达成一致。 伦敦城市机场率先取消携带液体禁令 据英媒报道,伦敦城市机场(London City airport)有意在3月底率先取消携带液体禁令,成为英国境内首个解除相关限制的机场。 届时,伦敦城市机场将全面更新现有安检设备,采用新一代电脑断层扫描系统,旅客可随身携带多达2升的液体,也无须在安检时将笔记电脑和手机从手提行李取出。 英媒认为,伦敦城市机场决定在3月底实施这一新规,是考虑到4月初是英国的复活节假期,新措施有助提升旅客便利和安检效率,并且减少塑胶袋使用量。 目前,英国各机场规定旅客必须将随身携带的乳液、手部消毒液等物品放置进塑胶袋中,且总容量不超过100毫升。 英国公立医院要求医学生填补NHS罢工时人员空缺 从3月13日起,NHS初级医生将罢工72小时,试图解决薪酬和人员配置的纠纷,英国公立医院将面临前所未有的服务中断。 据英媒报道,尚未获得行医资格的医学院学生被要求在医院提供临床支持,以填补人员缺口。 该消息一经曝光立即引起了医生工会的谴责。他们对安全问题表示担忧,并表示医学生应该拒绝承担超出他们能力范围的任务。还有人担心,让医学生出现医疗事故时,可能会面临法律上的困难。 苏格兰和英格兰东北部发布冰雪黄色预警 当地时间3月3日,英国气象局(The Met Office)发布冰雪黄色预警,预计苏格兰部分地区和英格兰东北部地区下周一(3月6日)、周二(3月7日)或出现降雪和结冰。 苏格兰北部、东部地区以及英格兰东北部远至赫尔等地均会受影响,道路交通可能会延误,铁路服务和航班也会延误或取消。 此外,从周一(3月6日)凌晨1点到周三(3月8日)午夜,英格兰所有地区都将经历寒冷天气。 UKHSA极端事件和健康保护负责人Agostinho Sousa博士说:“在这样的时期,要关注家人、朋友和亲戚的健康状况,他们可能更容易受到寒冷天气的影响。如果你患有基础病,或者年龄超过65岁,尽量把家里温度提高到至少18℃。” 英国政府投入2500万英镑,推广纯电动绿色巴士 当地时间3月2日,英国政府在官网上宣布投入至少2500万英镑,在全英范围内推广本土制造的纯电动绿色巴士。 作为首批推出的巴士,117辆净零排放的绿色巴士将在约克郡(Yorkshire)、诺福克郡(Norfolk)、朴茨茅斯(Portsmouth)和汉普郡(Hampshire)试运行,为当地的乘客提供更环保的出行选择。 据了解,英国政府计划一共投资3亿英镑推广绿色巴士,它们将由北爱尔兰巴士供应商Wrightbus制造,由公交公司FirstBus运营,创造数百个高技能工作岗位。
lg
...
英伦投资客
2023-03-05
「比特币新文化」继续 Secrets 或成比特币上的「OpenSea」
go
lg
...
a。Muneeb Ali 是一位计算机
科
学
家
和企业家,他拥有普林斯顿大学的博士学位,曾在斯坦福大学攻读计算机科学硕士学位。在创立 Stacks 之前,他曾在 Google 等知名科技公司工作,并在多个领域拥有丰富的技术和商业经验。Ryan Shea 也是一位计算机
科
学
家
和企业家,他曾在麻省理工学院攻读计算机科学硕士学位,并在多个知名科技公司和创业公司担任要职。在创立 Stacks 之前,他曾与 Muneeb Ali 共同创立了 Blockstack PBC,并在该公司担任首席执行官。 Stacks 未来前景如何,还有哪些比特币项目值得关注 对于 Stacks 的未来前景,加密大 V 又如何看呢?除此之外,比特币新文化运动概念项目还有哪些? 加密货币分析机构 Messari 在一篇 「Stacks Analysis: The potential of a Bitcoin Smart Contract Layer」的研报中认为:Stacks 有望成为比特币生态系统中的一个重要组成部分,提供更加安全、高效和可持续的智能合约服务,同时还可以与其他加密货币项目和传统金融市场进行协同创新。考虑到比特币庞大的用户群体,由于 Stacks 与比特币生态系统的紧密结合、更加可持续和去中心化的经济模型、更好的隐私保护和更高的性能等,使其相较其他公链具备更大的发展空间。 Matrixport 在 2 月 22 日的一份研究报告中表示:由于 Ordinals 是直接铸造在区块链上的,由于在分布式账本上的持久性和不可更改性,它们被认为是数字产品,而传统的 NFT 可以由智能合约开发人员更改。比特币 NFT 的想法并不是一个新概念,它是由 Counterparty 和 Stacks 等协议发展起来的。最近围绕 Ordinals NFT 的炒作导致本周早些时候 STX 上涨了 50%。NFT 和比特币网络的结合带来了更多的安全性、透明度和可追溯性。它开辟了更多的用例,并重新点燃了人们对这些代币的兴趣。上周,比特币区块链上新发行的 Ordinal NFT 数量超过了 10 万个。此外,Stack 利用比特币区块链的安全性进行交易结算的能力,使该网络很好地发展了比特币 DeFi。 除了 Stacks,比特币侧链中还有一些较为成熟的项目也值得关注,其主要有: Lightning Network:闪电网络是一个基于比特币区块链的第二层网络,旨在实现更快、更便宜的交易。通过闪电网络,用户可以进行微小的交易,而不必等待比特币主链上的确认,从而实现了快速的支付体验。 Liquid Network:Liquid Network 是一个由比特币交易所和金融机构支持的侧链,旨在提供更快、更便宜、更安全的交易服务。它支持加密货币和资产的交易,并提供了机密交易和批量交易等功能。 RSK:RSK 是一个基于比特币区块链的智能合约平台,旨在提供比以太坊更快、更安全、更低成本的智能合约。它采用比特币的挖矿算法,实现了与比特币主链的交互,并提供了具有扩展性的侧链技术。 Rootstock Bridge:Rootstock Bridge 是一种将以太坊智能合约转移到比特币侧链 RSK 上的桥梁。它使得以太坊的开发者能够利用 RSK 的技术和生态系统,同时受益于比特币的安全性和可靠性。 来源:DeFi之道 撰文:Asher Zhang 来源:金色财经
lg
...
金色财经
2023-03-04
中国式ChatGPT“大跃进”
go
lg
...
灵奖得主Yann LeCun以首席AI
科
学
家
的身份坐镇。 微软手下的急先锋OpenAI,也是基于强大的科研团队才奠定的领先地位。科技情报分析机构AMiner和智谱研究发布的《ChatGPT团队背景研究报告》显示,OpenAI的ChatGPT研发团队中,27人为本科学历,25人为硕士学历,28人为博士研学历(注:5人信息缺失),占比分别为33%、30%、37%。 ChatGPT团队学历分布 而另一份来自猎聘大数据的国内AI人才市场调查则显示:近一年,预训练模型、对话机器人和AIGC三个ChatGPT相关领域中,国内企业明确要求本科以上学历的职位分别占71.33%、82.30%、92.53%;要求硕、博士学历的占比分别为16.49%、9.86%、18.22%。 对比ChatGPT团队,国内AI人才的平均水平差距较大,硕博比例明显不足。而在今天这种大家齐上大模型赛道的“加速”发展态势下,要在短时间里“大干快上”,势必要先比试比试谁的团队技术实力强,谁更能在自己的麾下聚拢一批大模型人才。 抢人大作战 技术大战开打之前,各家的大模型团队先得打赢一场关键的人才争夺战。 如果你是一个清华博士,有5-10年NLP(Natural Language Processing,自然语言处理)行业经验,那么你的资料只要出现在招聘平台上,不需要任何详细履历,就可以在注册完成后的48小时内,接到多家猎头公司的询问电话,以及数十条HR、猎头、业务经历甚至BOSS本人发来的站内信息。在这些信息中,不乏阿里、美团、小红书等大厂,还有诸多创业公司,以及研究机构。猎头们提供的NLP算法研究员岗位年薪也大多会在百万元上下。 根据猎聘大数据调查,过去五年,人工智能和互联网的招聘薪资均处于上涨态势,人工智能年均招聘薪资明显高出互联网。2022年,人工智能招聘平均年薪为33.15万元,比互联网高出4.27万元,即14.78%。 五年来人工智能与互联网招聘平均年薪对比 在ChatGPT爆火后,这样的情况越来越明显。据上述调查显示,与ChatGPT相关的岗位工资均超过平均水平,AIGC为39.08万,对话机器人为34.89万,预训练模型为33.93万。“ChatGPT一火起来,AI工程师的薪资水平也越来越高,你不开高价就抢不到人。”某AI领域投资人对虎嗅说。 从技术的角度看,大模型发端于NLP领域,自然语言处理岗位在人工智能领域一直都处于人才稀缺的状态,薪酬水平处于高位。科锐国际调研咨询业务负责人&高科技领域资深专家景晓平对虎嗅表示,“人工智能行业典型岗位按产业链划分,技术层和基础层薪酬水平处于高位,高于互联网其他领域薪酬水平,应用层和互联网常规岗位薪酬一致。” 事实上,近年来国内AI人才的硕博占比也在逐年提升,很多企业对AI领域的人才要求学历至少是硕士。薪酬结构则与企业的性质密切相关,国有企业、研究所的薪酬主要是固定薪酬、项目奖金和津贴,例如,国内第一梯队的AI实验室,清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)挂在官网上的博士后招聘待遇为年薪30万,享受清华大学教职工社会保险、住房公积金等待遇。提供公寓或每年4.2万的租房补贴,同时可以解决子女入园、入学。 IT大厂和AI创业公司的薪酬结构则多为,固定薪资+浮动奖金+股权期权激励。在猎聘、脉脉、BOSS直聘三个平台搜索ChatGPT,硕博学历职位的月薪普遍高于3万,最高达9万。“在薪酬方面IT大厂并不会占多少便宜,AI大模型的研发都是高举高打,创业公司给出的薪酬可能更有竞争力。”西湖心辰COO俞佳认为,没有资金支持很难在大模型的基础训练领域推动一家初创公司,对于这个领域来说,钱的问题可能“不是最大的问题”。 猎聘、脉脉、BOSS直聘,搜索ChatGPT的前排结果 此外,在诸多岗位信息中,工作地点集中在北京、上海、杭州和深圳,但其中一些职位也并不限制办公地。景晓平表示,目前国内AI人才北京占据第一位,上海、广东省分列二三位,近些年互联网发展极为活跃的浙江省,在人工智能发展上也丝毫不落风头,成都作为科技新秀城市,有优质相关生源的地域,也储备了不少人工智能人才。但从需求总量来看,国内AI人才还有很大缺口。 OpenAI的专家团队为何强 OpenAI官网挂出的参与过ChatGPT的项目团队共87人,该团队平均年龄为32岁,其中90后是主力军。 《ChatGPT团队背景研究报告》显示,ChatGPT研发团队绝大多数成员拥有名校学历,成员最集中的前5大高校是:斯坦福大学(14人)、加州大学伯克利分校(10人)、麻省理工学院(7人)、剑桥大学(5人)、哈佛大学(4人)和佐治亚理工学院(4人)。 ChatGPT 团队成员毕业前10名高校 此外,很多成员都有名企工作经历,包括:Facebook、Stripe、Uber、Quora、NVIDIA、Microsoft、Dropbox、DeepMind、Apple、Intel等公司,其中有10人来自谷歌,OpenAI的首席
科
学
家
Ilya Sutskever亦是从谷歌转会而来,Ilya Sutskever是AlphaGo的作者之一,师从人工智能学界泰斗Geoffrey Hinton。 ChatGPT团队成员流动示意图 1985年出生在苏联的Ilya Sutskever,如今已经是英国皇家学会院士。据说Ilya Sutskever退出谷歌,与Sam Altman、Elon Musk等人一起创立OpenAI时,年薪曾大幅缩水。但他参与创立OpenAI的初衷是“确保强大的人工智能造福全人类”的大义和情怀。 OpenAI初创之时是一家非营利研究机构,从这点上来看,无论是否带着情怀加入这家公司的研究人员,还是给“非营利”事业烧钱的投资人,多少都有一点对技术的“信仰”,这种驱动力,可能是钱买不来的。 不过OpenAI给这些科技精英们提供的薪酬待遇并不低。据纽约时报报道,2016年,OpenAI向Ilya Sutskever支付了超过190万美元。另一位行业大佬级的研究员Ian Goodfellow(对抗式生成网络的提出者)2016年从OpenAI得到的报酬则超过80万美元,而他在这一年中只工作了9个月,不过Ian Goodfellow在OpenAI没有待很长时间就离开了。 一直以来,硅谷的AI研究员都是高收入人群。在谷歌发布的官方招聘信息中,在美国工作的全职“高级软件工程师,大型语言模型,应用机器学习”(Staff Software Engineer, Large Language Models, Applied ML)岗位基本工资范围为年薪17.4万-27.6万美元(约120万-190万元人民币)+奖金+股权+福利。 这份工作的主要职责是:为谷歌大型语言模型的关键冲刺做出贡献,将尖端的 LLM(Large Language Mode,大型语言模型) 引入下一代谷歌产品和应用程序,以及外部用户。在建模技术方面进行协作,以支持全方位的 LLM 调整,从提示工程、指令调整、基于人类反馈的强化学习 (RLHF)、参数高效调整到微调。 微软研究院的研究员岗位“博士后研究员-机器学习和强化学习”(Post Doc Researcher-Machine Learning and Reinforcement Learning)年薪则在9.4万-18.2万美元(约64万-125万元人民币)。工作职责是“与其他研究人员合作制定自己的研究议程,推动有效的基础、基础和应用研究计划。” ChatGPT团队中另一个有意思的点是团队中有9位华人成员,其中5人本科毕业于国内高校,美国学界对人才的虹吸效应也正是硅谷巨头以及“OpenAI”们强大人才竞争力的基础。 “中国的AI人才是从14亿人里挑,美国是从80亿人里挑,全世界优秀的人很多都到美国去了。”图灵联合创始人、原智源研究院副院长刘江表示,要承认差距确实存在,不过他也表示,“在这方面,我们也不用气馁。中国也有自己的优势,比如市场化、产品化的能力,近年来我们不比美国同行差了。” 国内大厂的实力如何? 除了人才问题,国内大模型研究落后美国另一个原因是在生成式AI和大模型研究方面起步略晚,而起步晚的原因,则还是与“钱”脱不开关系。 从技术角度看,生成式技术在Stable Diffusion和ChatGPT等网红产品出现之前,技术实现的效果并不理想,且需要消耗大量算力进行研究。所以大厂、资本很难斥以重资,投入到这种看上去不太赚钱,还要烧钱的业务。 中国的AI产业更注重应用场景,而非基础理论和技术创新。各家大厂在NLP的理解方面有很多成熟业务,比如听写、翻译,在视觉识别和AI大数据处理方面也有很多应用场景。所以这部分业务自然是AI研发的主力,一方面他们赚钱,另一方面在这些领域的技术积累,使研究人员能够“在规定跑道上赛跑”,而不是在未知领域探路。 这一点不只是限制了国内公司,更是很多全球巨头的创新桎梏。正如诺基亚做不出iPhone一样,巨头都不喜欢“破坏式创新”,谷歌发布的Bard只因一个小失误就牵动了母公司Alphabet的万亿市值,这也正是谷歌一直声称不愿发布LaMDA大模型的理由,害怕会因AI的失误影响自己的商誉。而OpenAI显然不太在乎ChatGPT在公测中会出什么问题,毕竟他发布ChatGPT时只是一家估值200亿美元的独角兽。 不过,在这波大模型的追赶赛中,国内大厂的团队也可以说是实力颇强。 百度在大模型方面走的最早,百度自2019年开始研发预训练模型,先后发布了知识增强文心(ERNIE)系列模型。文心大模型研发的带头人,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰博士,是自然语言处理领域权威国际学术组织ACL(Association for Computational Linguistics)的首位华人主席、ACL亚太分会创始主席、ACL Fellow,还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前,王海峰在国内外期刊会议上发表的学术论文有200余篇,获得已授权专利170余项。 虽然没有像百度一样公布类ChatGPT产品的发布时间表,但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型,均已研发了很长时间。 据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计(2023年的统计尚未发布)显示,2012-2021年中,在ML(Machine Learning,机器学习)和NLP顶级期刊和会议发表论文数量最多的机构是谷歌,微软紧随其后。发文数量最多的中国机构是清华大学,第二是位列第16的腾讯,腾讯也是前32名中唯一的中国互联网厂商。不过,在2021年单年的统计中,阿里和华为也登上此榜,腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计 目前,腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过,腾讯旗下AI研发团队“腾讯AI Lab”的专家构成,也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI
科
学
家
和超过300名应用工程师组成,带头人张正友博士是腾讯首席
科
学
家
、腾讯 AI Lab 及 Robotics X 实验室主任,腾讯首位17级研究员、杰出
科
学
家
。他在美国斯坦福大学(Stanford University)发布的2022 年度“全球前2%顶尖
科
学
家
榜单”(World's Top 2% Scientists 2022)中,排名全球“终身科学影响力排行榜”第1002名,中国排名 Top 10。 阿里在LLM领域的研究主要由阿里巴巴达摩院负责,阿里巴巴集团资深副总裁,阿里云智能CTO、达摩院副院长周靖人主导,他是IEEE Fellow,多次担任VLDB,SIGMOD,ICDE等国际顶级会议程序委员会主编、主席,在顶尖国际期刊和会议上发表论文超百篇,并拥有几十项技术专利。 华为也未对“类ChatGPT产品”公开表态,但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席
科
学
家
田奇博士领导,他是计算机视觉、多媒体信息检索专家,IEEE Fellow,国际欧亚科学院院士,教育部长江讲座教授,国家自然科学基金海外杰青,中国科学院海外评审专家,在国内多所高校任讲席教授及客座教授。 在自己组建团队投入研发的同时,百度、阿里、腾讯、华为等IT大厂,也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构 数据闭环是大模型研发的关键,用户越多,积累时间越长,就意味着可以用于迭代升级的数据和反馈也就越多。 在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月,但用户量和访问量增长速度飞快,这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了,就会面临卡脖子的风险。”很多AI专家对此都有担心,由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持,以及地方政策支持,人才聚拢能力非常强劲。 北京智源人工智能研究院(以下简称“智源研究院”)是科技部和北京市政府共同支持,联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江,是美国国家工程院外籍院士,ACM Fellow和IEEE Fellow,同时也是微软亚洲研究院的创始人之一。 2021年,智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本,这项工作由100余位
科
学
家
共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)的孙茂松教授,清华大学知识工程研究室(KEG)的唐杰教授,清华大学交互式人工智能课题组(CoAI)的黄民烈教授。 目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中,大模型给搜索广告带来了2.7%的收入增长。 在南方的科技重镇也有一家相似的研究机构,粤港澳大湾区数字经济研究院(以下简称IDEA研究院),IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处,IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士,他参与创建了微软亚洲研究院,担任院长兼首席
科
学
家
,并曾担任微软公司全球执行副总裁,主管微软全球研究院和人工智能产品线,并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院,他的团队推出的开源模型“太乙”,据称在中文文生图领域可以达到接近Stable Diffusion(一款开源文生图AI模型)的水平。 目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”,已经开源了6个系列共10个模型,包含4种模型结构,模型参数最大为35亿。其中包括:以Encoder结构为主的双向语言系列模型的二郎神系列;面向医疗领域,拥有35亿参数的余元系列;与追一科技联合开发的新结构大模型周文王系列;以Decoder结构为主的单向语言模型闻仲系列;以Transformer结构为主的编解码语言模型,主要解决通用任务的大模型燃灯系列;以及主要面向各种纠错任务的比干系列。 2月20日晚,复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”,并在公开平台(https://moss.fastnlp.top/),邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。 目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示,“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会,但是从后边的公告来看,有可能是在工程优化,并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上,邱锡鹏教授公开表示,如果优化顺利,MOSS计划在2023年3月底开源。 虽然,没能成功抢发“国产ChatGPT”,但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价,“邱锡鹏教授的团队比较偏重学术,这和早期的OpenAI在科研心态上是有共性的,非营利性的AI研究机构,没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学,虽然计算机技术已发展多年,但AI仍属于前沿科技,对LLM以及其他通用大模型的研究更是兴起不久,仍然需要依靠应用数据,持续迭代升级,不管MOSS是不是因为工程经验绊了跟头,要在AI、大模型这些领域实现突破,能推广到市场中,接地气的技术和产品才是王道。事实上,目前国内AI行业活跃的实验室大多已开始尝试商业化,在市场的磨砺中探索大模型未来的出路。 深言科技 深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)。THUNLP由清华大学人工智能研究院常务副院长孙茂松,以及刘洋、刘知远,三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一,「九歌」已经为用户创作了超过3000万首诗词。 孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身,也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的,目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”,以及根据意思查询句子的“WantQuotes据意查句”。 智谱AI 智谱AI的前身是清华大学知识工程研究室(KEG),KEG专注研究网络环境下的知识工程,在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年,智谱AI就启动了科技信息分析引擎ArnetMiner(以下简称AMiner)的相关研究,先后获得了国际顶级会议SIGKDD的十年最佳论文(Test-of-Time Award)、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月,由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布,其在多个公开评测榜单上超过GPT-3 v1。此外,智谱AI还打造了认知大模型平台(BigModel.ai),形成AIGC产品矩阵,提供智能API服务。 聆心智能 2月17日,聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型,基于大模型可控、可配置、可信的核心技术优势,聆心智能推出“AI乌托邦”,该系统允许用户快速定制 AI 角色。 聆心智能由清华大学交互式人工智能课题组(CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年,就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。 西湖心辰 西湖心辰背靠西湖大学深度学习实验室,创始人是西湖大学助理教授、博士生导师蓝振忠,主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究
科
学
家
,也是轻量化大模型ALBERT的第一作者。 西湖大学在人工智能领域的研发实力很强,除了蓝振忠博士的深度学习实验室,西湖大学NLP实验室,在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中,于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势,技术和数据。”西湖心辰COO俞佳对虎嗅表示,国内大模型创业公司在技术方面普遍已有多年研究经验,构筑了一定的技术壁垒,这是很难短期超越的。同时,由于已经推出了相关产品,“数据飞轮”已经转起来了,这些数据的质量相比互联网数据质量要高很多,能够对产品迭代起到很大支撑作用。 对于国内大模型创业公司未来的发展趋势,俞佳认为可能性很多,“有些公司可能会走出自己的道路,也有的公司可能会像OpenAI一样与IT大厂开展深度合作,甚至像DeepMind直接并入其中。” 来源:金色财经
lg
...
金色财经
2023-03-03
中国突飞猛进!澳洲智库:中国在多数新兴技术竞争中“惊人领先” 美国已大幅失利
go
lg
...
,超过1400位中国出生、在美国受训的
科
学
家
返回中国,放弃与美国的学术或公司的关系,部分原因是中国在尖端研究领域日益强劲的力量。
lg
...
市场焦点
2023-03-03
发射!SpaceX将四名宇航员送至国际空间站,包括首位阿拉伯世界宇航员
go
lg
...
y”Hoburg是麻省理工学院的前研究
科
学
家
,也是太空新手。Andrei Fedyaev是一名太空新人,已从俄罗斯空军退休。 “欢迎来到轨道,”SpaceX发射控制中心用无线电说,并指出升空是在太空舱首次轨道试飞的四年后。“如果你喜欢这次旅行,请别忘了给我们五星好评。” 由于发动机点火系统的过滤器堵塞,周一的第一次发射尝试在最后一刻被取消。Bowen说:“可能花了两次,但这趟旅行是值得的。” 美国宇航局太空行动任务负责人Kathy Lueders说,周四的发射增强了已经显示金星和木星合相的夜空。这两颗行星一周以来一直并排出现,似乎越来越近。她告诉记者:“我们今晚为夜空增添了一颗明亮的新星。” 国际空间站的新成员将取代自去年10月以来一直在那里的美国、俄罗斯、日本宇航员。空间站的其他居民是两名俄罗斯人和一名美国人,他们原本6个月的停留时间延长了一倍,直到9月份联盟号太空舱发生泄漏。替换的联盟号太空舱于上周末抵达。 Al-Neyadi是一名通信工程师,他在进入轨道后用阿拉伯语和英语向所有人表示感谢。“这次发射是不可思议的。太棒了。” 他是首位阿联酋宇航员Hazzaa al-Mansoori的替补,Mansoori于2019年乘坐俄罗斯火箭前往空间站进行为期一周的访问。阿联酋为Neyadi在SpaceX航班上的座位支付了费用。 阿联酋负责公共教育和先进技术的部长Sarah al-Amiri说,这次漫长的任务“为我们国家提供了一个科学和科学发现的新场所”。“ 阿联酋已经有了一艘绕火星飞行的宇宙飞船,一辆迷你月球车正搭乘日本着陆器前往月球。两名阿联酋新宇航员正在休斯顿与美国宇航局最新挑选的宇航员一起训练。 艇长Bowen说,尽管国家之间存在分歧,但他们四个团队相处得很好。尽管乌克兰战争局势紧张,美国和俄罗斯仍继续在空间站上合作,并交换空间站的座位。
lg
...
Sue
2023-03-03
打破美国芯片管制?阿里巴巴芯片部门及支付宝将发布安全支付计算芯片
go
lg
...
。在周四的活动中,中国工程院著名计算机
科
学
家
倪光南称中国是RISC-V的“骨干”。据媒体报道,他说:“中国的芯片行业和整个芯片生态系统将越来越关注RISC-V架构。”
lg
...
白兔捣药秋复春
2023-03-02
不论谁赢了ChatGPT大战 英伟达都是最后的赢家
go
lg
...
黄仁勋邀请了 OpenAI 联创兼首席
科
学
家
Ilya Sutskever,而 Sutskever 见证了英伟达这段在人工智能领域崛起的故事。 Sutskever 与 Alex Krizhevsky 及其博士生导师 Geoffrey Hinton 一起创建了 AlexNet,这是计算机视觉领域开创性的神经网络,在 2012 年 10 月赢得了 ImageNet 竞赛。获奖论文表明该模型实现了前所未有的图像识别精度,直接导致了此后十年里人工智能的主要成功故事——从 Google Photos、Google Translate 和 Uber 到 Alexa 和 AlphaFold 的一切。 根据 Hinton 的说法,如果没有英伟达,AlexNet 就不会出现。得益于数千个计算核心支持的并行处理能力,英伟达的 GPU 被证明是运行深度学习算法的完美选择。Hinton 甚至在一次演讲上告诉在场的近千名研究人员都应该购买 GPU,因为 GPU 将成为机器学习的未来。 在 2016 年接受福布斯采访时,黄仁勋说自己一直都知道英伟达图形芯片的潜力不止于为最新的视频游戏提供动力,但他没想到会转向深度学习。 事实上,英伟达的深度神经网络 GPU 的成功是「一个奇怪的幸运巧合」,一位名叫 Sara Hooker 的作者在 2020 年发表的文章「硬件彩票」探讨了各种硬件工具成功和失败的原因。 她说,英伟达的成功就像「中了彩票」,这在很大程度上取决于「硬件方面的进展与建模方面的进展之间的正确对齐时刻」。这种变化几乎是瞬间发生的。「一夜之间,需要 13000 个 CPU 的工作两个 GPU 就解决了」她说。「这就是它的戏剧性。」 然而,英伟达并不同意这种说法,并表示,从 2000 年代中期开始英伟达就意识到 GPU 加速神经网络的潜力,即使他们不知道人工智能将成为最重要的市场。 在 AlexNet 诞生的几年后,英伟达的客户开始购买大量 GPU 用于深度学习,当时,Rob Fergus(现任 DeepMind 研究
科
学
家
)甚至告诉英伟达应用深度学习研究副总裁 Bryan Catanzaro,「有多少机器学习研究人员花时间为 GPU 编写内核,这太疯狂了——你真的应该研究一下」。 黄仁勋逐渐意识到 AI 是这家公司的未来,英伟达随即将把一切赌注押在 AI 身上。 于是,在 2014 年的 GTC 主题演讲中,人工智能成为焦点,黄仁勋表示,机器学习是「当今高性能计算领域最激动人心的应用之一」。「其中一个已经取得令人兴奋的突破、巨大的突破、神奇的突破的领域是一个叫做深度神经网络的领域。」黄仁勋在会上说道。 此后,英伟达加快布局 AI 技术,再也不只是一家 GPU 计算公司,逐渐建立了一个强大的生态系统,包括芯片、相关硬件以及一整套针对其芯片和系统进行优化的软件和开发系统。这些最好的硬件和软件组合平台,可以最有效地生成 AI。 可以说,GPU + CUDA 改变了 AI 的游戏规则。中信证券分析师许英博在一档播客节目中评价道:英伟达一直在做一件非常聪明的事情,就是软硬一体。在 GPU 硬件半导体的基础上,它衍生出来了基于通用计算要用的 CUDA。这促成了英伟达拿到了软件和硬件的双重规模效应。 在硬件端,因为它是图形和计算的统一架构,它的通用性保证了它有规模性,而规模性摊薄了它的研发成本,所以硬件上本身通过规模性可以拿到一个比较优势的研发成本。 在软件端,因为它有庞大的开发者的生态,而这些宝贵的软件开发人员,即便是这些软件开发人员换了一个公司,但他可能还是在继续用 CUDA 的软件。 主要参考文献: 1)《ChatGPT 火了,英伟达笑了》——中国电子报 2)Nvidia: The GPU Company (1993-2006) 3)Nvidia: The Machine Learning Company (2006-2022) 4)NVIDIA CEO Jensen Huang - AI Keynote Session at MSOE 5)Jensen Huang Q&A: Why Moore』s Law is dead, but the metaverse will still happen 6)How Nvidia dominated AI—and plans to keep it that way as generative AI explodes 7)中信证券许英博:从英伟达看国产 GPU 的挑战与前景 - 小宇宙 - 创业内幕 来源:金色财经
lg
...
金色财经
2023-03-02
加拿大消费者信心大幅攀升,房价有望反弹
go
lg
...
Nanos Research首席数据
科
学
家
Nik Nanos说:“对房地产的看法一直是消费者信心的基本要素,虽然信心指数没有回到一年前房地产市场炙手可热时的旺盛水平,但每周的追踪都看到了潜在积极轨迹的开始。” 这一跃升是加拿大消费者在2023年初持续反弹的更多证据。自去年年底以来,市场情绪仍在恢复,当时由于不确定性,该指数录得自COVID-19大流行以来最悲观的一些数据。经济前景、通货膨胀和利率。 Nanos Research每周都会对250名加拿大人进行调查,了解他们对个人财务、工作保障、经济和房地产价格的看法。彭博社公布了1,000个电话回复的4周滚动平均值。 对经济衰退的担忧也在减弱。约48%的受访者现在预计经济将在六个月后走弱,低于11月的近64%。 加拿大统计局周二公布第四季度国内生产总值数据,彭博社调查的经济学家预计年化增长率为1.6%。 图片来源:Bloomberg;Financial Post
lg
...
多伦多房地产
2023-03-02
上一页
1
•••
161
162
163
164
165
•••
200
下一页
24小时热点
周评:以色列出动超100架飞机袭击伊朗!金价本周创历史新高 日元大跌281点
lg
...
港媒:中国富裕年轻移民涌入“这国”兴趣激增……
lg
...
中国经济重磅表态!中国副财长:经济刺激规模相当大 细节要等到该时点后公布
lg
...
以色列突传重大消息!美媒独家:以色列在袭击前就向伊朗“明确”告知打击目标
lg
...
金价创新高、非农恐引爆下周行情!FXStreet分析师黄金预测 如何交易金价?
lg
...
最新话题
更多
#SFFE2030--FX168“可持续发展金融企业”评选#
lg
...
9讨论
#海外华人投资#
lg
...
27讨论
#链上风云#
lg
...
43讨论
#美国大选#
lg
...
952讨论
#VIP会员尊享#
lg
...
1387讨论