术进展?未来一段时间的投入重点是什么?OpenAIo1的出现是否进一步提高了训练门槛? 答:目前大部分国内的大模型公司都处在追赶GPT-4水平的阶段。 昆仑万维坚持纯自研路线,我们自2020年起就布局大模型。2023年4月,公司发布双千亿参数量级“天工1.0”大模型。2024年2月,公司发布MoE架构的“天工2.0”大语言模型。 2024年4月,我们发布4,000 亿参数MoE 架构的“天工3.0”。在MMBench等多项权威多模态测评结果中,“天工3.0”超越GPT4V,多项评测指标达到全球领先水平。在语言大模型的基础上,我们不断进行技术迭代,成功研发了多模态图文大模型、音频大模型、3D大模型及视频生成大模型。由此可见,我们的模型的迭代与C端应用的技术发展方向是非常吻合的。未来我们将持续优化升级我们的模型核心能力,并不断推动产品的演进和升级。 OpenAI o1实际上是提高了推理的门槛。通过增加“强化学习+思维链”的方式,显著提升了模型的推理能力。让推理能力的scalinglaw再次被所有人所重视,也就是说推理时间越长,那么推理结果越准确。所以我们认为scalinglaw在训练领域已经放缓的比较明显,但在推理领域的增长方兴未艾。 问:Scalinglaw是否仍然有效?对公司应用的潜在影响? 答:ScalingLaw并未失效,但在训练领域确实在放缓,即在模型规模不断扩大的情况下,若该领域的数据集没有急剧上升的话,性能提升可能会出现边际效益递减的现象。但是目前OpenAIo1带来了一个新的方向,就是在推理能力方面,scaling law仍然有显著的增长空间。通过增加模型参数数量、推理方式、硬件算力等有可能带来性能提升。 尽管大语言模型的规模定律在一些方面显示出局限性,但我们可以通过对模型架构进行创新,正如昆仑万维2050研究院与北大联合发布的MoE++架构使得模型具有更快的推理速度和更高的性能;也可像OpenAI的o1在后训练引入强化学习,并在推理中增加长CoT,也实现了模型性能表现的大幅提升。此外,引入更高质量的数据,以及增强多模态能力,来提高模型的认知等方法,也可以进一步的提升模型的推理和生成能力。未来的进展可能更多地依赖于算法和理论的创新,而不仅仅是模型规模的扩大。 同时,我认为大模型的ScalingLaw在不同领域的放缓速度不同,以文本领域而言,人类的文本领域大概是10000万亿Token的量级,视频领域大概是百亿量级,图片领域大约是10亿。再到音乐,全球历史上只有4000万首歌曲。再到3D模型领域,只有1200万个3D模型。在不同的数据量规模的情况下,预训练的scalinglaw肯定会放缓。目前国外大规模训练集群,基本上都还是在文本领域,朝着通用人工领域去进行研发。但是对于内容生成领域,不论是视频、图片还是音乐,从训练到推理其实都在进行大量的优化,我们认为在这个领域的性能优化仍然有极大空间。例如OpenAI刚刚推出的sCM模型,将图像生成速度提高了10倍以上,这表明AIGC领域,已经进入到成本急剧降低、性能急剧提高的一个阶段,这对于所有在AIGC领域进行创业的或者进行产品实践的公司来说是非常有战略意义的。 其次,在垂直市场,例如在音乐、图像、视频领域,如果能够取得SOTA即最先进模型的地位,仍然能够获取市场的一个红利。像我们公司在音乐领域取得SOTA级别地位之后,也吸引了国内很多大企业前来合作,包括中国移动和中国电信等公司。所以在AIGC领域,我们中国企业的机会是非常大的,然后也一定能够取得市场上的领先地位。 问:未来公司模型还有哪些更新? 答:今年4月,我们发布并开源了Vitron通用像素级视觉多模态大语言模型。这款视觉多模态模型支持从视觉理解到视觉生成、从低层次到高层次的一系列任务,解决了图像与视频模型割裂的问题,实现了图像和视频内容的统一处理。 今年6月,我们与新加坡南洋理工大学合作开发了Q*算法,大幅提升了现有大模型的推理能力。Q*算法的开发使小模型的推理能力得以接近甚至超越参数量大几十倍、上百倍的模型,为未来的高效AI发展指明了方向。 今年7月,我们联合北京智源人工智能研究院、新加坡南洋理工大学、北京大学等机构提出了通用计算机控制框架Cradle,使AI Agent无需训练即可像人一样直接控制键盘和鼠标,实现在任意开闭源软件上的交互。 我们还在MoE模型架构上做出一系列创新,将计算效率提升100%,并成功将部分成果应用于公司的MoE大模型,使昆仑万维成为国内最早将MoE模型应用于业务的公司之一。 此外,我们于2024年9月发布了两款全新的奖励模型,分别位列权威奖励模型评估基准RewardBench排行榜上的第一和第三位。 未来,我们不将断优化模型的架构与算法,确保在性能、精度和效率上持续提升。 问:海外社交应用Linky商业化展望如何? 答:目前Linky主要在美国及东南亚地区运营,我们相信,随着未来Linky进入更多的市场,Linky的用户数也将迎来新阶段的高速增长。长期来看,我们希望将Linky打造成一款千万级DAU的产品。 商业化方面,我们将通过用户反馈和数据分析,不断优化AI算法,提升用户付费意愿及DAUARPU。 Linky自上线以来,展现了极强的用户粘性。我们不断对模型进行调优,Linky在对话的流畅性和角色互动的深度上取得了显著进步,用户反馈显示体验满意度显著提升。 未来,在已上线的区域,我们将继续巩固产品的形态和技术优势,给用户提供更好的AI陪伴体验。同时,Linky也将进军除英语外其他语种的国家与地区,包括但不限于中东、欧洲等地区。运用我们过去的社交产品在海外的本地化运营思路,让Linky在新上线的区域能够取得高速增长。 问: 文化出海背景下,细分领域AI应用的发展如何?短剧产品进展如何? 答:我们的天工AI搜索主要面向国内市场。根据第三方数据,9月我们的天工AI MAU突破570万,在国内AI应用产品总榜排名前五。 AI视频侧,我们的短剧产品SkyReels还未开启正式内测。我们认为目前国内短剧的总产量大概是1万部左右,在欧美地区短期的产量大概是3000部左右,然后单部剧的成本应该在 100 万人民币到 200 万人民币左右。我们的SkyReels将极大地降低AI短剧的创作成本以及创作门槛,在短剧的供给方面有非常大的空间可以去拓展,SkyReels正在不断的进行最后的迭代与调优。 AI社交侧,目前在全球市场仍然处于一个红利区,这个红利就表现在获取用户的成本仍然处于低位。随着未来Linky进入更多的市场,Linky的用户数也将迎来新阶段的增长。长期来看,我们希望将Linky打造成一款千万级DAU的产品。 各AI应用对我们来说都比较重要,但是我们认为基本的产品逻辑仍然是通过AI技术来降低内容生成的成本以及门槛,从而扩大整个内容行业的作品数和创作者的数量。此外,我们将积极收集用户反馈,最终在产品和商业化的模式上进行创新,只有创新的AIGC产品才能够在市场上持续获取红利。我们坚持以技术为底座,以产品为先锋,给用户带来更好的使用体验,给公司带来更高的用户成长。lg...
北美站
