FX168财经网_全球视野外汇黄金加密货币NFT资讯网

隔夜美股全复盘(3.21)| 三大股指集体收涨，美联储暗示今年降息幅度不下调；美光盘后涨逾17%，上季营收超预期增近60%，本季指引再度碾压预期

据消息人士：OpenAI有望在年中发布GPT-5。谷歌收涨 1.19%，亚马逊涨 1.28%，Meta涨 1.87%，礼来涨 0.01%，诺和诺德跌 0.77%，特斯拉涨 2.53%，特斯拉4月1日起将中国生产的ModelY车辆的价格提高5000元；拜登实施“美国史上最严”尾气排放标准，料将推动电动汽车销售。 ALAB涨72.31%，“AI独角兽”Astera IPO规模高达7.13亿美元，今晚登陆纳斯达克，将成为今年迄今规模最大的IPO之一。STLA涨1.87%，Stellantis宣布，将收购光学雷达初创公司SteerLight的部分股份。英特尔涨0.36%，美国政府宣布计划向英特尔提供近200亿美元激励，支持其在美半导体项目。SMCI跌1.59%，超微电脑将以每股875美元增发200万股普通股。 03 每日焦点 1、美联储FOMC声明及鲍威尔发布会重点一览 FOMC声明：（1）声明概述：一致同意维持利率不变，重申等待对通胀回落信心的增强，删除了1月份声明中关于就业增长“放缓”的措辞。（2）利率前景：点阵图维持今年累计降息三次的预期，但至少5名官员削减了今年降息的幅度，9名美联储官员预计2024年将降息2次或更少；将2025年底利率预期中值上调至3.9%，长期中值升至2.6%。（3）通胀前景：点阵图显示，2024年底核心PCE预期中值上调至2.6%；过去一年通胀已经降温，但仍处于“高位”。（4）经济前景：点阵图全面上调2024-2026年底GDP预期中值；经济活动一直在稳步扩张，但经济前景不确定。鲍威尔发布会：（1）利率前景：重申政策利率或已达峰，如有需要，准备将利率维持较高水平更长时间。今年某个节点降息是合适的。劳动力显著疲软将是启动降息的理由。“离对降息有信心不远”指的是我们需要确认通胀进展将继续。（2）通胀前景：上调通胀预测并不意味着美联储对通胀容忍度的提高，1月份CPI和PCE数据相当高，但可能是由于季调所致，不会对这两个数据过度反应，也不会忽视它们。（3）经济前景：经济取得了相当大的进展，强劲的消费需求以及供应链的恢复推动了GDP的增长。劳动力市场仍然相对紧张，名义工资增长已经放缓，劳动力市场供需正在趋于更好的平衡。（4）缩表情况：本次会议讨论了放缓缩表问题，不久后实行是适宜之举，将会高度关注预示缩表结束的迹象，长期目标是资产负债表主要由国债构成。当RRP降至0时，QT对准备金的“抽血”几乎是1:1。（5）市场反应：黄金、股市等风险资产自声明公布以来整体上行，鲍威尔讲话后涨势进一步确立。美债2Y收益率较10Y显著下跌，前者跌超7BP。（6）最新预期：利率期货对今年降息定价上行5BP，至80BP。6月降息概率从70%升至80%。 2、AI赢家！美光上季营收超预期增近60%，本季指引再度碾压预期 3.21 美光FY24Q2营业收入超预期加快增长，增速是前一财季的3.7倍，且营业利润扭亏为盈，未如分析师所料继续报亏。FY24Q3营收指引至少同比增逾70%。美光表示，备受关注的高带宽内存（HBM）新品HBM3E将供给英伟达的AI芯片H200 Tensor Core GPU，第二财季是HBM3E首次录得营收的一个季度，整个2024自然年，HBM3E已无货供应，公司大部分2025年可供应的HBM3E都已分配给排到2025年的订单。 3、黄仁勋称英伟达最新AI芯片售价将超过3万美元 3.20 据CNBC，英伟达CEO黄仁勋称英伟达最新的AI芯片Blackwell售价将在3万至4万美元之间。然而，这是一个大概的价格，因为英伟达更倾向于销售整个数据中心构建块，而不仅仅是加速器本身。与此同时，Raymond James 分析师认为构建一个 B200 加速器的成本约为 6,000 美元。他估计，英伟达在研发成本上花费了大约100亿美元。 4、消息人士：OpenAI有望在年中发布GPT—5 3.20 据两位知情人士透露，Sam Altman掌舵的生成式人工智能公司OpenAI有望在年中某个时候推出GPT—5，可能是在夏季。OpenAI CEO 奥特曼近日称，GPT-5将在高级推理功能上实现重大进步，性能改进将超出当前的预期，是类似GPT-3到GPT-4一样的质的跨越。另一位知情人士说，一些企业客户最近收到了最新型号的演示，以及对ChatGPT工具的相关改进。一位最近看到GPT—5版本的首席执行官表示该模型有质的提升，该模型还有尚未发布的其他功能，包括调用OpenAI正在开发的人工智能代理自主执行任务的能力。一位知情人士说，OpenAI仍在训练GPT-5。培训完成后，它将在内部进行安全测试。 5、英特尔在芯片法案中获得近200亿美元的激励资金 3.20 美国商务部3月20日宣布，美国政府与英特尔达成一份不具约束力的初步条款备忘录(PMT)，将根据美国《芯片与科学法案》向后者提供至多85亿美元直接资金和最高110亿美元贷款，支持后者在美国多州的半导体项目。据路透，英特尔在获得195亿美元的联邦拨款和贷款后，计划未来五年在美国四个州大举投资1000亿美元，用于新建和扩建工厂，并希望再获得250亿美元的税收减免。 04 今日前瞻今日重点关注的财经数据（1）17:00 欧元区3月制造业PMI初值（2）17:00 欧元区1月季调后经常帐（3）20:30 美国至3月16日当周初请失业金人数（4）20:30 美国3月费城联储制造业指数（5）22:00 美国2月成屋销售总数年化（6）22:00 美国2月谘商会领先指标月率（7）次日00:00 美联储理事巴尔发表讲话

格隆汇2024-03-21

音频 | 格隆汇3.21盘前要点—港A美股你需要关注的大事都在这

料将促进电动汽车销售； 13、消息：GPT-5将在今年年中发布； 14、美国司法部将对苹果提起反垄断诉讼； 15、欧盟拟推出指导方针打击选举虚假信息，大型社媒平台或遭罚款； 16、新西兰经济在2023年下半年陷入衰退； 17、新西兰将禁售一次性电子烟； 18、美光科技盘后大涨超16%，第二财季经调整营收和第三财季营收指引均高于预期； 19、日本央行很可能在7月或10月再次加息； 20、巴克莱据悉准备在投资银行部门裁员数百人；大中华区要闻： 1、国新办：3月21日就近期投资、财政、金融有关数据及政策情况举行发布会； 2、中国2月不包含在校生的16-24岁劳动失业率为15.3%； 3、3月份LPR保持不变业界预计未来仍有下调空间； 4、惠州小幅上调房贷利率； 5、拼多多：Q4营收888.8亿，同比大增123%，超预期； 6、腾讯：Q4营收同比增7%至1552亿，调整后净利同比增44%至427亿； 7、腾讯提高股息并加大回购力度； 8、阿里减持小鹏汽车套现3.22亿美元； 9、澳门：2月游客同比增106.7%至329万人； 10、年内已有71家企业终止IPO 69家为主动撤回； 11、新规落地转融券余额持续下降； 12、北上资金加仓美的集团、分众传媒、新易盛； 13、南下资金加仓中国银行、腾讯、小米； 14、港股市场米高集团今日上市； 15、业内专家：LPR报价暂时没有相应下调的动力和空间； 16、公告精选︱金山办公：2023年净利润同比增长17.92%至13.18亿元拟10派8.8元；艾艾精工：不涉及机器人等市场热点概念； 17、公告精选(港股)︱中煤能源(01898.HK)2023年股东应占利润增加2.3%至201.84亿元末期息0.442元。

格隆汇2024-03-21

美股盘前要点 | 市场预期美联储将按兵不动！小摩料美股可能在3月到8月间见顶

penAI公司正计划筹备在今年年中推出GPT-5，预计时间是夏季。 8. 英特尔在获得195亿美元的联邦拨款和贷款后，计划在美国四个州大举投资1000亿美元。 9. 英伟达CEO黄仁勋称最新的AI芯片Blackwell售价将在3万至4万美元之间。 10. 苹果CEO库克：AI已经运用在了苹果产品的各方面，今年晚些时候会宣布生成式AI的新闻。 11. 谷歌在法国被罚2.5亿欧元，因未经通知使用出版商内容训练聊天机器人。 12. 波音CFO称，正在采取“全面行动”加强质量，有意限制未来几个月的737型飞机产量。 13. 据特斯拉中国内部消息，将在4月1日官方涨价，Model Y车型售价调高5000元。花旗已出售9个地区的非美国消费者业务，并“大幅削减”另外3个地区的业务。 14. 甲骨文正式发布Java 22，在性能、稳定性和安全性方面进行了数千种改进。 15. Gucci的法国母公司开云集团警告，第一季收入可能同比下跌1成。 16. 拼多多Q4营收888.8亿，同比大增123%，超预期；non-GAAP净利润254.8亿元，同比增110%；调整后每ADS收益17.32元，市场预期11.28元。 17. 中通快递Q4营收106.2亿元，分析师预期109亿元；调整后每份ADS收益2.67元，预期2.72元。

格隆汇2024-03-20

美股盘前要点 | 市场预期美联储将按兵不动！小摩料美股可能在3月到8月间见顶

penAI公司正计划筹备在今年年中推出GPT-5，预计时间是夏季。8. 英特尔在获得195亿美元的联邦拨款和贷款后，计划在美国四个州大举投资1000亿美元。9. 英伟达CEO黄仁勋称最新的AI芯片Blackwell售价将在3万至4万美元之间。10. 苹果CEO库克：AI已经运用在了苹果产品的各方面，今年晚些时候会宣布生成式AI的新闻。11. 谷歌在法国被罚2.5亿欧元，因未经通知使用出版商内容训练聊天机器人。12. 波音CFO称，正在采取“全面行动”加强质量，有意限制未来几个月的737型飞机产量。13. 据特斯拉中国内部消息，将在4月1日官方涨价，Model Y车型售价调高5000元。花旗已出售9个地区的非美国消费者业务，并“大幅削减”另外3个地区的业务。14. 甲骨文正式发布Java 22，在性能、稳定性和安全性方面进行了数千种改进。15. Gucci的法国母公司开云集团警告，第一季收入可能同比下跌1成。16. 拼多多Q4营收888.8亿，同比大增123%，超预期；non-GAAP净利润254.8亿元，同比增110%；调整后每ADS收益17.32元，市场预期11.28元。17. 中通快递Q4营收106.2亿元，分析师预期109亿元；调整后每份ADS收益2.67元，预期2.72元。

格隆汇2024-03-20

划重点！Altman最新访谈，涉及AGI、GPT-5、Sora、算力、人形机器人......

nAI的内斗、马斯克的起诉、Sora、GPT-5、AGI、算力和人形机器人。关于内斗对谈之初，Altman被问及OpenAI内斗的事件，他表示，这绝对是我一生中最痛苦的职业经历，混乱、可耻、令人不安，还有很多其他负面的东西。他称，有时，我确实认为这将是人工智能安全史上发生的最糟糕的事情之一。我很高兴这件事发生得相对较早。我认为在OpenAI创立到创建AGI之间的某个时刻，将会发生一些疯狂和爆炸性的事情，未来可能还会有更多疯狂和爆炸性的事情发生。 Altman认为，此次内斗仍然帮助OpenAI建立了一定的韧性，并为未来的更多挑战做好了准备。心里层面上，Altman透露，内斗后回到了工作岗位，事情非常忙碌和紧张，自己没有花很多时间去思考它。之后有一段时间，自己处于神游状态，心情非常低落。他表示，很难继续运行OpenAI，我只想爬进山洞里恢复一下，但当时又好像刚刚回到任务中。对于新董事会，Altman表示，感觉很好。就OpenAI的结构而言，董事会的任务之一就是研究它，看可以在哪些方面让它变得更加强大。他称，上次内斗是一次疯狂、非常痛苦的经历，是一场完美的怪异风暴。这对我来说是一个预演，风险越来越大，以及我们需要拥有健全的治理结构、流程和人员，将会发生什么。此外，ALtman表示，我仍然不希望对 OpenAI 拥有超级投票权，我从未拥有过，也从未想要过。即使经历了所有这些疯狂，我仍然不想要它。我仍然认为任何公司都不应该做出这些决定，我们确实需要政府制定规则。关于AGI 对于Ilya Sutskever，Altman表示，我爱他，也非常尊重他。我现在对他的计划无可奉告，这是他的问题，但我真的希望我们在余下的职业生涯中一起工作。他比我年轻一点。也许他工作的时间长一点。 Altman还对内斗是因为Ilya担忧AGI风险的传闻做出回应，Ilya没有见过 AGI，我们没有人见过AGI，我们还没有构建AGI。我真正喜欢Ilya的众多原因之一是，他非常认真地对待AGI和安全问题。他还透露，此次权力斗争将使自己在信任他人方面变得更加犹豫。对于广受关注的Q*项目，Altman表示，没有秘密核设施。我们还没有准备好谈论这个。 Altman还表示，人们以各种不同的方式定义AGI。对我来说，真正重大的转变应该是其中的一部分。我认为，当一个系统能够显著提高世界科学发现的速度时，那就是一件了不起的事情。最现实的经济增长来自于科技进步。关于马斯克此前，马斯克曾起诉OpenAI，指责其忘了初心，还要求其开源。对此，Altman介绍，七八年前，当时只想尝试研究AI技术，并不知道真正要用它做什么。一开始，我们只是认为将成为一个研究实验室，并且不知道这项技术将如何发展。因为那是七八年前的事，所以很难回去真正记住当时的情况，但当时语言模型还没有成为大事，我们对API或销售聊天机器人的访问权没有任何想法，完全不知道我们要产品化。他称，很明显，我们需要做不同的事情，且还需要大量的资本。所以我们就一次修补（公司架构），我们逐渐走到了这一步，在这个过程中的每一点上都做出了合理的决定。 Altman强调，是马斯克选择和OpenAI分道扬镳的。他认为OpenAI将会失败，他想要完全控制来扭转局面，他还希望特斯拉能够打造AGI。马斯克曾多次希望将OpenAI打造成一家他可以控制或与特斯拉合并的营利性公司，但我们不想这样做，他决定离开。 Altman回忆，马斯克当时的提案是，被特斯拉收购，并让特斯拉完全控制OpenAI。他表示，我真的很尊重埃隆，我希望在未来的岁月里我们能保持友好的关系。关于开源他称，OepnAI将免费或低成本的AI工具提供给人们，对完成使命意义重大。不管这是否是开源的，我们应该开源一些东西而不是其他的东西，这之间有一些细微的差别。 OpenAI正在做的最重要的事情之一就是，将强大的技术免费提供给人们，作为一项公共利益。我们不会在我们的网站上投放广告，免费版本不会投放广告，我们不会以其他方式将其货币化。 OpenAI希望将日益强大的工具免费提供给人们，并让他们使用它们。这种开放对我们的使命非常重要。如果你为人们提供出色的工具并教他们使用它们，或甚至不教他们，他们就会弄清楚，并让他们以此为彼此建立一个令人难以置信的未来，这是一件大事。 Altman指出，Grok没有开源任何东西，直到人们认为这有点虚伪，然后马斯克宣布Grok将在本周开源。我认为开源与非开源对他来说并不是真正的意义所在。他认为，开源模型肯定有一席之地，特别是人们可以在本地运行的小型模型，需求巨大。会有一些开源模型，也会有一些闭源模型，在这方面它与其他生态系统没有什么不同。 Altman表示，任何考虑以非营利组织开始，并随后增加营利性部门的初创公司，我强烈劝阻他们不要这样做。他认为，尽管这样做会税收优惠或其他政策，但有些法律会让其变得相当困难。关于Sora 年初，OpenAI推出AI视频生成工具Sora，引发行业轰动。 Altman透露，训练Sora不仅使用了互联网数据，还使用了大量的人类数据。有超过三个人致力于为这些模型标记数据。对于AI训练资料的版权问题，他认为这背后的问题是，创造有价值数据的人是否应该获得使用数据的补偿，答案是肯定的。对于Sora带来的威胁，Altman举例称，当摄影出现时，艺术家们也非常担心，然后摄影成为一种新的艺术形式，人们通过拍照赚了很多钱。类似的事情还会继续发生，人们将以新的方式使用新工具。他认为，未来许多视频，也许是大多数视频，都会在制作中使用AI，但从根本上来说，它们仍然是由一个人思考、组合、完成其中的一部分来驱动的，有点像指导、运行它。关于GPT-5 对于接下来要推出的GPT-5，Altman表示，也许GPT-5将是关键时刻。他预计GPT-5和GPT-4之间的差距将与GPT-4和GPT-3之间的差距相同。关于今年是否会推出GPT-5，他透露，今年将发布一款令人惊叹的新型号。我不知道我们会怎么称呼它。我们将在未来几个月内发布许多不同的内容。我认为那会非常酷。我认为，在我们讨论一个类似GPT-5的模型之前，我们有很多其他重要的事情要先发布。此外，他表示，我不认为GPT-3.5改变了世界，它可能改变了世界对未来的期望，这实际上非常重要。它确实让更多的人认真对待AGI问题，并使我们走上新的轨道。关于算力、能源针对7万亿美元半导体计划，Altman表示，算力（Compute）将成为未来的货币，这可能是世界上最珍贵的商品，我我们应该大力投资以进行更多的计算。他表示，世界将需要大量的计算，其中有很多部分都很困难，能源是最难的部分，建设数据中心也很难，供应链也很难，制造足够的芯片也很难。我们需要大量的计算量，但目前还很难推理。他认为，核裂变能解决解决能源难题。关于Google、广告对于Google和Gemini，Altman认为，很多人试图打造一个比谷歌更好的搜索引擎，这是一个困难的技术问题、品牌问题、生态系统问题，世界不需要一个谷歌副本。 Altman表示，自己讨厌广告，很喜欢现在的用户付费的商业模式。我有点讨厌广告，因为它只是一种审美选择。我认为出于多种原因，广告需要在互联网上进行，以使其发展起来，但它是一个短暂的行业。现在世界更加富裕了，我喜欢人们为ChatGPT付费，并且知道他们得到的答案不会受到广告商的影响。我们有一个非常简单的商业模式，我喜欢它。我知道我在付钱，这就是商业模式的运作方式。当我使用Twitter、FacebookGoogle 或任何其他伟大的产品但有广告支持时，我不喜欢这样，而且我认为在人工智能的世界中，情况会变得更糟，而不是更好。他认为，如果问题是我们是否可以拥有一项伟大的业务来满足计算需求而无需广告，那么答案是肯定的。关于机器人 Altman表示，会在某个时刻看到OpenAI的人形机器人或人形机器人大脑。他认为，如果我们拥有AGI，而在物理世界中完成任务的唯一方法就是让人类去做，那会令人沮丧。所以我真的希望，作为这个转变的一部分，我们也能得到人形机器人或某种物理世界机器人。他介绍，OpenAI是一家小公司，必须真正集中注意力。此前积累机器人技术时，机器人因为错误的原因而变得困难，但我们会在某个时候以某种方式回归机器人。OpenAI将重新投入机器人开发工作。英文原文全版已附在文末的文档中，欢迎取阅

格隆汇2024-03-19

OpenAI GPT-4.5提前曝光？搜索页面暗示有望6月面世

penAI还未放出任何关于下一代大模型GPT-5的消息，GPT-4.5似乎有希望在近期与大家见面。当地时间3月12日晚间，有网友发现，在搜索引擎必应和DuckDuckGo上，已经可以搜到GPT-4.5 Turbo的产品页面。其中，DuckDuckGo的页面摘要显示，GPT-4.5 Turbo将“在速度、准确性和可扩展性方面超越GPT-4 Turbo”，支持25.6万tokens的上下文窗口，并拥有截至2024年6月的最新知识。这表明，GPT-4.5 Turbo或将在今年6月发布。不过，这些搜索引擎上的链接都指向OpenAI的一个404页面，并且该链接很快就被从Bing和DuckDuckGo上下架。

金融界2024-03-13

MT Capital 研报：AI x Crypto 交汇点的机遇与挑战

金色财经2024-03-13

AI x Crypto 报告：案例研究、发展瓶颈、技术挑战

的大量内容将由这些模型生成。这意味着，GPT-5 及以后的模型将使用 GPT-4 生成的数据进行训练。在合成数据上训练模型的效果如何？他们发现，在合成数据上训练语言模型会导致生成的模型出现不可逆转的缺陷。论文作者指出："我们证明，如果我们要保持从网络上搜刮的大规模数据进行训练所带来的好处，就必须认真对待这一问题。事实上，当从互联网抓取的数据中出现由 LLM 生成的内容时，收集到的有关人类与系统之间真正交互行为的数据的价值将越来越大"。这可能表明，围绕数据出处（追踪数据来源）的解决方案存在重大机遇。图 35：模型崩溃示意图。随着使用人工智能模型生成的互联网内容越来越多，下一代模型的训练集中很可能包含合成数据，如本文所示请注意，这种现象并非LLM所特有，它可能会影响各种机器学习模型和生成式人工智能系统（如变异自动编码器、高斯混合模型）。现在，让我们来看看监督学习。在监督学习中，我们需要一个贴有标签的数据集。这意味着原始数据本身（一张狗的图片）和一个标签（"狗"）。标签由模型设计者手动选择，可以通过人工标注和自动化工具相结合的方式获得。这在实践中带来了许多挑战。这包括主观性：决定数据的标签可能是主观的，从而导致模糊不清和潜在的伦理问题。一个人认为合适的标签，另一个人可能会有不同的看法。标签的差异：同一个人（更不用说不同的人）重复运行可能会提供不同的标签。这就提供了 "真实标签 "的噪声近似值，因此需要质量保证层。例如，人类可能会收到一个句子，并负责标注该句子的情绪（"快乐"、"悲伤"......等）。同一个人有时会给完全相同的句子贴上不同的标签。这就降低了数据集的质量，因为它在标签中引入了差异。在实践中，20% 的标签无法使用的情况并不少见。想象一下，创建一个数据集来预测区块链上新协议的质量。你很可能会得到一个范围很广的分数，这取决于你所选择的评分系统的次活动性，以及你所调查的人的意见差异。缺乏专家注释者：对于一个小众的医疗应用，人们可能很难获得大量有意义的标签数据。这是由于能够提供这些标签的人员（医学专家）十分稀缺。罕见事件：对于许多事件来说，由于事件本身非常罕见，因此很难获得大量的标注数据。例如，发现流星的计算机视觉模型。高成本：当试图收集大量高质量数据集时，成本可能高得惊人。由于上述问题，如果需要对数据集进行标注，成本尤其高昂。还有很多问题，比如应对对抗性攻击和标签的可转移性。为了让读者对数据集的规模有一些直观的了解，请看下图。像 ImageNet这样的数据集包含1400万个标签数据点。图 36：各种机器学习数据集的规模示意图。Common Crawl的近似值为10亿个网页，因此总字数远远超过这个数字。小型数据集（如 Iris）包含 150 幅图像。MNIST 大约有 70,000 张图像。请注意，这是一个对数比例 2.1.2 强化学习中的数据收集在强化学习中，数据收集是一项独特的挑战。与监督学习不同的是，监督学习的数据是预先标记好的静态数据，而强化学习则依赖于通过与环境互动而产生的数据，这通常需要复杂的模拟或真实世界的实验。这就带来了一些挑战：这一过程可能会耗费大量资源和时间，对于物理机器人或复杂环境而言尤其如此。如果机器人在真实世界中接受训练，那么它从试验和错误中学习可能会导致事故。或者，也可以考虑让训练机器人通过试验和错误来学习。奖励稀少且延迟：在收到有意义的反馈之前，代理可能需要探索大量的行动，从而难以学习有效的策略。确保所收集数据的多样性和代表性至关重要；否则，代理可能会过度适应狭隘的经验集，而不能通用化。在探索（尝试新行动）和利用（使用已知的成功行动）之间取得平衡使数据收集工作更加复杂，需要复杂的策略才能有效收集有用的数据。值得强调的一点是，数据收集与推理直接相关。在训练一个强化学习代理下棋时，我们可以利用自我对弈来收集数据。自我对弈就像是与自己下棋，以获得进步。代理与自己的副本对弈，形成一个持续学习的循环。这种方法非常适合收集数据，因为它会不断产生新的场景和挑战，帮助代理从广泛的经验中学习。这一过程可以在多台机器上并行执行。由于推理的计算成本很低（与训练相比），这一过程对硬件的要求也很低。通过自我游戏收集数据后，所有数据都将被用于训练模型和改进模型。闲置计算在分布式推理和数据收集中可以发挥强大作用，因为对硬件的要求比训练低得多。 2.1.3 对抗性数据攻击数据毒化攻击：在这种攻击中，通过添加扰动来破坏训练数据，从而欺骗分类器，导致不正确的输出。例如，有人可能会在非垃圾邮件中添加垃圾邮件元素。这将导致将来在垃圾邮件过滤器的训练中加入这些数据时，性能下降。这可以通过在非垃圾邮件上下文中增加 "free"、"win"、"offer "或 "token"等词的使用来解决。规避攻击：攻击者在部署过程中操纵数据，欺骗先前训练好的分类器。规避攻击在实际应用中最为普遍。针对生物识别验证系统的"欺骗攻击 "就是规避攻击的例子。对抗性攻击：这是对合法输入的修改，目的是愚弄模型，或者使用专门设计的"噪音"来引起错误分类。请看下面的例子，在熊猫图像中添加噪音后，模型将其分类为长臂猿（置信度为99.3%）。图 37：通过在熊猫图像中添加特殊类型的噪声，模型可预先判断出图像是长臂猿而不是熊猫。在进行对抗攻击时，我们向神经网络提供一幅输入图像（左图）。然后，我们使用梯度下降法构建噪声向量（中）。该噪声向量被添加到输入图像中，从而导致错误分类（右图）。(图片来源：本文图 1解释和利用对抗性实例》论文中的图 1）在创建开放数据集时，有必要建立一个强大的质量控制层，以避免恶意攻击。此外，数据出处（追溯图像来源）可能会有所帮助。 2.2 训练方面的挑战训练机器学习模型会面临许多挑战。本节绝不是为了说明这些挑战的严重性。相反，我们试图让读者了解挑战的类型和瓶颈所在。这将有助于建立直觉，从而能够评估将训练模型与密码原语相结合的项目构想。请看下面这个无监督学习问题的例子。在无监督学习中，没有 "老师 "提供标签或指导模型。相反，模型会发现问题中隐藏的模式。考虑一个猫狗数据集。每只猫狗都有两种颜色：黑色和白色。我们可以使用一个无监督学习模型，通过将它们聚类为两组来找到数据中的模式。该模型有两种有效的方法：将所有狗集中在一起，将所有猫集中在一起将所有白色动物集中在一起，将所有黑色动物集中在一起。请注意，从技术上讲，这两者都没有错。模型找到的模式很好。然而，要完全按照我们的要求来引导模型是非常具有挑战性的。图 38：训练好的对猫和狗进行分类的模型最终可能会根据颜色将动物聚类在一起。这是因为在实践中很难指导无监督学习模型。所有图像均由人工智能使用 Dalle-E 生成这个例子说明了无监督学习所面临的挑战。然而，在所有类型的学习中，能够评估模型在训练过程中的学习效果并进行潜在干预至关重要。这可以节省大量资金。在无权限系统中，模型的训练无需专家监督，因此可能会浪费大量资源。处理早期停止等问题的自动化工具还很不成熟。训练大型模型的挑战还有很多，这是一个非常简短的清单：训练大规模机器学习模型，尤其是深度学习模型，需要大量的计算能力。这通常意味着要使用高端 GPU 或 TPU，而它们可能既昂贵又耗能。与这些计算需求相关的成本不仅包括硬件，还包括连续运行这些机器（有时长达数周或数月）所需的电力和基础设施。强化学习因其训练的不稳定性而闻名，模型或训练过程中的微小变化都可能导致结果的显著差异。与Adam等监督学习中使用的更稳定的优化方法不同，强化学习中没有放之四海而皆准的解决方案。通常需要对训练过程进行定制，这不仅耗时，而且需要深厚的专业知识。强化学习中的探索-开发两难问题使训练变得更加复杂，因为找到正确的平衡点对于有效学习至关重要，但却很难实现。机器学习中的损失函数定义了模型的优化目标。选择错误的损失函数会导致模型学习到不恰当或次优的行为。在复杂任务中，例如涉及不平衡数据集或多类分类的任务，选择、有时甚至定制设计正确的损失函数变得更加重要。损失函数必须与应用的实际目标紧密结合，这就需要深入了解数据和预期结果。在强化学习中，设计能持续、准确反映预期目标的奖励函数是一项挑战，尤其是在奖励稀少或延迟的环境中。在国际象棋游戏中，奖励函数可以很简单：赢了得 1 分，输了得 0 分。但是，对于行走机器人来说，这个奖励函数可能会变得非常复杂，因为它将包含 "面向前方行走"、"不要随意摆动手臂 "等信息。奖励函数（和损失函数）包含了模型去符号化者认为重要的主观因素。可能有必要建立管理制度，以确保为广泛使用的模型选择适当的函数。在监督学习中，由于深度神经网络的 "黑箱 "性质，要了解是哪些特征驱动了复杂模型（如深度神经网络）的预测具有挑战性。这种复杂性使得调试模型、了解其决策过程和提高其准确性变得十分困难。这些模型的复杂性也对可预测性和可解释性提出了挑战，而这对在敏感或受监管领域部署模型至关重要。同样，训练模式和所涉及的挑战也是非常复杂的话题。我们希望上述内容能让您对所涉及的挑战有一个大致的了解。如果您想深入了解该领域当前面临的挑战，我们推荐您阅读《应用深度学习中的开放性问题》（Open Problems in Applied Deep Learning）和《MLOps 指南》（MLOps guide）。从概念上讲，机器学习模型的训练是按顺序进行的。但在很多情况下，并行训练模型至关重要。这可能只是因为模型太大，一个 GPU 难以容纳，并行训练可以加快训练速度。然而，并行训练模型会带来重大挑战，包括通信开销：将模型分割到不同的处理器需要这些单元之间不断进行通信。这可能会造成瓶颈，尤其是对于大型模型而言，因为各单元之间的数据传输可能会耗费大量时间。负载均衡：确保所有计算单元得到平等利用是一项挑战。不平衡会导致一些单元闲置，而另一些单元超负荷运行，从而降低整体效率。内存限制：每个处理器单元的内存都是有限的。在不超出这些限制的情况下，有效管理和优化多个单元的内存使用情况是非常复杂的，尤其是大型模型。实施的复杂性：设置模型并行涉及计算资源的复杂配置和管理。这种复杂性会增加开发时间和出错的可能性。优化困难：传统的优化算法可能无法直接适用于模型并行化环境，也无法提高效率，这就需要进行修改或开发新的优化方法。调试和监控：由于训练过程的复杂性和分布性增加，监控和调试分布在多个单元上的模型比监控和调试运行在单个单元上的模型更具挑战性。分散和并行训练方面的基本新方法可以极大地推动机器学习的进步。 2.3 推理中的挑战许多类型的机器学习系统面临的最重要挑战之一就是它们可能会"自信地出错"。ChatGPT可能会返回一个我们听起来很有把握的答案，但事实上这个答案是错误的。这是因为大多数模型经过训练后都会返回最有可能的答案。贝叶斯方法可用于量化不确定性。也就是说，模型可以返回一个有根据的答案，来衡量它有多确定。考虑使用蔬菜数据训练图像分类模型。该模型可以获取任何蔬菜的图像，并返回它是什么，例如 "黄瓜 "或 "红洋葱"。如果我们给这个模型输入一张猫的图像，会发生什么呢？普通模型会返回它的最佳猜测，也许是 "白色洋葱"。这显然是不正确的。但这是模型的最佳猜测。贝叶斯模型的输出则是 "白色洋葱 "和一个确定度，例如 3%。如果模型有 3% 的确定性，我们可能就不应该根据这个预测采取行动。图 39：常规模型预测（只返回最有可能的答案）和贝叶斯模型预测（返回预测结果的 s 分布）的示意图这种形式的不确定性定性和推理在关键应用中至关重要。例如，医疗干预或金融决策。然而，贝叶斯模型的实际训练成本非常高，而且面临许多可扩展性问题。推理过程中出现的更多挑战维护：随着时间的推移，尤其是数据和现实世界场景发生变化时，保持模型的更新和正常运行。 RL 中的探索-利用：在探索新策略和利用已知策略之间取得平衡，尤其是在推理直接影响数据收集的情况下。测试性能：确保模型在新的、未见过的数据上表现良好，而不仅仅是在训练过的数据上。分布偏移：处理输入数据分布随时间发生的变化，这种变化会降低模型性能。例如，推荐引擎需要考虑客户需求和行为的变化。某些模型生成缓慢：像扩散模型这样的模型在生成输出时可能需要大量时间，而且速度较慢。高斯过程和大型数据集：随着数据集的增长，使用高斯过程进行推理的速度会越来越慢。增加防护栏：在生产模型中实施制衡措施，防止出现不良结果或误用。在封闭源模型中增加哪些防护措施，这对于确保不出现偏差至关重要。 2.4 LLM 面临的挑战大型语言模型面临许多挑战。不过，由于这些问题受到了相当多的关注，我们在此仅作简要介绍。 LLM 不提供参考文献，但可以通过检索增强生成（RAG）等技术来缓解没有参考文献等问题。幻觉：产生无意义、虚假或无关的输出。训练运行需要很长时间，而且数据集重新平衡的边际值很难预测，这就导致了缓慢的反馈循环。很难将人类的基本评估标准扩展到模型所允许的吞吐量。量化在很大程度上是需要的，但其后果却鲜为人知。下游基础设施需要随着模型的变化而变化。在与企业合作时，这意味着长时间的发布延迟（生产总是远远落后于开发）。不过，我们想重点介绍论文《沉睡代理：训练通过安全训练持续存在的欺骗性 LLMs》一文中的一个例子。作者训练的模型会在提示年份为 2023 年时编写安全代码，但在提示年份为 2024 年时插入可被利用的代码。他们发现，这种后门行为可以持续存在，因此标准的安全训练技术无法将其清除。这种后门行为在最大的模型中最持久，在经过经训练产生思维链路以欺骗训练过程的的模型中也最持久，甚至就算思维链路已经消失也一直存在。图 40 后门示意图。如果是 2024 年，模型的训练表现为 "正常"，但如果是 2024 年，则策略表现不同。资料来源：本文图 1 模型训练过程的透明度至关重要，因为即使是开源模型，也可能被训练出只在特定情况下使用的后门。例如，想象一下，将一个有资金的钱包连接到一个人工智能代理，结果却发现了一个后门。然后，这个代理就会将所有资金转移到一个特定的地址，或者以不同的身份恶意行事。在本章中，我们讨论了机器学习领域的许多挑战。显而易见，研究的巨大进步解决了许多此类问题。例如，基础模型为训练特定模型提供了巨大优势，因为您只需根据使用情况对其进行微调即可。此外，数据标注不再是全手工过程，使用半监督学习等方法可以避免大量的人工标注。本章的总体目标是先让读者对人工智能领域的问题有一些直观的了解，然后再探讨人工智能与密码学的交叉问题。报告外读物 3.1.1 Gensyn 网站： https://www.gensyn.ai/(opens new window) 一句话简介：去中心化机器学习计算协议，实现人工智能开发民主化。描述：旨在通过将全球所有计算能力整合到一个全球超级集群中，彻底改变人工智能和加密货币领域。该网络专为机器学习计算协议设计，任何人都可以随时访问，从而推动机器学习的发展。通过利用区块链技术，Gensyn实现了人工智能训练过程的去中心化，允许点对点、低成本高效率地访问计算资源。这就消除了对云寡头和大型科技公司的依赖，为人工智能开发提供了一个更加民主和无许可的环境。Gensyn的协议使世界各地的设备（包括未充分利用的硬件）都能为去中心化计算网络做出贡献，为任何人、任何地方都能实现人工智能潜力的未来铺平了道路。简短描述什么是数据类别中的公司，最好使用第 2 章中的框架进行细分。 3.1.2 Axiom 网站： https://www.axiom.xyz/(opens new window) 一句话简介： Axiom利用零知识证明，实现对以太坊历史的无信任链上查询和计算，适用于数据丰富的动态的去中心化应用。描述：为人工智能和加密货币的交叉领域铺平了道路，它使开发人员能够在以太坊上创建智能合约，这些合约可以通过零知识（ZK）证明对区块链数据的整个历史进行访问和计算。这一点至关重要，因为它为动态DeFi应用、定制化的预言机和链上忠诚度计划开辟了新的可能性，允许协议根据历史链上活动进行调整，而无需依赖外部预言机或修改已部署的合约。此外，该协议还旨在将 ZK 技术用于人工智能应用，例如通过确保数据完整性和无信任计算，Axiom可以验证在线内容并检测深度伪造。这使得Axiom成为以太坊上未来安全、数据丰富应用的关键参与者，利用人工智能和加密货币的优势，创建一个更加透明、高效和用户驱动的生态系统。来源：金色财经

金色财经2024-02-22

为什么是AGI的又一个里程碑时刻？

世界，还能生成稳定的角色，再配合自家的GPT-5，一个纯AI生成的、数千平方公里、活跃着各色生物的地图，听上去已经不是异想天开。当然，画面是否能实时生成，是否支持多人联机，这些都是很现实的问题。但无论怎么说，新的游戏模式已经呼之欲出，至少用Sora生成一个《完蛋我被美女包围了》变得毫无问题了”，陈希道。第二类是基于模拟世界的能力，在更多领域中创造出新的事物。爱丁堡大学的博士生Yao Fu表示：“生成式模型学习生成数据的算法，而不是记住数据本身。就像语言模型编码生成语言的算法（在你的大脑中）一样，视频模型编码生成视频流的物理引擎。语言模型可以视为近似人脑，而视频模型近似物理世界。” 学会了物理世界中的普遍规律，让具身智能也更加接近人的智能。例如在机器人领域，以前的传导流程为，先给到机器人大脑一个握手的指令，再传递到手这个部位，但是由于机器人无法真正理解“握手”的含义，所以只能把指令转化为“手的直径缩小为多少厘米”。若世界模拟器成为现实后，机器人就可以直接跳过指令转化的过程，一步到位理解人的指令需求。跨维智能创始人、华南理工大学教授贾奎向光锥智能表示，显式的物理模拟将来就有可能应用到机器人领域，“Sora的物理模拟是隐式的，它展示出了只有其内部对物理世界理解和模拟才能生成出来的效果，要对机器人直接有用，我觉得还是显式的才行。” “Sora能力还是通过海量视频数据，还有recaptioning技术，实现出来的，甚至也没有 3D 显式建模，更不用说物理模拟了。虽然其生成出来的效果，已经达到/接近了通过物理模拟实现的效果。但物理引擎能做的事情不仅仅是生成视频，还有很多训练机器人必须有的其他要素”，贾奎表示道。虽然Sora还有许多局限性，但在虚拟和现实世界之间已经建立了一个链接，这让无论是头号玩家式的虚拟世界，还是机器人更像人类，都充满了更大的可能性。来源：金色财经

金色财经2024-02-19

中国电信中部智算中心正式运营，AI人工智能ETF(512930.SH)涨超1%

建设给出较为乐观的中长期指引。随着今年GPT-5、Llama3与GeminiPro等模型基座的重磅升级以及多模态技术的发展，除微软之外的云厂商也有望开始加码AI算力建设，全球AI算力建设进程有望持续加速。 AI人工智能ETF(512930.SH)紧密跟踪中证人工智能主题指数，中证人工智能主题指数从沪深市场中选取50只业务涉及为人工智能提供基础资源、技术以及应用支持的上市公司证券作为指数样本，以反映人工智能主题上市公司证券的整体表现。数据显示，截至2023年12月29日，中证人工智能主题指数(930713)前十大权重股分别为海康威视(002415)、科大讯飞(002230)、韦尔股份(603501)、金山办公(688111)、中际旭创(300308)、澜起科技(688008)、中科曙光(603019)、紫光股份(000938)、用友网络(600588)、大华股份(002236)，前十大权重股合计占比47.28%。以上内容与数据，与界面有连云频道立场无关，不构成投资建议。据此操作，风险自担。

有连云2024-01-30

24小时热点