新闻中心

当前位置 > 新闻中心> 电脑办公 > CPU

万水千山总是情

摩尔线程发布技术白皮书:破解长上下文推理成本瓶颈_我的网站

霍去病

一 |     

凤凰网科技讯 8月24日,摩尔线程正式发布《MTT S5000 Prefill-as-a-Service技术白皮书》,基于旗舰级AI训推一体智算卡MTT S5000,提出Prefill-Decode异构解耦方案,面向AI Agent、代码生成、超长文档分析等长上下文推理场景,旨在破解推理成本瓶颈。

二 |     新华社北京4月22日电(记者吴雨)22日,中国人民银行就《非银行支付机构监督管理条例实施细则(征求意见稿)》向社会公开征求意见。白皮书指出,大模型输入上下文规模进入百K至1M级别后,Prefill(预填充,计算密集型)与Decode(解码,访存密集型)在同一资源池混跑造成结构性算力错配。

三 | 解决方案是将二者彻底解耦,分别运行在各自最契合的硬件资源池上,实现单位Token基础设施成本大幅下降。MTT S5000硬件特性与Prefill任务高度契合:提供高稠密算力压缩首字时延,原生支持FP8全精度计算,并全面兼容CUDA及PyTorch、vLLM等主流推理框架。征求意见稿细化、明确了有关规定,督促各支付机构依法合规开展业务,保护用户合法权益,推动支付行业健康发展。

四 | 实测数据显示,在64K上下文场景下,单机Prefill吞吐达95,920 tok/s,按智谱API定价测算,满负载下单机月收入可达64.6万元;400K极限长序列场景TPM达2.6MTokens,吞吐平稳可控。  作为支付机构监管的纲领性文件,去年12月发布的《非银行支付机构监督管理条例》对支付机构的准入、业务规则、监管职责等作出了总体规定。摩尔线程表示,大模型产业竞争下半场本质上是推理效率与商业回报的较量,该方案旨在帮助企业在万亿参数与Agent时代降低总拥有成本。为保障条例落地实施,中国人民银行研究起草了《非银行支付机构监督管理条例实施细则(征求意见稿)》,进一步明确了条例中的重要概念及内涵,细化行政许可规定,做好条例衔接性条款承接等。完整白皮书已在官网发布。

五 |   据介绍,征求意见稿对照条例体例结构,共六章、八十条,进一步明确了支付机构行政许可事项的范围、许可条件、审批流程等,推进了行政许可工作公开透明、流程规范。

。  中国人民银行有关人士介绍,此前条例将支付业务重新划分为储值账户运营和支付交易处理两类,但具体分类方式、新旧支付业务对应关系等仍有待明确,有必要制定细则明确过渡期安排、新旧支付业务衔接方式等。此次征求意见稿规定,储值账户运营、支付交易处理业务分别细分为Ⅰ类、Ⅱ类,并明确新旧分类方式对应关系,有利于推动新旧支付业务分类方式平稳过渡。  此外,征求意见稿还进一步细化用户权益保障机制,并明确了用户资料和交易记录保管时限、收费调整要求等。

Current article:http://b4tuic3.chengjuecannaobianmouqueduoyu.shop/gyp/tyivl6.html

Published on:04:52:11


文章观点支持

文章价值打分
当前文章打分0 分,共有0人打分
热门评论
热门文章