近日,阿里云提出的计算池化解决方案“Aegaeon ”成功入选顶级学术会议SOSP 2025 ,该方案可解决AI模型服务中普遍存在的GPU资源浪费问题,大幅提升GPU资源利用率,目前其核心技术已应用在阿里云百炼平台。
SOSP(操作系统原理研讨会)由ACM SIGOPS主办 ,是计算机系统领域顶级学术会议,平均每年收录的论文数量仅有数十篇,被誉为计算机操作系统界的“奥斯卡” ,入选论文代表了操作系统和软件领域最具代表的研究成果 。本届SOSP大会上,系统软件与AI大模型技术的融合成为新的趋势。
数据显示,在阿里云模型市场为期超三个月的Beta测试中 ,Aegaeon系统在服务数十个参数量高达720亿的大模型时,所需的英伟达H20 GPU数量从1192个减至213个,削减比例高达82%(见下图)。GPU用量削减82%意味着公司硬件采购成本将显著降低,这对于动辄使用成千上万张GPU的大型模型服务商至关重要 。
在真实的模型服务场景中 ,少数热门模型(如阿里的Qwen)承载了绝大多数用户请求,而大量不常被调用的“长尾”模型却各自独占着GPU资源。数据显示,在阿里云模型市场中 ,曾有17.7%的GPU算力仅用于处理1.35%的请求,资源闲置严重。
而Aegaeon系统通过GPU资源池化,打破了“一个模型绑定一个GPU ”的低效模式 。
Token级调度是该系统的核心创新点 ,Aegaeon多模型混合服务系统在每次生成下一个token后动态决定是否切换模型,实现精细化管理,同时 ,通过组件复用 、显存精细化管理和KV缓存同步优化等全栈技术,Aegaeon将模型切换开销降低97%,确保了token级调度的实时性 ,可支持亚秒级的模型切换响应。
据介绍,Aegaeon系统支持单GPU同时服务多达7个不同模型,相比现有主流方案提升1.5-9倍的有效吞吐量,实现2-2.5倍的请求处理能力。
如何从底层系统软件层面优化 ,以更好地支撑和赋能上层AI应用,已成为全球学术界和工业界关注的焦点 。未来AI的发展将不仅依赖于硬件算力的单纯增长,更需要通过系统级的软件创新来深度挖掘现有硬件的潜力。
股票炒股怎么加杠杆:168股票配资网-阿里最新年报:AI变革是未来十年最大增量 合伙人名单再精简
利用杠杆炒股是什么意思:股票开户第二天几点能买入-两融余额再破2万亿元!十年前狂热扎堆金融股 融资客如今更爱这几类资产
短线炒股怎么选股票:炒股票杠杆是什么意思-统计局:9月份各线城市商品住宅销售价格环比下降 同比降幅总体持续收窄
股票资金如何管理:炒股中杠杆是什么意思-【风口研报】科技巨头加速布局AI 全链条景气度有望提升
炒股的杠杆是什么意思:股市杠杆怎么收费-国庆、中秋休市安排公布!10月1日至10月8日不提供港股通服务
炒股股票配资官网:股票里面杠杆是什么意思-集体暴跌!超160万人爆仓 网友哀叹:我的交易生涯结束了
瑞和网配资-正规配资|配资平台|正规配资平台提示:文章来自网络,不代表本站观点。
美联航遭遇技术故障! 美国联合航空公司(美联航)当地时间周三表示,因技术问题,公司的主线航班在美国多个主要机场停飞...
...
据新华社周一发布消息,近日,中共中央、国务院印发《加快建设农业强国规划(2024-2035年)》(以下简称《规划》),从...
全固态锂电池被誉为“下一代能源革命”技术,但解决其循环稳定性和能量密度提升等问题,需要通过锂元素的“可视化”检测来深...
随着半年报放榜期的到来,多家车企陆续公布了2025年上半年的业绩预告。从已披露的11家车企数据来看,8家实现净利润增...
赛力斯(601127)拟年中分红。 9月29日晚间,赛力斯披露2025年半年度利润分配预案,为进一步提高分红水平、...
“苏超”(江苏省城市足球联赛)如今的盛况,远超赛前预期。从主办方担忧冷场大量赠票,到一票难求、二手平台票价暴涨10倍...
文丨中信证券在政治局“活跃资本市场,提振投资者信心”指引下,证监会从投资端、融资端和交易端三个维度,...
【隔夜行情】•周四(2025年4月11日),A股三大指数集体反弹,截至收盘,上证指数收涨1.16%,深证成指收...
记者王珍中国国际经济交流中心副理事长、国务院发展研究中心原副主任王一鸣周一在“中国发展高层论坛2025...
【隔夜行情】•周五(2025年3月21日),A股三大指数集体下跌,截至收盘,截止收盘,沪指跌1.29%,报收33...
3月24日,易方达国证自由现金流ETF公开发售。该产品跟踪国证自由现金流指数,这个指数是什么?有哪些优势?投资价值如何?...
国海富兰克林基金国富深化价值基金经理刘晓日前发表了对 2025 年市场的展望。刘晓指出,国内经济正处于复苏通道,市场大幅...
2025年3月25日,倍轻松(688793.SH)公告称,公司股东宁波倍松投资有限公司(简称“宁波倍松”)拟通过大宗交易...
记者辛圆3月25日,博鳌亚洲论坛旗舰报告《亚洲经济前景及一体化进程2025年度报告》(以下简称《报告》...