“存算”协同,让存储发挥极致性能

本文探讨了如何通过存算协同优化存储性能,以适应高性能计算、人工智能和大数据分析的需求。介绍了ALAMO和ANNA两个分布式存储系统,以及ABC融合计算系统,强调应用感知和提前调度的重要性,以实现存储系统的自我调节和性能最大化。

高性能计算(HPC)、人工智能(AI),大数据(BigData)是当今数据密集的企业所面临的重大机遇和挑战,更多“数据大”企业开始关注IT基础设施和架构的革新。作为数据的最终归宿和一切分析计算的基础,存储设备的稳定性,扩展性,和性能表现成为了IT系统优化工作的重中之重。

然而,大多数企业可能不甚了解,存储系统的高性能,其实是相对的,有高带宽的、有高IOPs的、有元数据性能表现出色的。不可能在单个系统中各个维度都追求极致性能表现。

存储性能常见优化方式

通常而言,带宽(吞吐量)和每秒I/O操作数(IOPS)是衡量存储性能的两大指标。

在实际应用中

※ 希望得到更“高”的IOPS,就需要尽可能【减少】每次数据存取请求涉及到的盘数;

※ 希望吞吐更“大”(高带宽),就需要聚合【更多】个盘的带宽。

显然,带宽与IOPS两项指标像不可兼得的鱼和熊掌,不可能在一套存储系统中都得到极致优化。

通用存储本来是个傻盒子

如果没有合适的方法和人工干预,存储只能根据当前的IO特性,以确定的缓存策略和数据一致性策略,甚至数据的摆放位置来为应用提供服务,无法【根据应用的特点】实现对存储特性的精确动态调优,但高性能计算、AI训练和大数据分析对应的数据访问模式是不同的。

需要存储在

不同时段:When

不同配置区域:Where

为应用的不同计算阶段:What

提供尽可能高的存取效率和并行能力

所以如何让【存储感知应用】才是设计存储系统时需要重点关注的

存储性能如何优化更合理

通过大量客户案例以及对用户数据处理模式的研究表明,从计算任务调度入手,控制计算任务的调度执行,让计算在开始执行之前给存储发送【提示性信息】,协助存储系统预判此次任务的IO模

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值