高性能计算(HPC)、人工智能(AI),大数据(BigData)是当今数据密集的企业所面临的重大机遇和挑战,更多“数据大”企业开始关注IT基础设施和架构的革新。作为数据的最终归宿和一切分析计算的基础,存储设备的稳定性,扩展性,和性能表现成为了IT系统优化工作的重中之重。
然而,大多数企业可能不甚了解,存储系统的高性能,其实是相对的,有高带宽的、有高IOPs的、有元数据性能表现出色的。不可能在单个系统中各个维度都追求极致性能表现。
存储性能常见优化方式
通常而言,带宽(吞吐量)和每秒I/O操作数(IOPS)是衡量存储性能的两大指标。
在实际应用中
※ 希望得到更“高”的IOPS,就需要尽可能【减少】每次数据存取请求涉及到的盘数;
※ 希望吞吐更“大”(高带宽),就需要聚合【更多】个盘的带宽。
显然,带宽与IOPS两项指标像不可兼得的鱼和熊掌,不可能在一套存储系统中都得到极致优化。
通用存储本来是个傻盒子
如果没有合适的方法和人工干预,存储只能根据当前的IO特性,以确定的缓存策略和数据一致性策略,甚至数据的摆放位置来为应用提供服务,无法【根据应用的特点】实现对存储特性的精确动态调优,但高性能计算、AI训练和大数据分析对应的数据访问模式是不同的。
需要存储在
不同时段:When
不同配置区域:Where
为应用的不同计算阶段:What
提供尽可能高的存取效率和并行能力
所以如何让【存储感知应用】才是设计存储系统时需要重点关注的
存储性能如何优化更合理
通过大量客户案例以及对用户数据处理模式的研究表明,从计算任务调度入手,控制计算任务的调度执行,让计算在开始执行之前给存储发送【提示性信息】,协助存储系统预判此次任务的IO模

本文探讨了如何通过存算协同优化存储性能,以适应高性能计算、人工智能和大数据分析的需求。介绍了ALAMO和ANNA两个分布式存储系统,以及ABC融合计算系统,强调应用感知和提前调度的重要性,以实现存储系统的自我调节和性能最大化。

1949

被折叠的 条评论
为什么被折叠?



