不知道大家最近有没有在冲浪的时候关注到一个词叫“存算分离”。这个词最近一直出现在我的视野里。我也用我的一些行业知识,与大家来说一说,到底要不要“存算分离”。
首先,先来说说什么是“存算分离”。我也翻看了很多资料,其实存算分离是最近潮流的一种架构,在架构设计和项目规划的时候经常被提及,有一定的适应场景,而且也是有一些弊端的。
但我是觉得存算是不能分离的。而且存算应该是协同的关系。为什么呢?
首先,通用的存储是一个“傻盒子”。
因为存储如果没有合适的方法或者人工干预,它只会根据当前的IO特性,以及确定的一些策略或者数据摆放的位置去为应用提供服务的。
但现在不管是高性能计算、人工智能训练还是大数据分析对应的数据访问模式是不同的。
其次,衡量存储的性能是两大指标,分别是带宽(吞吐量)和每秒I/O操作数(IOPS)。
但在实际使用时,肯定希望得到更“高”的IOPS以及吞吐更“大”(高带宽),但做存储系统的小伙伴们肯定知道,如果一款存储系统中两样都要,是不太可能的。
但怎么才能将存储的效能达到极致呢?是不是如果存储能感知到应用就可以了。也就是说告诉存储,应该在什么时段,在什么区域去配置,之后为应用的不同计算阶段提供最好的存取效率和并行能力。这样是不是就解决了高性能的问题了。
所以如果真的“存算分离”了,怎么去实现呢?
但肯定有人会说,那如何做到存算协同呢?
其实可以从计算任务调度入手,控制计算任务的调度执行,让计算在开始执行之前给存储发送【提示性信息】,协助存储系统预判此次任务的IO模式,以做出策略选择和定向优化,才是王道。
存储系统如果具备了【应用感知】和【存算协同】,则可使存储系统变得可控、可视、可变,为存储赋予了【自我调节】的能力,主动

本文探讨了“存算分离”与“存算协同”在大数据建设中的角色。存算分离虽为一种流行架构,但作者认为存算是无法真正分离的,应当协同工作。通过应用感知和存算协同,存储系统可以预判计算任务的IO模式,实现自我调节,提高整体效能。存算协同能够更好地适配业务场景,提升数据存储和计算的协同效率。


869

被折叠的 条评论
为什么被折叠?



