“存算分离”是大数据建设的必然趋势?存算协同才是真的香!

本文探讨了“存算分离”与“存算协同”在大数据建设中的角色。存算分离虽为一种流行架构,但作者认为存算是无法真正分离的,应当协同工作。通过应用感知和存算协同,存储系统可以预判计算任务的IO模式,实现自我调节,提高整体效能。存算协同能够更好地适配业务场景,提升数据存储和计算的协同效率。

不知道大家最近有没有在冲浪的时候关注到一个词叫“存算分离”。这个词最近一直出现在我的视野里。我也用我的一些行业知识,与大家来说一说,到底要不要“存算分离”。

首先,先来说说什么是“存算分离”。我也翻看了很多资料,其实存算分离是最近潮流的一种架构,在架构设计和项目规划的时候经常被提及,有一定的适应场景,而且也是有一些弊端的。

但我是觉得存算是不能分离的。而且存算应该是协同的关系。为什么呢?

首先,通用的存储是一个“傻盒子”。

因为存储如果没有合适的方法或者人工干预,它只会根据当前的IO特性,以及确定的一些策略或者数据摆放的位置去为应用提供服务的。

但现在不管是高性能计算、人工智能训练还是大数据分析对应的数据访问模式是不同的。

其次,衡量存储的性能是两大指标,分别是带宽(吞吐量)和每秒I/O操作数(IOPS)。

但在实际使用时,肯定希望得到更“高”的IOPS以及吞吐更“大”(高带宽),但做存储系统的小伙伴们肯定知道,如果一款存储系统中两样都要,是不太可能的。

但怎么才能将存储的效能达到极致呢?是不是如果存储能感知到应用就可以了。也就是说告诉存储,应该在什么时段,在什么区域去配置,之后为应用的不同计算阶段提供最好的存取效率和并行能力。这样是不是就解决了高性能的问题了。

所以如果真的“存算分离”了,怎么去实现呢?

但肯定有人会说,那如何做到存算协同呢?

其实可以从计算任务调度入手,控制计算任务的调度执行,让计算在开始执行之前给存储发送【提示性信息】,协助存储系统预判此次任务的IO模式,以做出策略选择和定向优化,才是王道。

存储系统如果具备了【应用感知】和【存算协同】,则可使存储系统变得可控、可视、可变,为存储赋予了【自我调节】的能力,主动

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值