分布式文件存储SeaweedFS:数据存储的设计与实现前言

文章详细阐述了SeaweedFS中Volume节点的数据存储机制,包括三副本备份和纠删码(EC)策略,以及它们在数据一致性与高可用性方面的实现。作者还介绍了SeaweedFS集群架构和文件上传流程。

前言

为了满足业务的需求,信也科技基于SeaweedFS搭建了分布式文件存储服务,目前已在生产环境落地,陆续接入了部分业务场景,积累了一些经验。本人也在参与该项目的过程中也对SeaweedFS源码进行了深入研究,下面将会给大家分享SeaweedFS Volume节点数据存储设计,也会对其核心源码进行解读。

Volume数据节点介绍

之前已经对SeaweedFS集群和Master节点进行了讲解,所以这里不再重复,如果有对相关概念不了解的同学请看这几篇文章:分布式文件存储SeaweedFS简介与Mount功能原理解密SeaweedFS Master节点Raft协议源码解析

Volume节点的职责


SeaweedFS是一个分布式文件存储中间件,由Filer、Master、Volume三种节点组成集群。在文件上传流程中Filer节点负责将大文件切分成小的文件块(needle),Master节点会为每一个小文件块分配文件ID和存储位置(volume),Volume节点负责将文件块存入磁盘并维护索引。

基本概念

  • Volume节点:存储数据的节点。
  • Volume:数据节点管理文件的单元。本质是一个数据文件和一个索引文件。
  • Needle:表示一个文件块,存储在Volume的数据文件中。

Volume节点和Volume是两个比较容易混淆的概念:Volume节点是运行在服务器中的一个

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值