IBM Storage Scale( GPFS)放置(Placement)策略演示

IBM Spectrum Scale技术和架构详解 2016年为止,IBM高端存储最新产品为DS8884、DS8886和DS8888。闪存系统最新产品,以FlashSystem 900为硬件基础,包装了Flash System V9000、A9000和A9000R,今天我们重点讨论下IBM Spectrum Scale软件定义存储产品。 阅读详情

fc90681f9585d23f9eee1b5cdff83820.gif

新钛云服已累计为您分享816篇技术干货

53a9a68e946e1287e60d23e1e2f77d56.gif


01

登录IBM Storage Scale图形管理界面(GUI)

执行以下操作接受自签名证书先点击 Advanced...(划至页面最下方),再点击 Accept the Risk and Continue

Name输入admin,Password输入admin001,点击Sign In登录按钮

1ae59136b9018c78cd6489a1e68a9b76.png

登录Spectrum Scale管理平台

88a5ccd670bcb38cce765386420a32a7.png

02

查看资源池(Pools)

访问左导航Storage -> Pools菜单,

d011c4503a2f667a87e07ad7d68b5f64.png

查看当前系统管理的全部资源池

2394268f6866c7fadcf9135db2f291b7.png

- ssdpool:高性能磁盘组成的资源池,主要用于存储热数据或对性能要求较高的数据存储要求

- saspool:普通性能磁盘组成的资源池,主要用于存储普通性能要求的数据

- nlsaspool:较差性能磁盘组成的资源池,主要用于存储温数据,长期保留数据等

注:该演示场景会使用上述三种按性能划分的存储资源池存储不同类型的业务数据,例如:

• 配置文件json, xml文件通常是应用实时读写的文件,我们可以通过配置放置策略默认写入ssdpool,满足高性能读写的要求

• 录像、录音等文件,如mp4, avi, mov, mp3等格式的文件通常文件比较大,但是也不会被经常访问,我们可以通过配置放置策略默认写入nlsaspool,满足长期保存和高性价比的要求

• 其它类型的文件,默认放置在saspool

接下来我们通过Spectrum Scale图形管理界面快速配置三个放置策略 (Placement Policy),default / highperf / lowperf:

03

进入信息生命周期管理(Informatica Lifecycle)页面

访问左导航Files -> Information Lifecycle

aece0ab5f55e98a6d56dd96a04bd78ec.png

查看右侧的Policy列表:

097dd34ac6ccb7e35dd4041c8b3425ff.png

Active Policy:当前活跃的策略规则

Policy Repository:策略库

04

创建策略(Policy)

- 点击进入Policy Repository标签页

- 点击+按钮,新建一个Policy,名字为"mypolicy1"

877f8be25324a1f91399819223eb0cee.png

05

配置默认放置规则 Placement default

注:这里我们的目的是让没有特殊声明的一般的文件默认写入saspool资源池

- 在mypolicy1下方有一个默认的规则Placement default (*),鼠标点击选中

- 在右侧编辑pool = saspool (表示系统默认会把所有文件放置在saspool中)

- 点击Apply Changes按钮,保存设置

c5b767921dd86432d7f363612a7a2e30.png

06

创建并配置高性能需求的放置规则

注:这里我们的目的是把json和xml格式的文件默认写入ssdpool

- 点击Add Rule按钮新建一个placement规则,Rule name: highperf,Rule type: Placement,

fe30df888c2622d09a9437454d1877f7.png

- 在右侧编辑pool = ssdpool

42b7db98a60f17356ed79a552729f90d.png

- 向下滚屏,如图所示,编辑Placement Criteria:Extension IN *.json, *.xml

fe489af1261b4f74d67d5c169b16892a.png

点击左侧下方的Apply Changes按钮,保存设置

07

创建并配置低性能需求的放置规则

注:这里我们的目的是把mp4,mp3,avi格式的音视频文件默认写入nlsaspool

- 采用相同的方法,参考上一步图片,点击Add Rules按钮再新建一个placement规则,Rule name: lowperf,Rule type: Placement

- 在右侧编辑pool = nlsaspool

- 编辑Placement Critieria:Extension IN *.mp4, .mp3,.avi

- 点击Apply Changes按钮,保存设置

08

调整放置规则(Rules)的顺序

注:这是为了保证声明过文件格式的文件可以优先写入默认的资源池

- 在左侧,将Placement default规则拖拽到最下方

- 点击下方Apply Changes按钮,保存设置

6ae38e77de24aa0b97b402f60585be52.png

09

激活策略

注:此时创建的包含三个放置规则的mypolicy1策略并没有在系统里生效,只是注册在了策略库(Policy Repository)里,下面我们把它们都激活在

左侧滚屏至最上面,右键选中mypolicy1,选择Apply as Active Policy

e1fb103843cb7b1a8c43a108f1aef5b1.png

点击进入Active Policy标签页,查看当前Active的策略列表

148cf57c7bc5d1ad6ee5c73100e6762c.png

到此为止,所有的设置项都已经完成。

10

模拟文件写入,验证放置策略

注:这里我们直接进入GPFS服务器端的 /gpfs目录中,模拟写入json、pdf和mp4格式的三个文件,并查看他们是否自动写入了规则设置的资源池中

- 在桌面下方任务栏中,找到PuTTY客户端,它已经默认登陆到GPFS服务器中

- 进入gpfs文件目录# cd /ibm/gpfs

- 分别新建一个频繁访问的json文件,一个访问不多的pdf文件和一个不经常访问的mp4文件,模拟写入gpfs目录中

# echo ‘aaa’ > a.json

# echo ‘bbb’> b.pdf

# echo ‘ccc’ > c.mp4

- 通过Spectrum Scale命令验证三个测试文件当前所在的存储资源池

# mmlsattr -L a.json

# mmlsattr -L b.pdf

# mmlsattr -L c.mp4

查看输出结果中的storage pool name值,正常情况下应该显示:a.json -> ssdpool

b.pdf -> saspool

c.mp4 -> nlsaspool

通过上面简单的测试我们可以发现Spectrum Scale可以通过快速的配置对数据的写入操作进行资源池分配。我们在示例中仅仅演示了基于文件后缀名的判断条件,还有其它的参数,如用户,用户组等可以左右判断属性,您可自助实验。

如有相关问题,请在文章后面给小编留言,小编安排作者第一时间和您联系,为您答疑解惑。

    推荐阅读   

c0a5fb8080239869f2750f263cd51868.png

1cee3688424d23190566f371980eabf4.png

    推荐视频    

【信息科学与工程学】计算机科学与自动化——第一百五十五篇 缓存系统设计03 编号366-380共15个条目,涵盖了SQL/NoSQL数据库、小文件、对象、向量、CDN、应用框架等各类数据对CPU、GPU、ASIC、FPGA、NPU、内存、SSD、HDD、RAID卡、操作系统、Redis、容器、MPP数据库、CDN等缓存硬件和软件的配置需求。:mark_cache_size,uncompressed_cache_size,merge_tree配置。:调整vm.dirty_ratio,增大vfs_cache_pressure,启用透明大页。 阅读详情

相关推荐

GPFS专题4】---IBM Spectrum Scale (GPFS) 原理详解

IBM Spectrum Scale(原名为 GPFS,General Parallel File System)是一种高性能、分布式的集群文件系统,专为大规模数据共享和并行访问设计。它允许多个客户端同时访问共享文件,提供高可用性、容错性和扩展性,广泛应用于高性能计算(HPC)、大数据分析、AI 训练和企业级存储场景。IBM Spectrum Scale 通过分布式架构、并行访问和智能数据管理,为企业提供了高性能、高可用、可扩展的存储解决方案。

jundao1997的专栏 724

IBM GPFS分布式存储架构解析.docx

IBM GPFS分布式存储架构解析.docx

ibm-spectrum-scale-install-infra:Spectrum Scale安装和配置

使用Ansible角色的IBM Spectrum ScaleGPFS)部署 具有多个角色的Ansible项目,用于安装和配置IBM Spectrum ScaleGPFS)。 目录 产品特点 基础架构最低测试配置 预先构建的基础架构(使用静态清单文件) 动态库存文件 最低测试的操作系统 x86_64,PPC64和PPC64LE上的RHEL 7 x86_64和PPC64LE上的RHEL 8 通用先决条件 禁用SELinux( scale_prepare_disable_selinux: true ),默认情况下为false 禁用防火墙( scale_prepare_disable_firewall: true ),默认情况下为true。 禁用防火墙端口 安装并启动NTP 创建/ etc / hosts映射 打开防火墙端口 生成SSH密钥 用户必须设置基本操作系统存储库 核心频谱规模前提条件 安装yum-utils软件包 安装gcc-c ++,kernel-devel,make 安装elfutils,elfutils-devel(特定于RHEL8) 核心频

存储调研:GPFS并行文件系统原理解析

GPFS(GeneralParallelFileSystem)是IBM公司推出的行业领先的并行分布式通用并行集群文件系统,GPFS从1993开始研发,1995年投入商用(最早投入使用在多媒体处理行业,所以我们现在看到GPFS的很多目录和命令为什么都有MM[multimedia]两个字母,就是根据这个背景延续下来的)。

渡江客涂鸦板 2万+

DB2-GPFS(General Parallel File System)并行文件系统简叙、安装使用及DB高可用

# DB2-Spectrum Scale(GPFS)并行文件系统简叙、安装使用及DB高可用 GPFS介绍,以及简单配置资源

MyGaoRen的博客 2479

IBM Storage ScaleGPFS)并行文件系统的搭建和简单使用

新钛云服已累计为您分享812篇技术干货实验环境信息我们将在三台RHEL8.3版本的x86服务器上安装Spectrum Scale 5.1.1版本三台服务器已经预先进行了如下配置(1)RHEL安装盘作为本地YUM源(2)节点间互信,免密码登录(3)/etc/hosts中添加主机名称和IP地址信息(4)防火墙关闭且SELINUX=disabled(5)预安装以下rpm包 yum install ke...

NewTyun的博客 1734

VMware中创建 IBM Spectrum Scale (GPFS )ECE集群

【代码】VMware中创建 IBM Spectrum Scale (GPFS )ECE集群。

qq_24343177的博客 1283

GPFS、Alluxio、JuiceFS架构对比与选型指南:从HPC到云原生的存储演进

分布式存储系统是现代数据密集型应用(如AI训练和大数据分析)的基石,其核心目标是在集群环境中提供统一、高性能的数据访问能力。其工作原理通常基于将数据分散存储在多个节点上,并通过元数据服务协调访问,以此实现高吞吐、高可扩展性和容错性。在云原生与混合架构成为主流的今天,存储技术的价值不仅在于提供持久化能力,更在于如何高效桥接计算与存储、优化数据访问速度并控制成本。这催生了面向不同场景的专用解决方案:例如,为传统高性能计算(HPC)设计的共享文件系统,为数据湖加速而生的内存级缓存层,以及基于对象存储构建的弹性文件

weixin_30781775的博客 350

介绍IBM Spectrum Scale

IBM Spectrum Scale概述 IBM Spectrum Scale是一个集群文件系统,可以从多个节点提供对单个文件系统或一组文件系统的并发访问。 节点可以是SAN连接,网络连接,SAN连接和网络连接的混合,或无共享群集配置。 这样可以高性能地访问这一通用数据集,以支持横向扩展解决方案或提供高可用性平台。 IBM Spectrum Scale具有许多通用数据访问以外的功能,包括数据复制,...

HHFQ的博客 3915

【存储】GPFS简介及搭建

【存储】GPFS简介及搭建 第一章GPFS简介 1.1 GPFS 文件系统介绍 IBMGPFS(General Pa...

coco3600的博客 3700

IBM 磁盘阵列管理工具 IBM X3650 storRAID

IBM 磁盘阵列管理工具 IBM X3650 M4 storRAID 附32位和64位工具

IBM Storage ScaleGPFS)迁移(Migration)策略演示

新钛云服已累计为您分享820篇技术干货01登录IBM Storage Scale图形管理界面(GUI)执行以下操作接受自签名证书先点击 Advanced...(划至页面最下方),再点击 Accept the Risk and ContinueName输入admin,Password输入admin001,点击Sign In登录按钮登录Spectrum Scale管理平台02查看资源池(Pools)访...

NewTyun的博客 324

IBM Storage,再出发!

2015年,8年以前,IBM在中国正式宣布推出IBM Spectrum Storage。它的中文译名——“光谱存储”,更让人印象深刻。IBM Spectrum Storage也的确名副其实,它的光照亮了“软件定义存储”,让IBM又一次抢得了先机。时过境迁,数字化的长河已经流淌至“云原生、混合多云、大数据、人工智能”的阶段。当传统IT基础架构基本被云所取代,应用快速走向现代化,大数据分析、人工智能都...

331

天空一声巨响,GPFS闪亮登场 (GPFS vs HDFS)

GPFSIBM 公司第一个共享文件系统,起源于 IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。作为这项技术的核心, GPFS 是一个并行的磁盘文件系统,它保证在资源组内的 所有节点可以并行访问整个文件系统;而且针对此文件系统的服务操作,可以同时安全地在使用此文件系统的多个节点上实现。 GPFS 允许客户共享文件,而这些文件可能分布在不同节点的不同硬盘上。 与 NFS 相比,G

Mr Ben 8752

IBM GPFS并行文件系统解决方案

随着技术的发展,大规模的并行计算的方式激发有关行业对高性能计算机的需求,作为后起之秀的Linux 集群系统,吸取了SP 大规模并行机的诸多优势,IBM的通用并行文件系统GPFS 等和Linux 集群系统的竭诚不仅能在并行运算方面的性能得到保障,增强了集群系统的可管理性,而且采用具有高可用性的IBM xSeries 服务器,可以大大降低成本。   目标市场:   金融行业、气象局

cici_dh的博客 3312

IBM GPFS并行文件系统

原文地址:http://www.hqschina.com/Show.aspx?info_lb=283&info_id=751&flag=103 IBM GPFS文件系统是一种专门为群集环境设计的高性能、可扩展的并行文件系统。GPFS可以在群集中的多个节点间实现对共享文件系统中文件的快速存取操作,并提供稳定的故障恢复和容错机制。 被业界超大规模高性能计算机...

weixin_30788239的博客 687

GPFS 5.1安装

最小内存2G,不然无法启动节点名节点IP节点作用gpfsnode1gpfs主节点gpfsnode2gpfs从节点gpfsclientgpfs客户端timeserver时间同步服务器。

m0_49438862的博客 3567

Spring 源码系列(23): SpringApplication.run() 启动全流程

本文深入解析了SpringApplication.run()的核心流程,通过源码拆解揭示了从启动到容器就绪的完整生命周期。文章重点分析了三个关键阶段:prepareEnvironment的配置加载逻辑(系统属性>环境变量>配置文件)、createApplicationContext的容器类型推断机制(基于classpath判断Web/Reactive/普通应用),以及callRunners的启动后回调特性(按@Order执行初始化任务)。同时澄清了常见误区,如内嵌Tomcat实际在refresh阶段的onR

不才不才不不才的博客 414
上一篇: 阿里云闪电立方-数据备份到云下
下一篇: 夜莺Nightingale:打造高可用监控平台
新钛云服
博客等级 码龄7年 501粉丝 477原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值