阿里云闪电立方-数据备份到云下

Java应用从零接入阿里云ARMS监控+SLS日志采集完整实战指南 本文详细介绍了Java应用从零开始接入阿里云ARMS应用监控和SLS日志服务的完整实战流程。内容包括:1)前置环境与权限准备,涵盖网络白名单、目录挂载和参数配置;2)ARMS Java Agent无侵入探针接入,实现应用性能监控;3)SLS ilogtail日志采集器部署配置,完成日志集中采集;4)ARMS与SLS关联打通,实现链路与日志双向溯源;5)接入效果校验与常见问题排查。通过本文指南,读者可快速搭建企业级可观测体系,无需修改业务代码即可实现全链路监控与日志关联。 阅读详情

425dd6e33c6e485796304c31d89d0a72.gif

新钛云服已累计为您分享815篇技术干货

058a7034a374c0b1485054cbae414b65.gif

01

   背  景

因云上软件系统停止运行,40 余 TB 的 OSS 数据迫切需要进行下云备份操作。在经过详尽的全面评估后,最终确定采用阿里云的闪电立方方案来实现数据迁移。同时,为了妥善存储这些数据,新购置了一个 NAS设备。

02

  准备工作

前期准备

d450793e441585f90dbb798888e66691.png

NAS前期准备

一般数据量小于50TB以下的,可考虑类似桌面型的塔式NAS存储,一般为2~6块硬盘,具体可用大小可根据单盘容量来计算,例如6盘的设备,单盘12TB(实际容量可按10.91TB计算,这个值可能会因文件系统格式化和系统保留空间等因素略有减少,但通常不会有太大变化),做完RAID 5后(RAID 5允许一个磁盘故障而不丢失数据)可用容量约50TB。

另外防止数据存在丢失的风险,需要考虑存储设备是否有加密措施?群晖NAS设备有两种加密措施,一种是共享文件夹加密,另外一种是synology卷加密。具体看需求,不需要两种同时使用。我打电话问群晖售前,建议用第二种synology卷加密。故采用如下表所示的NAS配置:

93cb86d79b607516ec2b1dd16b146087.png

预估时间

b6a2e697262682b3e796dbcd788e1413.png

预估费用

97fb6337934839809b1c53283b34baf2.png

03

  具体操作步骤

下 单

下单前请通过工单方式提交申请,将上文“前期准备”中的内容提供给阿里云。申请审批通过后,会在闪电立方购买页开放“数据备份到云下IDC”的购买入口(如下图所示),信息填写完成后下单。

bbcd0e908d740334ff4b04d438d08738.png

下单成功后,阿里云会进行备货,从就近的仓库调用设备到指定机房,然后做数据下云操作。下云完成后给到我一个迁移详情的excel表格,里面有数据在闪电立方上的路径,等收到设备后即可通过路径查看到数据。阿里云安排设备下架后,会将设备寄送到我指定的收货地址。

注意:因为我这边需要闪电立方通过万兆网口直接对拷到NAS上,所以需要告诉阿里云在备货时提供2个RJ45的网线和2个光转电模块。

收到设备并迁移数据

开箱验货

收到闪电立方设备时,查看设备和配件是否完整,配件:2个RJ45的网线、2个光转电模块、1根国标电源线(机器顶部面板打开即可看到)。检查是否有严重损坏,如果出现设备损坏等情况,请立即联系阿里云工作人员。

自备显示屏、键盘、鼠标连接闪电立方设备,输入用户名和密码(请联系阿里云工作人员获取用户名和密码),登录闪电立方。检查是否缺少数据,因为我这边在数据传输完成后才发现有两个任务的目的路径重复了,导致这两个任务需要重新从OSS下载,所以建议在一开始收到闪电立方的时候就检查数据。

NAS 挂载到闪电立方

第一步、使用光转电模块和RJ45的网线,将NAS与闪电立方的万兆网口直连。

a87c0443abf6810ed89522108be4272c.png

第二步、配置NAS网络。打开NAS桌面应用程序上的“控制面板”,选择“网络”,选择“网络界面”下的“局域网5”进行编辑,手动设置网络配置,将IP地址配置为“192.168.1.2”,子网掩码配置为“255.255.255.0”,完成后点击“确定”按钮。

84a1d3809a73ce5c888706d864aee650.png

第三步、配置NAS的NFS。在“控制面板”里的“文件服务”中,选择“NFS”,勾选“启用 NFS 服务”,“最大 NFS 协议”设置为“NFSv3”。

b3424f8a17366262396754555c7bd442.png

在“控制面板”里的“共享文件夹”中,选择想要共享的目录,配置“NFS 权限”,新增如下图所示的配置。

521eb08776c3617d3b026552c6ef5a37.png

第四步、配置闪电立方网络,将IP地址改为“192.168.1.4”,子网掩码为“255.255.255.0”,注释掉网关,完成后重启网卡。

a8d8b42b528b96881dd7854c16bacefd.png

ping NAS的地址“192.168.1.2”,检查是否能ping通

a15b9210c7062ee4bf0d2f5b90f0a118.png

使用下面的命令查看NAS已经共享出来的目录

showmount -e 192.168.1.2

ea495976a55214ee87afc17d0e00a1f7.png

使用下面的命令将NAS挂载到服务器的/mnt/nas目录

mount -t cifs //192.168.1.2/共享的目录名称 /mnt/nas -o username="NAS的用户名",password="NAS的密码",vers=3.0

迁移数据

步骤一、找到ossimport迁移工具

  1. 在闪电立方上执行ps -ef | grep jar,查看是否有master.jar、worker.jar、tracker.jar 三个进程,有的话执行kill -9 进程号,将3个进程都杀掉。

  2. 在闪电立方上执行cd  /mnt/cube/software/ossimport进入ossimport目录,以下操作都在该目录进行。

步骤二、创建迁移任务

任务是需要指定到目录层级的。如果需要迁移目的端所有的数据,创建1个迁移任务即可。如果只迁移目的端N个目录下的数据,则创建N个任务。

1.  配置job.cfg文件

执行cd conf,进入conf目录。有几个迁移任务,就需要复制几份job.cfg文件,注意做好cfg文件区分,例如job1.cfg、job2.cfg、job3.cfg。打开其中一个cfg文件,例如 vi job1.cfg,配置下列信息。

jobName=   自己取任务名。
srcType=local
srcPrefix=   填写源路径,注意后面要加上/(例如/mnt/cube/data/business/)
destType=local
destPrefix=   填写目标路径,注意后面要加上/(例如/mnt/nas/business/)

【补充举例说明:假设目的端挂载到闪电立方上的挂载点是/mnt/nas,要将闪电立方中的数据迁到目的端/mnt/nas/business目录里。闪电立方的存储目录为/mnt/cube/data/,则srcPrefix填写/mnt/cube/data/business/,destPrefix填写/mnt/nas/business/】

2.  部署服务

执行bash console.sh deploy

3.  启动服务

执行bash console.sh start

4.  输入ps -ef | grep jar查看

如果有master.jar、worker.jar、tracker.jar 三个进程,说明启动正常。

5.   提交迁移任务

执行bash console.sh submit conf/cfg文件名 ,例如bash console.sh submit conf/job1.cfg

步骤三、查看迁移日志,确认迁移状态

查看迁移日志

在ossimport/workdir/logs/ 目录下会存放一些日志用于记录文件的上传状态以及任务的状态。

•         job_status.log该文件30秒更新一次,用于简单记录任务的状态信息。

•         jobsForSls_v1.log 记录整个任务的状态信息,每分钟更新一次,直到所有任务都结束为止。

确认迁移任务状态

1.       确认所有迁移任务是否结束,任务状态是否都为succeed。

cd /mnt/cube/software/ossimport/workdir/logs/查看job_status.log文件,确认所有任务是否都为succeed状态。

2.       如果有running状态的,表示任务还没结束,如果有failed状态的,说明有文件迁移失败,可联系闪电立方工作人员协助排查失败原因。

3.       确认所有任务都结束,且为succeed状态后,就可以做下一步操作了。

步骤四、停止迁移服务,设备关机

停止迁移服务

cd /mnt/cube/software/ossimport

bash console.sh stop

设备关机

执行poweroff指令关机。

04

  设备归还并结束订单

用户校验完数据后,让阿里云安排物流上门取件,及时将设备归还给阿里云,否则设备租用到期后7个自然日内未归还设备,会被视为设备丢失,需要进行赔付,具体请见下单页。阿里云那边收到后会结束订单。

至此,通过阿里云闪电立方将数据备份到云下的操作完成。

在本文中,我们详细介绍了使用阿里云闪电立方进行数据备份到云下的操作流程。通过这一过程,我们成功地将40TB的OSS数据安全、高效地迁移到了本地NAS设备,确保了数据的完整性和可用性。这一实践不仅展示了阿里云闪电立方在处理大规模数据迁移方面的强大能力,也体现了我们在数据管理和保护方面的专业水平。

如有相关问题,请在文章后面给小编留言,小编安排作者第一时间和您联系,为您答疑解惑。

    推荐阅读   

fe250f3a2c7911d4bee22be039c6b550.png

c4e8c5670ea3080e03e9177aac9e3cd9.png

    推荐视频    

unity转微信小游戏:使用CDN加载游戏(微信开发者工具云开发CDN) 阅读详情

相关推荐

KVM环境下Tesla T4/v100 vGPU性能调优手册:显存分配策略与帧率限制解除

本文深入探讨了在KVM虚拟化环境中,针对NVIDIA Tesla T4和V100 GPU进行vGPU性能调优的实战策略。核心内容包括如何根据AI训练、科学计算等不同负载,精细规划显存分配策略,并详细介绍了通过修改sysfs参数解除帧率限制器(FRL)以释放硬件潜力的方法,旨在帮助用户实现虚拟化GPU资源的最大化利用。

cuda7parallel的博客 582

阿里云闪电立方(海量数据迁移服)

阿里云闪电立方(海量数据迁移服) 产品定位:为海量数据迁移 效率更高:1PB数据只需要7天时间完成数据导入到阿里云OSS  成本更低:相比专线和硬盘邮寄,成本下降58%  安全可靠:阿里云官方出品,强化的安全机制和健全的服务流程,确保您数据无忧  灵活方便:提供塔式设备和标准机架设备,提供租用和按数据量计费模式 主要场景: 本地数据中心海量数据需要快速迁移到云端存储(归档,分析,分发)...

weixin_44487968的博客 2939

阿里云waf计算某API访问阈值

查看max_rpm ip看 Top N 峰值分钟(定位突发)按 IP 汇总(最实用,用来定限流白/黑名单)是突发扫描;是持续轮询(监控探测或爬虫)。两者的处置完全不同。判断是不是机器人且基本就是脚本;真实用户的 UA 和路径都会有分散。上线前先跑这条,看会打到谁企业/校园出口是几百人在几小时里均匀分布,绝不会 86% 的请求砸在同一分钟。这种形状只有两种成因:客户端死循环重试,或者脚本化的爆发式抓取。。

墨痕诉清风的博客 44

阿里云上云迁移服务商选型+官方资质核验+ACE认证团队一体化实战:从“买到假代理”到“官网可查认证服务商承接迁移项目

上云迁移是一项复杂的系统工程,其成功始于对服务商的明智选择。通过系统化的选型框架严谨的官方资质核验和与ACE认证团队的一体化实战协作,企业完全可以将“买到假代理”的风险降至为零,并确保迁移项目在可控、可视、可靠的路径上成功实施。核心行动清单按五个维度建立选型打分卡,量化评估每家服务商。严格执行三步官方核验,资质不符者一票否决。将ACE认证工程师数量与参与度写入合同关键交付物。重视迁移演练,用测试暴露问题,而非生产环境。明确知识转移要求,培养自身团队的云运维能力。

Pi210301的博客 116

阿里云 ECS 安装 ClickHouse:密码配置、目录迁移与基础调优

本文详细介绍了在阿里云ECS上安装和配置ClickHouse列式数据库的全流程。主要内容包括:1) 通过Yum源安装ClickHouse服务端和客户端;2) 配置监听地址和密码安全设置;3) 基础性能调优参数建议,包括查询并发、内存限制、后台任务池等;4) 将数据目录迁移到数据盘的操作步骤;5) 备份恢复的常用方法。文章以CentOS/RHEL系统为例,提供了配置文件修改示例和关键参数说明,适合作为ClickHouse快速部署的参考指南。

fly0512的博客 248

阿里云 Milvus AI Function | 低成本和高稳定的双重加强

阿里云 Milvus AI Function 通过 Embedding Cache 与 AI Batch 解决降本,通过内网直连、多账号负载均衡与故障切换、缓存降级守住稳定,再用 Data Inspection 补上内容安全的最后一道门。

科技很有意思 285

通配符证书到期,阿里云上几个服务的证书怎么一次换完

管过阿里云 CDN 的人大概都经历过这种事:证书快到期了,去 SSL 证书控制台下载新的,再跑到 CDN 控制台,找到域名,换上去。如果 OSS 也绑了自定义域名,再去 OSS 换一遍。还有 ALB,又是一遍。我手上有个项目,通配符证书挂了七八个子域名,分布在 CDN、OSS 和 ALB 上。每次证书到期,整套流程走下来半小时起步。最怕的不是麻烦,是换漏——有一次某个 OSS 的自定义域名忘了换,等线上报错才发现,用户那边已经看到浏览器的证书警告了。后来换了个思路,把证书签发和部署集中到一个地方管。

zzpeter的博客 187

阿里云双机负载均衡平滑升级方案(SOP)

本方案适用于在阿里云负载均衡(SLB/ALB)后端挂载两台 ECS 的场景下,对其中一台服务器进行平滑升级的操作。通过滚动升级的方式,最大程度减少对业务的影响。

2301_78530027的博客 367

阿里云国际账号注册代充值怎么选服务商?

企业在使用阿里云国际服务时,注册账号和充值环节常遇挑战。选择代充值服务商时需注意:1.注册流程规范性,避免虚假资料;2.充值透明度,确认金额核对与异常处理机制;3.服务完整性,优先选择能提供开票、账单管理及基础技术支持的长期合作伙伴;4.警惕夸大承诺,关注实际服务内容而非低价噱头。建议企业根据自身需求(临时/长期使用)评估服务商资质,确保账号安全与财务流程合规,官方政策仍应以阿里云官网为准。

tg_xianheyun的博客 169

阿里云PAI发布通用蒸馏框架EasyDistill2.0,提供主流大模型蒸馏场景最佳实践

阿里云人工智能平台 PAI 开源了大模型蒸馏框架 EasyDistill,并陆续发布了 DistilQwen 系列蒸馏模型。

科技很有意思 317

【环境变量中阿里云通义API认证失败】WebClientResponseException$Unauthorized: 401 Unauthorized

摘要: IDEA工具调用阿里云DashScope API时出现401未授权错误(WebClientResponseException.Unauthorized)。问题可能由身份验证失效或配置错误导致。解决方案:尝试重新启动IDEA工具以刷新认证状态或检查API密钥配置是否正确。若问题持续,需验证服务权限及网络连接。

qq_67947670的博客 178

阿里云国际版代理商:OSS自定义域名绑定与HTTPS配置排障教程

本文围绕阿里云国际版 OSS 自定义域名绑定展开实操讲解,海外 Bucket 无需 ICP 备案,绑定自定义域名才能实现 HTML 网页正常预览。文中梳理完整配置流程,强调需优先完成控制台域名绑定与所有权校验,再配置 DNS 的 CNAME 记录,切忌使用 A 记录。针对高频的 403 报错、解析生效却无法访问、HTTPS 证书告警、SPA 页面刷新 404 等故障给出分步排查方案,同时说明国际站 SSL 证书无免费版本的关键限制,补充验证手段、域名解绑安全顺序与 FAQ,帮助出海开发者避开配置陷阱,完成静

TG_yilong_cloud的博客 414

阿里云代理商采购+超额返点一体化实战:从“单次采购无优惠“到“年度合作解锁最高35%专属返点“的成本优化方案

成本结构转型:从固定支出到可优化变量采购模式升级:从零散采购到战略合作管理能力提升:从被动付费到主动优化生态价值获取:从单纯用户到生态参与者最终,云成本管理不再是财务部门的记账工作,而是成为企业数字化转型的核心竞争力之一。通过专业的采购策略和深度的生态合作,企业能够在保证业务发展的同时,持续优化云资源使用效率,真正实现"降本增效"的战略目标。本文由典名科技基于多年阿里云生态服务经验整理,所有数据和建议均来自实际客户案例,仅供参考。具体合作条款请以与代理商的实际谈判结果为准。

Pi210301的博客 361

GPU算力租赁市场有哪些主要平台?智星云、阿里云、PPIO等9家服务商的供给路径

GPU算力租赁市场正在从“按小时出租显卡”转向多种交付模式并存。个人开发者需要快速开通的单卡环境,大模型团队需要多机多卡集群,企业可能要求GPU接入现有云系统,设计和影视团队则更关心远程桌面、图形驱动及大文件传输。目前市场中的GPU服务商大致形成四条路径:提供多种GPU及不同资源形态的专业算力平台;将GPU纳入完整云产品体系的综合公有云;面向大模型训练和推理提供集群能力的AI算力云;面向开发、科研或图形应用提供轻量化使用环境的平台。

2503_92990636的博客 198

阿里云上云迁移服务商选型+全生命周期服务一体化实战:从“只看价格折扣”到“五维标准筛选靠谱迁移伙伴”

上云迁移是企业数字化转型的关键一步。选择一个靠谱的迁移服务商,意味着选择了一个能理解你业务、具备深厚技术实力、并能提供长期价值的合作伙伴。从“只看价格折扣”到“五维标准筛选”,本质上是将迁移从一项“成本支出”转变为一项“战略投资”。希望本文提供的选型框架和实战经验,能帮助您拨开迷雾,找到那个真正能助力您平稳上云、持续创新的可靠伙伴。(本文由典名科技基于真实项目经验总结,转载请注明出处。

Pi210301的博客 146

19. 大数据- 湖仓一体&BI 可视化- 阿里云实践

阿里云技术栈的实践。

princemilo的博客 487

基于阿里云Milvus 构建电商图文智能搜索平台

本方案基于阿里云向量检索服务 Milvus 版的图文向量化能力,融合多路召回、业务过滤与相关性重排,将"相似图片"真正转化为可运营、可采购的商品结果,帮助企业显著提升搜索准确率与转化效率。

科技很有意思 261

阿里云百炼大模型免费额度详解:如何零成本体验AI大模型能力

​建议在免费额度有效期内,系统性地规划测试用例,充分评估模型性能、响应速度及适用性,为后续的正式接入与规模化应用打下坚实基础。 最后,请务必定期查阅 阿里云百炼官方文档 与公告,以获取最新的免费额度政策、计费详情及功能更新。

2503_91800161的博客 178

阿里云远程连接

首先,点击远程连接,点击立即登录之后,先搜索ssh在哪里,命令是which ssh,发现有之后,查看状态,命令是systemctl status ssh,发现是打开状态(如果想关闭就systemctl stop ssh,这时候会让你输入密码,输入之后可以关闭,但是他会提醒你ssh.socket还在运行,这时候输入systemctl stop ssh.socket就可以关闭ssh,开启只需要systemctl start ssh就可以了)

2401_86167862的博客 173

云计算k8s集群部署

准备4台虚拟主机harbor、k8s-m、k8s-n1、k8s-n2分别配置ip将压缩包 harbor-offline-installer-v2.5.4.tgz放入harbor /root目录。

UseLessQQ的博客 224

22nm+FinFET+Process+Flow.pdf

22nm+FinFET+Process+Flow.pdf

上一篇: Microsoft Purview 中的扫描和引入
下一篇: IBM Storage Scale( GPFS)放置(Placement)策略演示
新钛云服
博客等级 码龄7年 501粉丝 477原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值