命令行快速下载Google Drive,One Drive,GitHub release大文件

本文介绍了深度学习工程师在处理大型模型权重和数据集下载时遇到的问题,如无命令行工具和GitHubrelease下载速度慢。作者分享了如何利用命令行下载GoogleDrive/OneDrive大文件以及使用镜像网站加速GitHubrelease下载的方法。

对于深度学习工程师,经常遇到需要下载大型模型权重/大型数据集的情况。大部分的情况是比较好处理的,比如通过huggingface公开的数据集。然而,Google Drive,One Drive等网盘没有提供命令行工具,不方便大批量下载数据;GitHub release虽然提供了可供直接wget/curl的超链接,但是直接下载非常缓慢。针对这两类问题,调研解决方法如下:
使用命令行下载Google Drive/OneDrive大文件:https://zhuanlan.zhihu.com/p/632737814
使用镜像网站提供的超链接快速下载GitHub release:https://zhuanlan.zhihu.com/p/521472595

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值