Win 11系统使用Wget批量下载GDELT原始数据

win11使用wget命令来实现对在线API文档的下载 阅读详情

一、准备工具和数据

wget下载:https://eternallybored.org/misc/wget/
建议下载最新版本,直接下载EXE文件即可(默认下载至“下载”路径)

GDELT原始数据:GDELT 1.0 Event Database :All GDELT Event Files (gdeltproject.org)
GDELT 1.0 Event Database Master CSV Data File List – English.

二、数据下载

1.在D盘新建文件夹wget_example。

2.将wget.exe从“下载”复制进“wget_example”,并在该文件夹新建txt文件,命名为filelist.txt。

3.打开GDELT原始数据网址(本文以1.0为例)

4.在浏览器页面中右键选择“检查”,点击“控制台(Console )”,在下方空白处输入以下代码提取该网页页面内所有超链接的http协议形式URLs。

urls = $$('a'); for (url in urls) console.log ( urls[url].href ); 

代码输入前

代码输入后

5.在桌面新建文本文件url.txt,选中需要年份范围的链接(如1979-20230706),复制,粘贴进该文件

桌面文件url.txt

6.桌面新建excel文件url.xlsx,在选项栏“数据”导入文本文件url.txt。

分隔符选择“空格”,点击“加载”。

删除Column1所在列以及Column2所在行,仅保留网址内容。

“另存为”:路径选择“桌面”,“保存类型”选择“文本文件(制表符分隔)”,记得重命名。

导入前

分隔符不要选错!

导入后

7.在桌面打开url2.txt,将所有链接复制粘贴至D盘filelist.txt,保存并关闭文件。

8.选中wget_example文件路径,快捷键“cmd”,“Enter”进入当前路径的命令窗口

9.输入以下代码,“Enter”开始运行。接下来等着就好啦~

wget -i filelist.txt

下载进程

10.下载完成后会显示相关信息。

下载完成!

完结撒花!!!

Windows 10/11下快速安装wget的3种方法(附64位/32位下载链接) 本文详细介绍了在Windows 10/11系统中安装wget工具的三种主流方法:从官网手动下载部署、使用Chocolatey或Winget包管理器一键安装,以及集成于Git Bash或WSL等开发环境。重点探讨了如何将wget与批处理文件结合,实现自动化下载任务,提升工作效率。 阅读详情

相关推荐

windows wget.exe免费下载

windows wget.exe免费下载

怎样从gdelt下载数据_Gdelt数据库初探

一、Gdelt数据GDELT(www.gdeltproject.org)每时每刻监控着每个国家的几乎每个角落的100多种语言的新闻媒体--印刷的、广播的和web形式的,识别人员、位置、组织、数量、主题、数据源、情绪、报价、图片和每秒都在推动全球社会的事件,GDELT为全球提供了一个自由开放的计算平台。GDELT主要包含两大数据集:Event Database(事件数据库)、Global Know...

weixin_39998541的博客 3535

wget.exe for windows(windows版本wget

wget是一个很好的网络下载工具,linux环境下功能强大,可以探测url状态,此款工具是windows环境下的wget.exe 下载以后可以存放到system32目录下方便调用。

wget 的安装与使用Windows)

目录一、wget下载与安装1.下载2.安装3.配置环境 4.验证是否安装成功5.可能出现的问题二、wget的卸载三、wget使用wget下载链接:Wget for Windows (sourceforge.net)进入页面后,点击这个链接下载wget 进入界面后,点击download下载文件 下载得到.exe文件 右键以管理员身份运行,开始安装下面是一路next 这个安装目录可以改一下,装到自己想装的位置,并记住这个位置 ,后面需要添加环境 (1)新建系统变量此电脑→属性→高级系统设置→环境变量→系

Billie使劲学的博客 12万+

wgetwindows版 )下载、安装及使用

wgetwindows版 )下载、安装及使用

suncrx的博客 9400

win10上如何使用wget下载+配置环境变量),一文解决win10上使用配置问题

win10上安装wget并配置环境变量,一文全通

weixin_43576336的博客 2211

Windows下 wget 的安装与使用

Windows下wget的安装与使用

慕伏白の博客 7338

Windows10下安装wget

wget 是一个从网络上自动下载文件的自由工具,支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议 下载,并可以使用 HTTP 代理。将下载wget.exe放在C:\Windows\System32下(或者下载压缩包解压添加环境变量 见方法二)电脑(非桌面快捷方式)—右键属性—高级系统设置—环境变量—系统变量—path编辑—新建(解压后的路径)win+R输入cmd进入命令行,输入wget -v查看是否安装wget下载后解压,记住解压后的路径。输入以下命令看是否安装成功。

qq_38473254的博客 4736

数据下载】利用wget命令批量下载ftp文件和文件夹

这是一个“”数据大发现”的时代,大家都在创造数据使用数据以及分享数据,首先一步我们就需要从数据库download我们需要的数据。这是完整的参数,可以按需使用。-r 递归下载子目录文件。-nH 不创建主机目录。-np 不追溯父文件夹。

m0_54634272的博客 6122

windows wget安装下载方法及使用方法教程教程

如果网站数据需要一个一个下载,即可以尝试使用该工具,这是一个可以实现批量下载的工具

weixin_44001203的博客 1万+

wget.exe 可执行程序下载

我这边是windows 操作系统直接选择exe,最新版的程序下载即可。

zengliguang的专栏 783

windows命令行安装wget

2、把下载好的文件放到C:\Windows\System32\下面就好了。1、下载wget.exe。

学习使我快乐_玉祥 3598

利用Wget批量下载网页链接中的数据

3、可以参照博文下载到指定文件夹;不指定的话,则下载到与文本文档一致的默认文件夹中。wget 的安装与使用Windows)_wget windows-CSDN博客。2、以Argo温盐数据集Met office(EN4)为例,进行批量下载wget下载文件到指定目录_wget指定下载目录-CSDN博客。在默认文件夹下放置需要下载数据链接至txt中,出现此页面 即为下载进行中。

WH_G_Y的博客 3022

windows中wget下载使用

wgetwindows系统如何下载使用

weixin_54106682的博客 4455

【一篇搞定配置】wget 下载与安装(Window)

wget是Linux中的一个下载文件的工具,wget是在Linux下开发的开放源代码的软件,作者是Hrvoje Niksic,后来被移植到包括Windows在内的各个平台上。wget 是一个从网络上自动下载文件的自由工具,支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议 下载,并可以使用 HTTP 代理。"wget" 这个名称来源于 “World Wide Web” 与 “get” 的结合。所谓自动下载,是指 wget 可以在用户退出系统的之后在继续后台执行,直到下载任务完成。

十二月的猫 1万+

蓝易云:Linux下批量下载文件命令curl或者wget命令使用教程

在Linux系统下,可以使用curl或者wget命令来进行批量下载文件。这两个命令都是常用的用于网络数据传输的工具,可以用于下载文件、访问API等。使用curl或wget命令进行批量下载文件可以提高效率和便捷性,同时注意合法使用,以确保不违反相关规定和法律。

高性价比服务器就选:蓝易云 2451

Windows环境下利用Wget批量下载Earthdata数据

Earthdata批量下载数据

bullety的博客 1616

Windows安装wget

3. cmd输入wget --version,若未显示'wget' 不是内部或外部命令,也不是可运行的程序或批处理文件。2. 将下载下来的wget.exe放入C:\Windows\System32 目录即可。选择一个版本,下载exe。

weixin_60268064的博客 489
Zhou_mo_mo
博客等级 码龄4年 2粉丝 1原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值