使用vscode远程连接hdfs(linux系统上搭建的hdfs)

最新推荐文章于 2024-12-04 20:00:27 发布
原创 最新推荐文章于 2024-12-04 20:00:27 发布 · 2.4k 阅读 · 6
标签
#hadoop #ssh #hdfs #ide
本文详细介绍如何通过VSCode使用SSH远程连接，包括检查SSH安装、安装OpenSSH、配置环境变量、验证配置及VSCode远程连接操作流程。适用于需要进行远程开发的程序员。

远程连接步骤

1.检查是否已经安装SSH

以管理员身份运行cmd,输入命令

ssh

C:\Windows\system32>ssh
'ssh' 不是内部或外部命令，也不是可运行的程序
或批处理文件

----->说明没有系统中目前没有安装SSH

2.安装OpenSSH

①下载OpenSSH压缩包,下载地址如下:
OpenSSH-Win64.zip
②在C:\Program Files目录下创建文件夹OpenSSH
③将压缩包赋值到C:\Program Files\OpenSSH 文件夹下,并解压,解压后可删除压缩包

3.配置OpenSSH的系统环境变量

桌面的计算机图标---->右键---->属性----->高级系统设置----->环境变量----->系统变量----->
找到PATH---->编辑----->在环境变量的哪一串文本的最后加上 C:\Program Files\OpenSSH; 记得最后需要加一个 分号,------>一路确定即可

4.验证环境变量配置是否成功

①以管理员身份运行cmd
②输出命令:


                

                
                
        

    





  


        

            

                      
                        
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



              

                

              

            
              



	

		

			

				
					
HdfsClient-在本地开发环境使用Java远程连接操作HDFS

				
			

			

				

					super_man_1995的博客
				

				

					06-30
					
					1695
					
				

			

		

		

			
				
一、pom.xml配置


<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apac

			
		

	



              


  
              

                


	

		

			

				
					
云计算实验——Hadoop安装与HDFS基础实践

				
			

			

				

					123-wqy的博客
				

				

					08-20
					
					2868
					
				

			

		

		

			
				
实验目的

（1）掌握Hadoop的伪分布式安装方法；

（2）理解HDFS在Hadoop体系结构中的角色；

（3）熟练使用HDFS操作常用的Shell命令；

（4）熟悉HDFS操作常用的Java API。

实验环境

操作系统：Linux（Ubuntu 18.04 LTS）；

Hadoop版本：Hadoop 3.1.3；

JDK版本：1.8及11；

Java IDE：VSCode。

实验内容与完成情况

1、安装Linux系统（Ubuntu 18.04 LTS）





2、创建hadoo

			
		

	





	

		

			

				
					
vscode远程提交代码至Hadoop集群

				
			

			

				

					qq_37957939的博客
				

				

					11-15
					
					2486
					
				

			

		

		

			
				
Hadoop 安装
配置单机版和伪分布式


首先去各自官网下载jdk和hadoop，我这里下载的是oracle jdk 1.8 和 hadoop 3.3.0


配置环境变量
无论是编辑/etc/profile 还是 ~/.bashrc都可以，只不过一个是系统环境变量一个是用户环境变量，一个配置好后各个用户下都会有配置的环境变量，一个只有当前用户有。
添加如下代码，记得替换/path/to/jdk
export JAVA_HOME=/path/to/jdk
export JAVA_JRE=$JAVA_HO

			
		

	



		

			
		



	

		

			

				
					
hivesql基本操作

				
			

			

				

					LLMUZI123456789的博客
				

				

					11-28
					
					2010
					
				

			

		

		

			
				
hive基本语法10/11––dbeaver链接hive的办法：如果vscode上面有做端口映射 可以直接使用localhost登录；如果没有做端口映射，需要用主机ip地址登录–dbeaver链接mysql的办法:先在vscode上面有做端口映射 再根据映射的端口登录即可--只会删除元数据（mysql的数据）–删除数据库 加上cascade关键字会做级联删除，把数据库以及数据库下的所有表跟内容都删除掉–而且 会同时mysql上的元数据跟hdfs上的文件内容；

			
		

	





	

		

			

				
					
Hadoop基础知识-02

				
			

			

				

					weixin_52583817的博客
				

				

					05-26
					
					761
					
				

			

		

		

			
				
hadoop基础知识

			
		

	





	

		

			

				
					
maven gav

				
			

			

				

					qq_43192537的博客
				

				

					12-09
					
					2693
					
				

			

		

		

			
				
maven gav provided

			
		

	





	

		

			

				
					
hive如何导出数据至本地/HDFS/HIVE？

				
			

			

				

					Foools的博客
				

				

					06-17
					
					5978
					
				

			

		

		

			
				
hive如何导出数据至本地/HDFS/HIVE？
应用背景
windows下使用xshell进行hive的操作，代码编辑使用vscode。
这时候如果有数据需求的话，正常情况是登录hive，输入hql，然后出数据，复制粘贴在excel里稍微美化一下，交给运营和产品，但是这种情况是在数据量不大的情况下可以实现的，那如果行数太多，无法直接复制，如何操作呢？
方法一：将数据以文件格式存到到本地
分为两步：把数据存储在linux服务器，从linux服务器复制文件到本地windows


insert方法（有风险）


			
		

	





	

		

			

				
					
Linux安装并配置hadoop

				
			

			

				

					山海
				

				

					11-25
					
					285
					
				

			

		

		

			
				
Linux安装并配置hadoop

jdk — 1.7
Hadoop — 2.7.5

下载安装


在Apache官网下载对应的安装包
hadoop-2.7.5下载地址



上传到Linux服务器并解压到指定安装目录
#创建安装目录
mkdir /usr/local/hadoop

#解压到指定目录
tar -zxvf hadoop-2.7.5.tar.gz -C /usr/local/hadoop



配置
使用工具


要想方便的操作linux上的文件，vim使用起来还是非常的麻烦的，这里我们将使

			
		

	





	

		

			

				
					
使用Hadoop的JAVA API远程访问HDFS

					
热门推荐

				
			

			

				

					cjf_wei的博客
				

				

					02-10
					
					1万+
					
				

			

		

		

			
				
之前分别介绍了使用Hadoop的C API操作HDFS和使用Hadoop的Java API操作HDFS，在介绍Java访问方式时（C API不存在这样的问题），程序是部署在Hadoop安装环境的，这具有一定的局限性，因为客户端不可能总是运行在Hadoop安装节点上。本文介绍以Java方式远程访问/操作HDFS。

在Hadoop安装环境中和远程访问的主要区别在于Hadoop环境配置的获取和程序的执...

			
		

	





	

		

			

				
					
云服务器搭建伪分布式hadoop实现远程连接

				
			

			

				

					sandmswift的博客
				

				

					04-05
					
					3239
					
				

			

		

		

			
				
云服务器搭建hadoop

			
		

	





	

		

			

				
					
scala---spark本地调式远程获取hdfs数据注意事项

				
			

			

				

					池海
				

				

					05-12
					
					1653
					
				

			

		

		

			
				
这篇文章主要帮大家绕开一些本地使用spark调试获取远程hdfs数据的坑，个人在使用时也是基本把这些坑踩了一遍。希望下面的内容能给到其它人一些帮助，少走弯路减少不必要的时间损耗。常见的坑大致就以上几点，配置环境时仔细一些基本不会有其它坑了。如果遇到其它无法解决的问题欢迎私信讨论。

			
		

	





	

		

			

				
					
联接HIVE SERVER客户端的三种方式

				
			

			

				

					a95473004的博客
				

				

					02-28
					
					1万+
					
				

			

		

		

			
				
在Hive/bin 目录下输入./hive --service hiveserver 代表hive启动了服务器模式。

和普通模式不同的是，这时hive同时启动了一个名为thrift的服务器。

你不用去研究这个服务器的原理，认为他是一个传递信息的人就好，你可以通过他向hive发送命令，然后hive再把命令送给hadoop。

1.命令行模式：

   ./hive
 -h127

			
		

	





	

		

			

				
					
python hdfs远程连接以及上传文件，读取文件内容，删除文件

				
			

			

				

					水w的博客
				

				

					11-17
					
					5810
					
				

			

		

		

			
				
python hdfs远程连接以及上传，读取，删除文件

			
		

	





	

		

			

				
					
Java远程连接HDFS实践 问题记录

				
			

			

				

					qq_43623727的博客
				

				

					10-11
					
					1554
					
				

			

		

		

			
				
Java远程连接HDFS实践 问题记录

			
		

	





	

		

			

				
					
HDFS学习04-Vscode+Java+hdfs的环境配置，通过代码来操作HDFS

					
最新发布

				
			

			

				

					xhhgffd的博客
				

				

					12-04
					
					4365
					
				

			

		

		

			
				
使用vscode来编写maven项目的java代码，从而以代码接口的方式来操作hdfs，这里需要对宿主机和虚拟机进行一些环境配置，使得开发环境能够利用虚拟机上的maven来构建项目。

			
		

	





	

		

			

				
					
通过vscode 连接数据库

				
			

			

				

					晨的博客
				

				

					09-25
					
					8117
					
				

			

		

		

			
				
本文演示如何通过vscode连接数据库

			
		

	





	

		

			

				
					
学习hadoop-远程链接 HDFS

				
			

			

				

					David宫洪深的博客
				

				

					01-15
					
					3395
					
				

			

		

		

			
				
使用javaAPI的方式远程链接HDFS
首先项目进行maven管理
我这边使用的hadoop是2.5.0 进行学习
远程在win上面使用ide开发工具进行链接hadoop


首先创建maven工程

<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/20

			
		

	





	

		

			

				
					
big data tools客户端远程连接hdfs的问题解决

				
			

			

				

					guitumanman的博客
				

				

					01-11
					
					1067
					
				

			

		

		

			
				
这个问题可以说是big data tools 的一个小bug，它需要远程连接的hdfs节点的内容不能为空，所以在远程的hdfs创建一个文件夹就好了。表示我们本地系统没有hadoop环境，缺少winutils.exe程序，我们需要在自己的电脑上安装一下这个插件,并且配置好hadoop的环境 变量。解压Hadoop安装包到Windows系统，然后把hadoop.dll、winutils.exe两个文件放到hadoop的bin目录下。只要环境配置对，基本问题不大。

			
		

	





	

		

			

				
					
HDFS初级编程实践

				
			

			

				

					秦哥的博客
				

				

					11-13
					
					1234
					
				

			

		

		

			
				
目录

0.码仙励志

1.开发环境要求

2.创建项目

3.编写jar包的依赖信息

4.远程操作HDFS的代码实现

(1)import一些需要用到的类

(2)远程连接HDFS系统的代码实现

(3)创建hdfs文件夹的代码实现

(4)实现往HDFS上传文件的代码

(5)从HDFS下载文件到本地代码实现

(6)在运行中读取HDFS文件的代码实现

(7)HDFS文件重命名代码实现

...

			
		

	





	

		

			

				
					
HDFS技术之IDEA远程连接（二）

				
			

			

				

					RivenDong
				

				

					09-06
					
					1154
					
				

			

		

		

			
				
文章目录1. IDEA远程连接1.1 实验需求：1.2 创建项目1.3 配置Modules
1. IDEA远程连接
1.1 实验需求：

IDEA
hadoop2.6_Win_x64-master
/bin 目录下需要还有

对于该文件我已上传到我的CSDN下载页：hadoop-wins

1.2 创建项目

【file】
【new project】
【java】
【选择自己的JDK】
【next...

			
		

	



              




          





        



    





    



      

      

        
      

      





	

		
评论 4

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值