运维小结

某大三学生学习运维的第二周课程小结

这是一个大三学生学习运维第一周的课程知识梳理

1.gitlab所在机器搬迁，导致IP地址发生改变，此时 git remote set-url origin http://new_ip/xx.git 2.

gis数据 gis坐标系 gis空间分析 gis制图 （一）学习体系： 1、arcmap基础： arcgis软件体系介绍： arcmap,arccatalog,arcscene,arcglobe功能 arcmap介绍：内容窗口，目录窗口，工具，数据视图，布局视图 arccatalog介绍：组织管理数据 arcscene，arcglobe介绍：三维数据浏览 arcgis初次使用注意事项 （二）arcgis数据处理 1、gis数据基础 gis数据基础与数据入库： shapefile文件介绍，地理数据库介..

本章的目的是演示如何将数据从其原始格式加载到不同的模式，从而使各种不同类型的下游分析能够在同一数据上运行。 在编写分析甚至更好地构建可重用软件的库时，通常必须使用固定输入类型的接口。 因此，根据目的，灵活地在模式之间转换数据的方式可以带来可观的下游价值，既可以扩展可能的分析类型，又可以重新使用现有代码。 我们的主要目标是学习Spark随附的数据格式功能，尽管我们还将通过引入行之有效的方法来深入研...

Spark对数据科学世界的影响令人震惊。 自从Spark 1.0发布至今还不到3年，但Spark已经被公认是任何大数据架构的全能内核。 大约在此期间，我们在巴克莱银行采用了Spark作为我们的核心技术，这被认为是一个大胆的举动。 现在可以肯定，Spark是任何大数据科学项目的起点。 第1章，大数据科学生态系统，本章介绍了通过大规模数据获得成功的方法和随附的生态系统。它着重于将在后面的章节中使用的...

目的 本文档介绍了如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。 先决条件 支持平台 支持GNU / Linux作为开发和生产平台。 Hadoop在具有2000个节点的GNU / Linux集群上得到了证明。 Windows也是受支持的平台，但是以下步骤仅适用于Linux。 要在Windows上设置Hadoop，请参见Wiki页面 https://cwiki.apache.org/confluence

Spring Security快速上手 1Spring Security介绍 Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架，由于它是spring生态系统的一员，因此它伴随着整个spring生态系统不断修正，升级，在springboot项目中加入spring security更是十分简单，使用spring security...

作为数据科学家，最重要的任务之一就是将数据加载到数据科学平台中。 本章将说明如何构建Spark中的常规数据提取管道，该管道可作为跨许多输入数据的可重用组件，而不是使用不受控制的临时过程。 我们将逐步进行配置，并演示如何在各种运行条件下提供重要的Feed管理信息。 读者将学习如何构造内容寄存器，并使用它来跟踪加载到系统的所有输入并在摄取管道上传递度量，以便可以可靠地将这些流作为自动的熄灯过程运行。...

目前：大家玩大数据一般都是从 cdh或 hdp开始玩的，从集成环境好处多多，但是真正要掌握集群环境。手动整一把是必须的。 本栏将从hadoop的官方文档开始为大家剖析hadoop ,及一个hadoop平台管理员应该掌握什么东西做一一解析。 hadoop 的官方文档主要包括以下内容： 总览 ----------------------------------------------------------------------- 单节点设置 集群设置 命令参考 文件系统外壳 兼容性要求 下游开发...

Apache hudi 第一代流式数据湖平台 本次课程分为：Hudi基础入门、Hudi集成进阶篇和Hudi实战案例篇 hudi基础入门篇主要讲解hudi框架概述、快速使用hudi及基础概念 学习收获：了解什么是数据湖、为什么使用hudi，及hudi的如何管理数据和基本概念理解。 hudi应用进阶篇：主要讲解hudi与spark整合与flink整合，数据流式存储分析。 学习收获：如何在企业中使用hudi,尤其与spark和flink集成，无论是流式存储还是离线分析计算。 hudi实战案例：主要讲解实际案

Mastering Hadoop 3 Big Data Analytics with Hadoop 3 Apache Hadoop 3 Quick Start Guide Hands-On-Beginner-s-Guide-on-Big-Data-and-Hadoop-3 Hands-on-Big-Data-Processing-with-Hadoop-3 pro-apache-hadoop pro-hadoop-data-analytics pro-hadoop practical-hadoop-mig.

设计，实施和管理软件定义的，可大规模扩展的Ceph存储系统的实用指南 一、Ceph存储简介 在本章中，我们将介绍以下主题： •Ceph概述 •Ceph的历史和演变 •Ceph和存储的未来 •兼容性组合 •Ceph与其他存储解决方案 二、Ceph即时部署 在本章中，我们将介绍以下主题： •使用VirtualBox创建沙盒环境 ...

apache hadoop 3.2.1 Apache Hadoop 3.2.1在以前的主要发行版本（hadoop-3.2）上进行了许多重大改进。 该版本普遍可用（GA），这意味着它代表了我们认为已经可以投入生产的API稳定性和质量。 总览 鼓励用户阅读全套发行说明。此页面概述了主要更改。 YARN中的节点属性支持 节点属性有助于根据节点的属性在节点上标记多个标签，并支持基于这些标签的表达来放置容器。 YARN上的HadoopSubmarine Hadoop Submarine使数据工程师可以在..

节点数很多，采用spark-cluster，这样可以资源均衡。 appmanager和nodemanger不在同一网段，采用spark-cluster模式，减少网络延迟。 节点数少，又在同一网段，client模式和cluster模式，都是可以的。 就算正式环境采用了spark-cluster模式，在刚上线时也要采用spark-client模式，这样可以获取信息，都没有问题了，稳定了，在切换到spark-cluster模式。 ...

安装服务器前先检查服务器的内核：uname -a。银河麒麟 V11类库里的nginx版本是1.24。我拿到的是v11,所以去找银河麒麟11的类库。根据自己的实际需求安装对应类库。剩余nginx配置看自己需求，

本文介绍线程池的原理，并实现了线程池boostasio-learn: boostasio学习笔记 - Gitee.com。