踏实做人,认真做事

获取HTTP请求头信息

在Scala中一切都是对象，数组也是对象。 （）运算符会调用t实例中的apply方法。 使用 （）来进行赋值时，会调用实例t的update方法。 package hgsoho.com class TT { private val x : Int = 1 def apply(m:Int) : Int = { println("call apply...")...

将job信息保存起来，让多个client之间共享job数据。 两台虚拟机分配情况 node3作为存储数据的结点。node1作为client使用。 配置 # node3 # $SQOOP_HOME/conf/sqoop-site.xml <property> <name>sqoop.metastore.server.location&l...

sqoop2 版本：sqoop-1.99.6 安装目录：/usr/local/sqoop 参考博文 https://blog.csdn.net/zhexcel/article/details/52192770 https://blog.csdn.net/gamer_gyt/article/details/55225700 安装步骤 解压软件包...

测试数据 # lixiang_list.txt(小表，可以在map端加载到内存中) #立项ID 立项名称 1800 心愿券测试003 1801 fw心愿单 1802 wtest心愿券0524 1803 HW心愿单01 1804 心愿券测试006 1805 心愿券测试007 1806 心愿券测试008 # ...

-D stream.map.output.field.separator ：设置map输出中key和value的分隔符 -D stream.num.map.output.key.fields ： 设置map程序分隔符的位置，该位置之前的部分作为key，之后的部分作为value -D map.output.key.field.separator : 设置map输出中key内部的分割符——备注...

实现student和course数据表的join操作,以学生编号（sno）为连接字段 测试数据 student.txt文件 #以一个空格分隔 #学生编号 姓名 #sno sname 01 lily 02 tom 03 jack 04 rose course.txt文件 #以一个空格分隔 #学生编号 课程名 课程成绩 #sno cname ...

测试数据 1,2,1,1,1 1,2,2,1,1 1,3,1,1,1 1,3,2,1,1 1,3,3,1,1 1,2,3,1,1 1,3,1,1,1 1,3,2,1,1 1,3,3,1,1 目的 在map中数据以‘,’分隔，分隔后的前两列作为key，相同的key会被分到同一个reduce中。 配置参数说明 map.output.key.field.separator： map中ke...

虚拟机环境 #hosts 192.168.75.20 node1 192.168.75.21 node2 192.168.75.10 node3 192.168.75.22 node4 192.168.75.23 node5 #进程说明 NameNode 名称结点 DataNode 数据结点 Journal...

block(数据块) 建立在磁盘之上，数据块的大小是磁盘块的整数倍，HDFS中的文件被划分为多个分块(chunk),一个小于一个块大小的文件不会占用整个块的空间。 1.x的HDFS块大小默认为64MB，2.x的HDFS块大小默认为128MB。 查看HDFS中文件的块信息 hadoop fsck / -files -blocks 使用数据块概念的优点 一个文件可以分成多...

可能使用的场景 一个应用使用一个数据库，数据库主从结构. 配置多个数据库 在项目的settings.py中配置DATABASES项，Django 要求default 数据库必须定义，但是如果不会用到，其参数字典可以保留为空。若要这样做，你必须为你的所有的应用的模型建立DATABASE_ROUTERS（如果不使用default配置数据库连接信息的话，必须制定DATABASE_ROU

centos搭建Apache+mod_wsgi+Django环境

搭建Django环境

Django（1.8）模板渲染方式

使用%的方式格式化字符串时，如果采用dict进行格式化时,需要指定类型符号(例如：%(name)s ),并且这种形式容易忘记。采用字符串模板的方式会很好的规避这种情况。 字符串模板使用的是string模块下的Template类，在使用的时候先使用字符串创建一个对象，字符串中使用${变量名}的方式作为占位符。然后调用Template实例对象的substitute或者safe_substitu

== 比较的是两个对象的值 is 比较的是两个对象是否是同对象 isinstance 判断一个对象的类型是否在元组中的对象中。 如果使用== 对两个对象进行比较的话，即使是同一个对象，也会把对象的值再进行一次比较（此步骤对于同一个对象来说是多余的）,使用is比较两对象的话，只需要判断两个对象是否为同一个即可，当判断一个对象的类型时，使用is的效果会比 ==更好一些。 示例：a = 1 b = 1

基础知识整理-函数

C语言基础知识整理-数据类型和控制语句

自己对目前已经掌握和了解的一些处理高并发技术知识点的总结和归纳

Thinkphp3.2.3执行流程笔记