weixin_43329319的博客

本文记录一些常用包更换源的方式。1、PIP1.1 源地址（1）阿里云 http://mirrors.aliyun.com/pypi/simple/（2）豆瓣http://pypi.douban.com/simple/（3）清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/（4）中国科学技术大学 http://pypi.mirrors.ustc....

1、设置cell宽度from IPython.core.display import display, HTMLdisplay(HTML(""))2、忽略warningimport warningswarnings.filterwarnings(“ignore”)3、多行输出from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = “all”...

1、题目描述写一条SQL查询语句获取合作过至少三次的演员和导演的 id 对 (actor_id, director_id)示例：actor_iddirector_idtimestamp110111112123124215216Result 表：actor_iddirector_id...

文章目录3.3.3-1、少量属性的可视化1.1 茎叶图1.2 直方图（histogram）1.3 二维直方图（two-dimensional histogram）1.4 盒状图（box plot）1.5 饼图（pie plot）1.6 经验累积分布函数（ECDF）1.6 百分位数图（percentile plot）1.7 散布图矩阵（scatter plot matrix）1.8 散布图1.9 三...

1、题目描述来源：力扣（LeetCode）2、解题思路其实就是分类，用case when then end1# 对所有父节点p_id，进行子节点查询，select p_id,count(id) as s_id from tree group by p_id2# 2表连接，一个作为父节点查询，一个作为子节点查询，条件是t1.id=cou.p_id3# 按数量分类3、提交记录sel...

1、题目描述来源：力扣（LeetCode）2、解题思路1# 创建子表，用ManagerId分组，统计总数count(Id) as cou2# 与Employee表，联查3、提交记录select Namefrom(select ManagerId,count(Id) as cou from Employeegroup by ManagerId) m,Employee ewhe...

1、题目描述来源：力扣（LeetCode）2、解题思路2表联查，使用函数datediff(w1.recorddate,w2.recorddate)=1，限定日期相减等于13、提交记录select w1.Idfrom weather w1,weather w2where datediff(w1.recorddate,w2.recorddate)=1 and w1.Temperatur...

仅是从使用角度选择，不包括二次开发。如果是二次开发，那就看技术栈和框架选择，结合Redash并入databricks，毫无疑问选Redash。

文章目录1、整体流程2、细节介绍2.1 tables In mysql2.2 逐个拉表2.3 set tables name2.4 insertKettle做遍历是非常有必要的，拖库，日更，谁也不想做那么多重复工作。遍历有不同的做法，我这里介绍的是，将表名存在结果中，然后利用JOB设置的执行每一行输入例子是从一个数据库中按顺序抽取表到另一个数据库。1、整体流程整体JOB需要两个步，1、获取需要操作的表名（tables In mysql）；2、逐个表按设计转换拖到另一个数据库（逐个拉表）。其中，第

文章目录1、示例2、Kettle实现分析3、Kettle实现步骤3.1 更新3.2 插入3.2 流程4、Kettle实现细节4.1 更新4.2 插入5、速度测试5.1 csv数据导入5.2 首次导入数据5.3 更新5.4 插入6、总结与经验拉链表，顾名思义，就是记录一个事物从开始，一直到当前状态的所有变化的信息。1、示例例如下面的流水表，code是会更新的字段。那么对应的拉链表设计如下：其中uid是自增主键。需要更详细了解可以参考 漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）2、

文章目录1、Kettle介绍2、JDK安装3、Kettel安装1、Kettle介绍Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle家族目前包括4个产品：Spoon、Pan、CHEF、Kitchen。SPOON 允许你通过图形界面来设计ETL转换过程（Transformation）。PAN 允许你批量运行

Kettle实战100篇(天)ETL工具KETTLE表输入表输出提速5-10倍Kettle提高表输出写入速度（每秒万条记录）

文章目录1、思路2、实现步骤2.1 数据、模型准备2.2 镜像制作2.3 使用1、思路因为多数公司正式集群都不能使用公网环境，对于模型部署比较麻烦。所以想这在公网环境下完成模型调试，然后根据相关环境和参数直接制作一个docker镜像，部署到内网集群。2、实现步骤2.1 数据、模型准备假设已经有一个模型文件，主函数predict，只要将 train_df, test_df传入即可得到结果。首先，传输时候要转换成json，另外要将数据类型传输过来。# 数据类型转换为dicttest_df_dty

字体文件混淆是常见反爬手段，我这里指的是使用1份或多份网站自定义字体（通常是woff），导致爬下来的字符编码不能解析，即所见非所得。解决思路1、首先，不会有一个网站会真的自己设计一种字体（如果有可以手打对照表），一般都是将现有的字体进行位置调换形成一份新的字体。所以，第一步就是要找到这份字体的源字体。2、找到源字体之后，将其解析出来字的点坐标。将点坐标和对应的文字

滑块验证码也是常见反爬手段，而且网上介绍文章也不少，但是多数都是能够获取到原图和有缺口的图，然后做点对点的对比获得缺口位置，这里主要是怎么处理没有原图。2、解决思路1、虽然他们没有原图，但是它的缺口位置有白边，所以每一个点对他右侧和下侧各26个像素求和，然后这些像素往右下移动一个像素再求和，达

本文用于记录现实配送VRP问题的全过程。

前几章非算法部分，仅摘录重点内容1、数据类型的操作2、简单类的抽象2.1、有理数2.2、静态方法、类方法1、@staticmethed该方法不应该属于类的方法，但是又有需要，所以定义一个静态方法。例如下面对有理数的检查。2、@classmethed个人理解是该方法是为了不同子类调用会出现不同的结果，所以绑定一个cls参数，搭配一个类的属性使用。例如下面的计数器。3、例子：学校人事系统类3.1、抽象设计| | |3.2、实现基础类增加一个计数器学生类

1、因为是新学的语言，其中结构体MyCircularQueue内数据初始化感觉处理的不好看，使用循环赋值的方式，后面有机会再更新。2、有个小坑，当队列为空时，队列front，rear返回的都是是-1.type MyCircularQueue struct { head int tail int arr []int}// Initialize your data stru...

前几章非算法部分，仅摘录重点内容。文章目录1、算法的基本概念2、算法的基本设计模式3、大O记法4、复杂度分析4.1、基本循环4.2、递归的复杂度1、算法的基本概念2、算法的基本设计模式3、大O记法常用的渐进复杂度：O(1),O(logn),O(n),O(nlongn),O(n2),O(n3),O(2n)O(1),O(log n),O(n),O(n long n),O(n^2),O(n^3),O(2^n)O(1),O(logn),O(n),O(nlongn),O(n2),O(n3),O(2

1、安装首先更换了清华源，然后安装，安装总是出错CMake must be installed to build the following extensions: dlib解决方法$ sudo pip install cmake$ sudo pip install face_recognition2、使用...