lzf的博客

同时，批量处理也有利于提高服务器端的处理效率，因为可以一次性处理多个消息，减少了处理单个消息的开销。由于消息是顺序写入，能充分利用page cache的预读机制，提前加载相邻的数据块到内存，提高后续读写性能。Kafka的消息是顺序写入磁盘的。- 同时，在读取数据时，page cache可以将磁盘上的多个离散的读请求合并为一个连续的读请求，利用磁盘的顺序读取特性，提高读取性能。- page cache可以合并小的写操作，将多个小的写入请求累积到一定程度后再一次性写入磁盘，减少磁盘I/O的次数，提高写入性能。

kafka初衷 企业统一，高通量，低延迟。Kafka 是一种高吞吐量的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万...

如果数据的 DB_TRX_ID 小于Read View中最小的事务ID，说明该数据是在所有活跃事务之前就已经提交的，所以对当前事务可见；如果数据的 DB_TRX_ID 大于Read View中最大的事务ID，说明该数据是在当前事务启动之后才被修改的，所以对当前事务不可见；如果数据的 DB_TRX_ID 在Read View的事务ID范围之内，则需要进一步判断该事务是否在活跃事务列表中，如果不在，说明该事务已经提交，数据对当前事务可见，否则不可见。

如果查询的记录不存在，会对该索引值两侧的间隙加锁。例如，对于索引值为10、20、30的记录，Next - Key Lock会锁定(10, 20)、(20, 30)等间隙以及10、20、30这些索引记录本身，这样可以有效防止幻读和数据冲突，在并发场景下更好地保证数据的一致性。- 非唯一索引或无索引：对于普通索引或无索引列的范围查询，会对范围内的所有记录以及这些记录之间的间隙加Next - Key Lock。例如，在一个有序的索引列中，要插入一个值为5的记录，会对小于5的最大索引值和5之间的间隙加锁。

在MySQL的可重复读隔离级别下，快照读和当前读是两种不同的读取方式，它们的特点和应用场景有所不同。

比如，线程 A 更新数据库，还没来得及删除缓存时，线程 B 发起读请求，发现缓存存在，就读取了旧的缓存数据，然后线程 A 删除了缓存，后续线程 B 又更新了缓存，导致缓存中是旧数据。后续查询该数据时，由于缓存中没有对应数据（已被删除），就会去数据库中查询最新的数据，然后再将查询到的数据更新到缓存中，以供后续查询使用。这段延迟时间是为了确保在数据库更新完成后，可能存在的并发读请求已经从数据库读取到新数据并更新了缓存，此时再次删除缓存可以防止旧数据再次被写入缓存。- 先删除缓存，然后更新数据库。

唯一绑定端口的线程：Boss 线程组中第一个活跃的线程（记为 Boss-1 ）通过 ServerSocketChannel 监听端口，接收客户端的连接请求（ OP_ACCEPT 事件）。- 连接建立完成：当 Boss-1 接收到连接请求后，会创建对应的 SocketChannel （代表客户端连接），并将其分配给 Boss 线程组中的某个线程处理后续初始化。- 主 Boss 线程负责接收连接，其他 Boss 线程通过轮询分配连接初始化任务，分工协作提升高并发场景下的连接处理效率。

一、重复原因 造成重复下单的原因有很多，比如用户重复提交、网络超时导致的重试（网关超时重试、RPC超时重试，以及前端超时重试等），下单请求的整个链路都可能造成重复，大致可以分成如下三类：用户重复提交；恶意刷单；网络原因导致的超时重试；二、产品方案 如何防止用户重复下单，并不只是技术的事情，因为技术并不一定能百分百的考虑到所有可能重复的场景，必须依靠产品+技术共同的努力，以及运营、客服等订单重复时的事后处理。用户点击”提交订单“按钮后，对按钮置灰，禁止再次提交；对于涉及金额比较大的订..

快照读与当前读可能有读者会疑惑，事务的隔离级别其实都是对于读数据的定义，但到了这里，就被拆成了读和写两个模块来讲解。这主要是因为MySQL中的读，和事务隔离级别中的读，是不一样的。我们且看，在RR级别中，通过MVCC机制，虽然让数据变得可重复读，但我们读到的数据可能是历史数据，是不及时的数据，不是数据库当前的数据！这在一些对于数据的时效特别敏感的业务中，就很可能出问题。对于这种读取历史数据的方式，我们叫它快照读 (snapshot read)，而读取数据库当前版本数据的方式，叫当前读 (curr

MVCC（Multi-Version Concurrency Control ，多版本并发控制）指的就是在使用READ COMMITTD、REPEATABLE READ这两种隔离级别的事务在执行普通的SEELCT操作时访问记录的版本链的过程，这样子可以使不同事务的读-写、写-读操作并发执行，从而提升系统性能。READ COMMITTD、REPEATABLE READ这两个隔离级别的一个很大不同就是生成ReadView的时机不同，READ COMMITTD在每一次进行普通SELECT操作前都会生成一个

参考：SSL / TLS 工作原理和详细握手过程HTTPS 工作原理详解 | TLS握手过程

背景想实现一个基于敏感词库的敏感词工具。遍历匹配发现如果是逐个字符遍历的话，效率实在是太低。这里我首先想到了两种算法：KMP 算法Brute-Force 算法当然单纯只是匹配，其实性能依然非常的低。正则表达式当然还有一种方式就是基于正则表达式，个人感觉这种性能也比较差。正则表达式直接查了下资料，可以使用 DFA 算法来解决这个问题。DFA 算法在实现文字过滤的算法中，DFA是比较好的实现算法。DFA 即 Deterministic Finite Aut

一、背景HTTP协议是无状态的协议，即每一次请求都是互相独立的。因此它的最初实现是，每一个http请求都会打开一个tcp socket连接，当交互完毕后会关闭这个连接。HTTP协议是全双工的协议，所以建立连接与断开连接是要经过三次握手与四次挥手的。显然在这种设计中，每次发送Http请求都会消耗很多的额外资源，即连接的建立与销毁。于是，HTTP协议的也进行了发展，通过持久连接的方法来进行socket连接复用。从图中可以看到：在串行连接中，每次交互都要打开关闭连接 在持久连接中，第一次

线程池配置参数corePoolSize：线程池核心线程数 maximumPoolSize：线程池最大线程数 keepAliveTime：允许线程空闲时间（对非核心工作线程的回收） TimeUnit：线程空闲时间单位 workQueue：线程队列（当核心线程数满了，新的任务就会放入这个队列中） threadFactory：线程工厂（用于创建工作线程，自定义线程工厂可以指定线程名称） handler：线程池拒绝策略（当线程队列满了且最大线程数也满了，就会执行任务拒绝策略，默认有4种） all

风控领域作为金融核心领域之一，对金融业务发展有着至关重要的作用。风控直译就是风险控制，其核心是对风险与成本的平衡。风控业务开展离不开风控系统的支持，本文就风控系统如何规划架构与演进，以及对领域驱动设计的思想和风控中台战略的思考。风控与 DDD领域驱动设计（DDD）作为微服务拆分的指导思想随着微服务化火起来，但其过于抽象难懂，网上方法论众多，而案例较少。本文尝试对风控领域如何按 DDD 思想设计给出一些实践和思考。DDD 从需求分析出发进行领域建模，先划分出多个问题域和子域，再将问题域落实到限

I.内容提要前几天做客“技术琐话”直播间进行分享，本文根据分享内容整理出来。内容主要包括： 风控决策引擎系统从架构设计到开发实践 特征引擎系统及实时计算引擎 模型引擎系统及智能风控引擎 大数据风控-用数据驱动的风控全流程系统构建 II.风控决策引擎介绍Q：互金领域的风险有哪些？A：欺诈风险 、 信用风险、合规风险（监管要求）Q：如何对抗风险？A：通过大数据来构建规则和模型进行风险控制和风险预警Q：业务规则和模型策略 如何落地？A：通过决策引

说明为什么要写这篇文章，因为决策引擎对很多风控从业者来说都是绕不开的必学知识点，每一个与金融业务相关的技术框架，都需要一个成熟稳定的决策引擎组件来支持，而目前，只有15%左右的互联网产品，配置了这一工具。本文旨在帮助大家认识决策引擎，包括前台规则配置与后台技术搭建，另外提供几个比较不错的轻量级开源引擎供大家进一步学习。全文总计1.7w字，因内容较长，可分四部分进行阅读： 1.决策引擎介绍（适用人员：还没使用决策引擎的老板） 1.1 决策 1.2 决策引擎

HBase不支持多条件查询，不提供二级索引，难以满足用户对检索功能多样性和高效率两方面的需求。由索引模块的需求分析可知，本文解决通过，提出数据与索引的分离，利用HBase数据库的存储模式灵活多变，容纳海量数据等特点，结合ES的快速建立索引和提供多样化的查询接口等优势，构建基于ES的HBase二级索引方案。从HBase二级索引现状可知，目前主要解决思路分为两种：第一种是开发人员手动创建和维护索引表，...

HBase系统中一张表会被水平切分成多个Region，每个Region负责自己区域的数据读写请求。水平切分意味着每个Region会包含所有的列簇数据，HBase将不同列簇的数据存储在不同的Store中，每个Store由一个MemStore和一系列HFile组成，如图所示。Region结构组成HBase基于LSM树模型实现，所有的数据写入操作首先会顺序写入日志HLog，再写入MemStore，当MemStore中数据大小超过阈值之后再将这些数据批量写入磁盘，生成一个新的HFile文件。LSM..