Kryo序列化

文章目录入门读写方式API介绍kryo-serializers 入门 Kryo(github地址)是一个快速，高效的对象图序列化Java框架。该项目的目标是速度，效率和易于使用的API。无论何时需要将对象持久化到文件，数据库还是通过网络，该项目都非常有用。 Kryo还可以执行自动的深层和浅层复制/克隆。这是直接从对象复制到对象，而不是对象->字节->对象 依赖 compi...

基于Java的快速高效的对象序列化框架，旨在提供快速、高效和易用的API。无论文件、数据库或网络数据Kryo都可以随时完成序列化。Kryo还可以执行自动深拷贝（克隆）、浅拷贝（克隆），这是对象到对象的直接拷贝，非对象→字节→对象的拷贝。支持互相引用，比如类A引用类B，类B引用类A，可以正确地反序列化。目前已有很多使用Kryo的项目https://github.com/EsotericSoftwar...

Spark序列化概述在Spark的架构中，在网络中传递的或者缓存在内存、硬盘中的对象需要进行序列化操作，序列化的作用主要是利用时间换空间：分发给Executor上的Task需要缓存的RDD(前提是使用序列化方式缓存)广播变量Shuffle过程中的数据缓存使用receiver方式接收的流数据缓存算子函数中使用的外部变量​ 上面的六种数据，通过Java序列化(默认的序列化方式)形成一个二进制字节数...

其实之前在“Kryo序列化生效位置”处已经提到了Kryo序列化的优点，这里总结一下，大致为： 1. 算子函数中使用到的外部变量，使用Kryo以后：优化网络传输的性能，可以优化集群中内存的占用和消耗； 2. 持久化RDD，优化内存的占用和消耗，持久化RDD占用的内存越少，task执行的时候，创建的对象，就不至于频繁的占满内存，频繁发生GC； 3、shuffle：可以优化网络传输的性能。 Kryo序列化机制比默认的Java序列化机制速度要快，序列化后的数据要更小，大概是Java序列化机制的1...

SQL语法差异，数据迁移

本文提出了一种结合PySpark分布式计算框架与YOLOv8目标检测算法的通用分布式图像推理流水线。项目包含三个核心环节：数据集格式转换（VOC转YOLO格式）、模型训练与分布式批量推理。通过使用mapPartitionsWithIndex分区算子优化模型加载效率，避免重复初始化。提供了完整的可复现代码，支持在Ubuntu系统下快速部署。主要技术亮点包括：1) 大数据与深度学习的融合开发流程；2) VOC到YOLO格式转换与数据集分层划分；3) 分布式推理与结果可视化统计。该项目具有通用性，可迁移至任意图像

NVIDIA DGX Spark和AMD Ryzen AI Halo是2026年发布的两款AI开发设备，定位和配置存在显著差异。DGX Spark专为Linux开发者设计，采用ARM架构，提供1PFLOPS的顶级AI算力，预装优化的Ubuntu系统，但生态封闭且价格较高（3999美元）。Ryzen AI Halo采用双系统策略（Windows/Linux），基于x86-64架构，AI算力60TFLOPS，兼容性更好且价格相同，适合全栈开发者。DGX Spark适合纯AI研究的专业用户，而Ryzen AI H

PySpark类库介绍

Spark SQL基于DataSource方式文件切分逻辑详解

本文系统介绍了大数据内存计算引擎Spark的核心原理与技术架构。首先从Hadoop生态的痛点切入，分析了MapReduce因磁盘IO导致的性能瓶颈，引出Spark诞生的背景。随后详细解析了Spark的四大特点（快速、易用、通用、兼容）、五大核心组件（Core、SQL、Streaming、MLlib、GraphX）以及四种运行模式（Local、Standalone、YARN、K8s）。文章重点阐述了Spark底层RDD的三大特性（不可变、分区、并行计算）和集群架构中的四大角色（Driver、Master、Wo

在 Spark 1.6 以后，此机制已被更优的排序式 Shuffle 取代，若仍在使用，可能是为了兼容历史版本。读取 Parquet 文件时，对于 INT96 格式的时间戳，使用旧版时区偏移方式。相比默认的 LZ4，Zstd 压缩率更高，能显著减少 Shuffle 传输量，代价是轻微增加 CPU。这是动态资源分配的前提，保证 Executor 被回收时，其上产生的 Shuffle 数据仍能被其他节点读取。，即遵循 Spark 2.x 的宽松规则（允许一些默认禁止的类型强转），用于兼容老数据。

Apache Spark是一个快速、通用的大数据分析引擎，核心特点包括内存计算(比MapReduce快10-100倍)、多语言支持和一站式解决方案(SQL/流处理/机器学习/图计算)。Spark架构包含Driver程序(主控节点)、Cluster Manager(资源调度)和Worker节点(执行器Executor)。与MapReduce相比，Spark通过内存计算和DAG优化显著提升性能。

摘要： Hive on Tez/Spark在银行大数据场景的性能调优需围绕执行引擎切换、资源分配与参数优化展开。Tez调优核心：1）调整tez.grouping.max-size和Reducer数量平衡并行度；2）合理配置容器内存与JVM堆占比（建议0.7-0.8）；3）启用矢量化查询、CBO优化及MapJoin加速。Spark调优重点：1）按YARN资源动态分配Executor内存与核心数；2）优化spark.sql.shuffle.partitions减少小文件；3）调整MapJoin阈值并开启动态分区

数据科学与大数据技术专业的实习规划应遵循"基础期不冒进、关联期找感觉、核心期冲转正、补救期抓补录"的时序逻辑。大三暑期实习的转正价值远高于其他任何窗口，是整条路径的"胜负手"。在能力佐证层面，除 GPA、项目、实习外，行业认证（如 CDA）可作为学历信号的补充，尤其在金融、电信、咨询等对标准化能力要求高的行业具备实际招聘价值。但需明确：证书是"放大器"而非"替代品"，其实习经历与工程能力仍是核心竞争力。

RabbitMQ持久化, 发送方确认机制

文章摘要： Kafka核心架构与分区路由机制解析。Kafka集群由多个Broker节点组成，Topic作为逻辑消息主题被划分为多个Partition实现并行处理。分区副本(Replica)确保数据高可用，消费者组实现消息的独占或广播消费。文章详细讲解了Kafka的三种分区路由方式：1)直接指定Partition；2)自定义Partitioner；3)默认的Key-based Hash策略（hash(key)%partitions）。重点分析了Key对消息路由的影响，相同Key的消息会进入同一分区保证顺序性，

Kafka作为高并发系统核心组件，其安装与基础使用步骤如下： 环境准备：需Linux系统（如CentOS 7）和JDK 8+环境，通过wget下载OpenJDK并配置环境变量。 安装Kafka： 下载Kafka 3.9.1二进制包并解压 创建专用目录存放数据和日志（/opt/kafka_data） 配置server.properties（设置broker.id、端口、日志目录等） 配置zookeeper.properties（指定数据目录和端口） 启动服务： 先启动Zookeeper（后台运行） 再启动Ka

系统讲解 Hive 三种复合数据类型（ARRAY / MAP / STRUCT）的定义、访问语法、嵌套用法，以及配套的 UDTF 函数（explode / posexplode / LATERAL VIEW）与 Spark 3.0+ 的 CROSS JOIN UNNEST 标准语法对比

短信平台高并发场景下的性能优化是一个系统性问题，需要通过三层架构模型实现：流量整形层（分类调度、削峰填谷）、弹性调度层（动态路由、实时权重调整）和资源扩展层（弹性扩容）。核心在于建立统一的指标体系（时延、吞吐、成功率、稳定性）和动态约束模型，避免单纯扩容、忽视通道质量等常见误区。优化的本质是形成"削峰-自适应-扩展"的闭环，推动系统从规则驱动向数据/模型驱动演进，实现稳定、高效、低成本的通信能力。