m0_73944777的博客

P-value和E-value是两种衡量统计证据的指标。P-value表示在原假设为真时观测到当前数据或更极端结果的概率，常用于假设检验；较小的P值支持拒绝原假设。E-value则通过似然比衡量数据支持备择假设的程度，E>1时反对原假设。文中通过硬币实验示例演示了E-value的计算方法，并指出E-variable是随机变量，其期望值在原假设下不超过1。最后利用马尔可夫不等式建立了E值与P值的关系，说明E值超过1/α的概率不超过α。

本文介绍了随机过程中的条件数学期望和鞅理论。条件期望分为连续型和离散型两种情况定义，并指出其结果是关于条件的随机变量。鞅定义为满足适应性、可积性和鞅性质的随机过程，描述了公平博弈中的"未来期望等于当前值"特性。文章还讨论了上鞅、下鞅的概念，以及连续时间鞅的推广。最后总结了鞅的五个重要性质，包括公平性、期望守恒、线性组合、停时特性和与马尔可夫过程的区别。这些概念为研究随机过程的预测和演化提供了重要工具。

本文摘要： 本文系统介绍了两种重要的随机过程：泊松过程和布朗运动。泊松过程部分详细阐述了其定义、基本性质（期望、方差、间隔时间分布等）及应用实例，强调了其独立增量性和平稳性。布朗运动部分则从定义出发，分析了其关键特性包括正态分布增量、协方差结构、自相似性和Markov性质。两种过程均具有独立增量特征，但泊松过程是离散计数过程，而布朗运动是连续路径过程。文中通过具体实例（如呼叫中心电话到达）展示了泊松过程的应用，并提供了完整的数学推导框架。

本文介绍了应用随机过程的基本概念与性质。首先定义了概率空间三要素（样本空间、事件集合、概率测度）和随机变量（离散型、连续型、混合型）。接着讨论了数字特征（均值、方差、矩、协方差等）和矩母函数/特征函数的性质与用途。然后阐述了随机过程的定义、分类（按时间/状态空间离散性）和基本性质。最后详细讲解了平稳过程的两种类型：严平稳（有限维分布时不变）和宽平稳（均值恒定、协方差仅依赖时间差），并分析了宽平稳的自协方差函数性质。这些内容是学习统计机器学习的基础概率论知识。

Hugging Face（简称为hf）作为深度学习以及大模型领域的一条必经之路，其在数据与模型的完备性还有多样性上，是我们值得依赖的一个网站。所以学习并熟练使用hf这个平台是非常重要的。

RAG系统评估的三个关键维度 RAG（检索增强生成）系统的评估可分为三个层次：1）检索层关注文档召回率和排序质量（包括Recall@k、Precision@k、MRR、nDCG@k和MAP等指标）；2）生成层评估语言质量和答案准确性（使用EM、F1、ROUGE等文本相似度指标）；3）端到端层重点考察答案的可信度和可验证性（通过LLM判断或人工标注验证答案是否基于检索内容）。此外还需考虑延迟、吞吐量等工程指标。这种多维评估体系能全面衡量RAG系统的检索能力、生成质量和可信性。

检索优化技术综述 本文系统介绍了提升RAG（检索增强生成）系统性能的三大关键技术：重排序、压缩和校正。重排序部分详细讲解了RRF融合排序、RankLLM大模型排序、Cross-Encoder联合编码和ColBERT后期交互等方法；压缩技术包括提取式和改写式两种思路，提出标准化处理流程；校正技术则通过评估检索结果质量实现自我修正。这些方法共同解决了传统向量检索在相关性排序、信息冗余和质量控制方面的不足，为构建高效可靠的RAG系统提供了完整技术方案。

本文介绍了检索优化中的查询构建技术，主要分为三个关键阶段：1）多表示索引，将文档转换为适合检索的形式；2）查询转换，优化用户查询使其更易匹配；3）查询构建，将自然语言转化为结构化检索指令。重点讲解了自查询检索器的实现流程，包括定义元数据结构、解析查询、执行语义搜索和元数据过滤。通过B站视频检索的代码示例，展示了如何利用LangChain的SelfQueryRetriever实现复杂查询的处理，包括提取视频元数据、配置过滤条件以及执行混合检索。该技术能有效提升信息检索的精准度和灵活性。

本文介绍了混合检索(Hybrid Search)技术，它结合了稀疏向量和密集向量的优势，通过关键词精确匹配和语义理解提供更准确的搜索结果。稀疏向量基于词表的高维表示，特点是高维稀疏且可解释；密集向量则是低维稠密的神经网络嵌入向量。文章详细讲解了BM25打分公式和两种融合策略：倒数排序融合(RRF)和加权线性组合。最后通过代码示例展示了如何在Milvus中实现混合检索。这种技术能有效克服单一检索方式的局限性，适用于各种搜索场景。

本文介绍了RAG（检索增强生成）系统中的索引构建技术。主要内容包括： 索引的基本概念、常见向量索引类型、索引构建流程以及索引的优化技术

向量嵌入技术将复杂数据转换为低维向量，通过语义编码实现相似性检索。Milvus作为高性能向量数据库，支持多模态数据处理，通过Collection、Partition、Schema等结构组织数据，并利用索引加速查询。其架构分离存储与计算，支持横向扩展，适用于推荐系统、金融分析等实时场景。Alias功能实现数据无缝更新，而索引机制则显著提升检索效率，平衡存储与性能需求。

本文介绍了检索增强生成（RAG）的技术框架与应用实践。RAG通过结合LLM的生成能力与外部知识检索，突破传统模型的静态知识限制，具备动态更新、可验证性及抗幻觉等优势。技术原理涵盖索引、检索、生成三阶段，并演进为模块化架构（Naive/Advanced/Modular RAG）。实践部分详细说明环境配置步骤，包括API申请、虚拟环境搭建及代码运行测试，提供基于LangChain的示例代码，展示从文档加载、分块到向量检索与生成的完整流程。项目开源地址与完整代码已附于文中。

在上一章中，我们使用api在本地调用了大模型，并让大模型生成续写的内容。但是，些许写的内容有点让人不忍直视，效果非常的差。所以我们可以在本地部署一个大模型，并且在本地部署大模型后，也为我们后续对大模型的微调或者RAG应用等相关操作打下基础。这里介绍两种比较简单的下载模型的方法，第一种时使用transformers库中的AutoModelForCausalLM和AutoTokenizer分别下载分词工具以及模型。代码示例如下：注意，如果你没有设置模型下载的路径，那么hf会默认将模型下载到你的中，届时调用就有

PEFT（参数高效微调）是用于高效微调大模型的技术，针对全量微调成本高问题。其方法分 Additive、Selective、Reparametrization-based 三类，本文将简要分析其中几个方法的内容

本文设计了一个使用hugging face调用大模型，来完成下游任务的实验。旨在通过学习该流程的代码，巩固新手对大模型机理的理解，加强新手对大模型使用的代码能力。

在大语言模型中，num_beams通过束搜索保留多路径优化全局概率，temperature调整logits缩放比例以控制分布的平滑性，top_k和top_p分别按固定数量或动态概率截断候选词。作用顺序通常为：temperature缩放→top_k筛选→top_p动态过滤→softmax归一化。若启用束搜索（num_beams>1），则在每一步扩展候选序列时，综合各路径的累积联合概率（对数求和）进行筛选。参数组合可平衡生成结果的多样性与可控性。

本文系统分析了大模型训练中的显存占用问题，梳理了FP64至FP4等浮点格式的存储结构，并以Llama13B为例，详细计算了模型参数（26GB）、优化器（Adam约156GB）、激活值（14.5GB）及梯度（26GB）的显存消耗，总需求约222.5GB。通过量化公式与案例，揭示了混合精度训练、优化器选择及中间结果存储对显存的影响，为大模型部署与优化提供理论参考。

本文主要对Conformal Prediction Sets for Deep Generative Models via Reduction to Conformal Regression这篇论文的理论部分（原论文第三章）进行较为详细的讲解

本文对论文Conformal Prediction Sets for Deep Generative Modelsvia Reduction to Conformal Regression经行解读，摘要： 我们研究如何通过采样黑盒深度生成模型（如生成软件代码、自然语言文本的模型）的输出，为给定输入（如文本提示）生成有效且紧凑的预测集。

本文对Conformal Prediction Sets for Deep Generative Models via Reduction to Conformal Regression这篇文章经行进一步的介绍