m0_54998120的博客

阶段目标：会做 RAG；会把搜索、数据库、文件、浏览器、代码执行接成工具；会区分短期上下文、会话记忆、长期记忆；会处理工具失败、空结果、重复调用、幻觉引用；会在答案中提供代理轨迹或证据。

工具 schema 的质量会直接影响 Agent 的稳定性。工具声明不是简单写一个函数名，而是给模型提供一个可执行动作的“合同”。

目标：建立一个最基础但可复用的 Agent 判断框架。以后遇到一个需求时，先判断它是否真的需要 Agent，而不是默认用 Agent 实现。

包括tools，actions，behaviors。Agent能调用什么外部能力？例如搜索、查数据库、调API、发邮件、查日历。工具决定了它“能做什么事执行哪些具体操作？例如查询价格、生成方案、比较选项、提交订单。动作决定了它“具体怎么干活遇到不同情况，按什么方式做决策？例如优先省钱还是省时间、信息不足时先追问还是先猜测、多个方案时怎么排序。行为决定了它“做事的风格和策略对于Agent来说，上下文是驱动某些行动的规划因素。

第一步做的事情，先把 Python 版 OnCall 的后端外壳搭起来。也就是说，先验证了一件最关键的事：这个项目能不能先以 Python 服务的形式真正跑起来，并且具备最基础的对外通信能力。只有这一步成立，后面接模型、接 RAG、接工具调用才有意义。从工程角度看，完成的是一个最小可运行骨架。创建了基础目录，明确了入口文件、路由文件、请求响应结构和 SSE 工具函数这些最核心的位置。这一步的价值不在于功能多，而在于它把项目从“想法”变成了“有结构的代码工程”，后面继续扩展时就不会一开始全堆在一个文件里。

大模型的微调（Fine-tuning），通常是指在已经预训练好的大型语言模型（Large Language Models，简称LLMs）基础上，使用特定的数据集进行进一步的训练，以使模型适应特定的任务或领域。这个过程可以让模型学习到特定领域的知识，优化其在特定NLP任务中的表现，比如情感分析、实体识别、文本分类、对话生成等。包括全量参数更新（Full Fine-tuning）和参数高效更新（Parameter-Efficient Fine Tuning）

通过提供自定义提示来指导模型的输出，从而轻松生成文本。

提出了 DeepSeek-V3，一个强大的混合专家（MoE）语言模型，总共拥有6710 亿个参数，每个词元激活370 亿个参数。为了实现高效的推理和低成本的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和架构，这些架构已在 DeepSeek-V2 中得到充分验证。此外，DeepSeek-V3 开创了一种无辅助损失的负载均衡策略，并设置了多词元预测训练目标以提升性能。我们使用14.8 万亿个多样化的高质量词元对 DeepSeek-V3 进行预训练，随后进行。

自动生成CT报告——要求对每个解剖区域进行详细分析从整个图像中提取全局特征——>忽略了CT作为三维成像方式的固有多样性吗，仅使用图像级嵌入来捕捉区域特异性异常对解码器来说是一个巨大挑战——>增强模型处理和整合区域特异性信息的能力，对于生成全面且临床相关的CT报告至关重要。通用分割模型——零样本分割能力——从CT图像提取解剖掩码——生成关键区域信息——参考和定位：参考侧重于理解图像中指定区域的语义并提供描述；而定位则根据文本信息定位特定区域，实现语言与视觉元素的连接。

类别c的logit：yc（这个是什么：是模型对类别c的原始打分，还没有经过softmax和sigmoid的数值，一个样本对每个类别都会计算出一个值）；，厚层聚合了大量前层证据，学到的往往是高级形态（核形、颗粒、核染色、Auer小体等），更贴近临床语言，早层只会告诉你“这里有条纹/对比度高”；而对没有空间维的模型（RNN、MLP），则不合适。，随着层级的加深，感受野逐渐增大，最后几层的感受野已经足够覆盖整个细胞或其关键结构，而不是零碎纹理；最后一层卷积的第k个通道特征图Ak，H*W维（这里要计算所有通道）；

MoE训练多位专家从输入中提取不同的表示空间，并使用门控网络生成相应的权重， 能够动态地捕获来自多位专家的混合信息，然而，这些方法将所有输入连接起来以生成门控网络中的权重，而没有充分考虑不同输入之间的关系，这可能会限制融合过程的有效性。为了提高特征融合的可解释性，提出了一种新的动态混合专家融合 (DMF) 模块，它可以明确捕捉解耦特征之间的局部-全局相互关系，以实现更有效的融合。通过共享编码器解耦共享特征，通过私有编码器解耦特有特征，最终的模态共享特征是所有模态共享特征的平均值。

研究现状及问题本文我们介绍 TARTE，这是一个基础模型，它使用字符串来捕获语义，将表格转换为知识增强的向量表示。TARTE 已基于大型关系数据进行预训练，其生成的表示有助于后续学习，且几乎无需额外成本。这些表示可以进行微调或与其他学习器结合使用，从而形成能够提升最佳预测性能并改善预测/计算性能平衡的模型。TARTE 专注于特定任务或领域，提供特定领域的表征，以促进进一步学习。我们的研究展示了一种有效的表格学习知识预训练方法。研究现状及问题。

预设实例留存率的影响：

编码器通过prov-gigapath初始化，即加载gigapath预训练参数做预热，再使用并行化策略（这里指的是训练时候将patches分摊到多块GPU上进行编码）对完整模型进行端到端训练，实现对gigapath的微调。快速检测（如 PCR）只能检测一小部分常见 EGFR 突变，而 NGS（下一代测序）可以全面检测所有可能的突变，甚至包括其他基因，支持更精准、更全面的治疗决策。在研究方法上，肺活检样本体积小、组织有限，但一个病人的诊断往往需要多个组织检测（H&E、IHC、快速 PCR、NGS 等）；

自然语言处理大语言模型高效推理与训练系统边缘部署与低资源场景。

采用大核瓶颈块设计，给定特征图X，受限通过驻点卷积将token投影到低维通道，以降低计算量（默认是C/2，即通道数除以2），然后使用核大小为KLxKL的大核深度卷积高效捕获大感受野的空间上下文信息Nkl，再通过逐点卷积建模token之间的空间关系，生成用于聚合的上下文自适应权重W。此外，由P建模的token关系（聚合权重）仅依赖相对位置，对所有token共享且固定，缺乏对上下文变化的适应性，限制了轻量网络的表达能力。可以看出，P和A在信息较少的区域回引入冗余的注意力与过度聚合，限制了轻量模型的有效性。

主要是通过这个来异化两种概念特征的特异性，因为专家概念之间的语义本来就已经比较异质，即使不提这个损失，他们之间的相似度本来就不高；这里的F的形状是1xd。这里bag级别的C形状是1xd，表示的是类别整体的语义描述，ins级别的C形状是mxd，表示ins级别的提示是由m个构成的。表示 Softmax 函数的温度，控制了图像表示与类别概念之间相似度 softmax 的敏感度，从而影响模型分类的置信度分布与学习稳定性，温度越高，模型更不确定，多个类别评分都比较接近，温度更小，模型更偏向得分最高的类。

IEEE/CVF 计算机视觉和模式识别会议 （CVPR） 是首屈一指的年度计算机视觉活动，由主会议和几个同地举办的研讨会和短期课程组成。凭借其高质量和低成本，它为学生、学者和行业研究人员提供了非凡的价值。Challenge/Demo/开源。Workshop 中的论文。Tutorial (教程)二、以多模态融合专题为例。

​：首先读取源文件的全部数据块，在目标位置创建新的文件，写入相同的数据。更新目标的元文件（权限，时间戳等），相当于重新抄写一本书的内容再放到另一个书架。适用情况：在某个文件夹下有许多小的文件夹，这些文件夹中存在一个后缀名相同的文件，现在我需要将这些文件提取出来，放在我的目标文件夹下。​，耗时几乎可以忽略不计。​（metadata），例如更新文件路径的目录条目（directory entry）。移动操作仅修改元数据（如文件名、路径、时间戳），不涉及数据块的物理移动。元数据操作在内存中完成，几乎瞬时生效。

强化模型会使基础模型的熵降低，方法稳定性不高，超参数众多使得模型收敛难度大，再叠加RM模型的准确率问题，使得在大规模语言模型上如何能够有效应用强化学习非常困难。奖励建模阶段，构建一个文本质量对比模型，对于同一个提示词，SFT给出的不同输出结果进行质量排序，奖励模型（RM模型）可以通过一个二分类模型对输入的两个结果之间进行优劣的判断。缩放法则指出，模型的性能依赖于模型的规模，包括参数数量，数据集大小，计算量，模型的效果会随着三者的指数增加而线性提高。四个阶段：预训练，有监督微调，奖励模型，强化学习。