2401_88228389的博客

大模型的出现为AI Agent提供了足够聪明的“大脑”，并重新定义了AI Agent。各大科技公司正在投入巨额资金来创建AI Agent，包括Open AI的Sam Altman在内的许多专家都表示，。。可以是简单的算法，也可以是能够进行复杂操作的庞大系统。：AI Agent使用传感器或输入机制来感知环境。这可能涉及从摄像头、麦克风或其他传感器等各种来源收集数据。：AI Agent接收信息并使用算法和模型来处理和解释数据。这一步包括理解模式、做出预测或产生反应。

这篇文章之后，整个《AI大模型实战篇》系列就全部介绍完了，这个系列一共包括八篇文章，从最经典的ReAct模式开始，沿着规划路线介绍了REWOO、Plan&Execute和LLM Compiler，沿着反思路线介绍了Basic Reflection、Self Discover和Reflexion，并以最强大的设计模式LATS作为收尾。当取的随机数 x 越多，结果将越准确，估计值将越接近真实值。在这篇文章中，风叔将为大家介绍可能是目前最强大的AI Agent设计框架，集多种规划和反思技术的集大成者，LATS。

前排提示，文末有大模型AGI-CSDN独家资料包哦！MetaGPT框架将标准的操作程序（SOP）与基于大模型的多智能体相结合，使用标准操作程序来编码提示，确保协调结构化和模块化输出。MetaGPT允许Agent在类似流水线的范式中扮演多中角色，通过结构化的Agent协作和强化领域特定专业知识来处理复杂任务，以提高在协作软件工程任务中解决方案的连贯性和正确性。可能小伙伴们还很陌生，不太明白具体它能做什么，我下面通过具体例子详细来介绍分析一下。

LLM（Large Language Model）技术是一种基于深度学习的自然语言处理技术，旨在训练能够处理和生成自然语言文本的大型模型。LLM 技术的核心思想是使用深度神经网络，通过大规模的文本数据预训练模型，并利用这些预训练模型进行下游任务的微调或直接应用。LLM 技术的主要特点是可以从大规模文本数据中学习到丰富的语言知识和语言模式，使得模型能够对自然语言的语义、语法等进行理解和生成，具备更强的语言处理能 LLM 技术在自然语言处理领域具有广泛的应用前景。

最近平时工作可以说是把脑子想“干”了，所以花大概三个周末完成了这篇接近2w字的文章。写完感觉有很多不足，但还是随便找个时间发了吧。其一是，本来是打算从Llama 3这种优质开源模型和报告出发，进行一些知识上的梳理，结果行文时几乎保留了论文原来的结构，导致前一个知识点到下一个知识点不够丝滑；其二是，由于水平不够和“综合性”考量的限制，所以对很多需要深入的知识没有详尽。后面几个周末也许还会持续迭代一下本文，主要是继续细化技术点。所以也恳请诸位指出错误或不足，尽情提出需要补充内容的部分。

1、AI系列深度报告（一）：光模块AIGC高景气持续，800G+产品需求旺盛 2、AI系列深度报告（二）：HBM高带宽特性释放AI硬件性能，AI高景气持续驱动需求高增 3、AI系列深度报告（三）：政策与技术螺旋前进，高级别自动驾驶商业闭环雏形已现。获取通用知识需要大数据 ，存储通用知识需要大参数，训练大参数模型需要大算力。过去 4 年间，训练数据增长 500 倍，参数规模增长 5000 倍，计算量增长 10000 倍大数据+大算力使大模型具备大规模通用知识，可处理复杂任务。

Gemma模型架构和参数计算上一篇文章《原创 | 大模型扫盲系列——初识大模型》从比较宏观的角度初步介绍大模型领域的相关知识，旨在带领读者构建一个大模型知识框架。近期，大模型相关的技术和应用层出不穷，各个方向的论文百花齐放，底层的核心技术是大家公认的精华部分。本文从技术的角度聚焦大模型的实战经验，总结大模型从业者关注的具体方向以及相关发展，帮助打算参与到大模型工作的人高效上手相关工作。基座模型参数在动手实践之初，首要任务便是选取一款市场上表现卓越的基座模型，为各种任务打下坚实的基础。在这个领域，Ope

AI 的 iPhone 时刻到来了”。非算法岗位的研发同学’被迫’学习 AI，产品岗位的同学希望了解 AI。但是，很多自媒体文章要么太严谨、科学，让非科班出身的同学读不懂；要么，写成了科幻文章，很多结论都没有充分的逻辑支撑，是‘滑坡推理’的产物。这篇文章从底层讲起，却不引入太多概念，特别是数学概念，让所有人都能对大模型的核心概念、核心问题建立认知。文章末尾也为需要严肃全面地学习深度学习的人给出了建议。关于以 ChatGPT 为代表的大语言模型（LLM），相关介绍文章、视频已经很多。

简介从上下文中学习新概念并提供适当响应的能力在人类对话中至关重要。尽管当前的多模态大语言模型（MLLM）和大语言模型（LLM）正在大规模数据集上进行训练，但**以免训练的方式识别看不见的图像或理解新概念仍然是一个挑战。**情境学习（ICL）探索免训练的小样本学习，鼓励模型从有限的任务中“学会学习”并泛化到未见过的任务。本文提出了链接上下文学习（LCL），**强调“因果推理”来增强 MLLM 的学习能力。**LCL 通过显式强化支持集和查询集之间的因果关系超越了传统的 ICL。通过提供因果关系的演示，LCL

在Table 2中，第2行是将LLaVA-v1.5的预训练数据换成Capsfusion-30M的结果，可以看到，在使用了更多预训练数据的情况下，LLaVA-v1.5的性能并没有进一步提升，甚至在MME，HallusionBench，MMMU和CCBench上有所下降，说明了在相同的预训练数据下，VLoRA的性能是和LLaVA-v1.5可比的。我们设计了感知权重生成模块来将视觉特征转化为感知权重，对于LLM中不同类型的权重，我们用不同的感知权重生成模块来生成对应的感知权重。以下是对单一类型的权重生成的介绍。

需要多少表行来表示这些？例如，如果你用 [‘you’, ‘like’] 作为输入 Token 调用这个函数，那么该函数会返回 “like” 的那一行，“like” 会给予 “apples” 33.3% 的概率来继续句子，而 “bananas” 则是另外的 66.7%。有意思的是，由于参数众多，都是在没有人为干预的情况下通过漫长的迭代过程计算出来的，因此很难理解模型的工作原理。我们可以做的是用一个函数来替代概率表，该函数返回 Token 概率的近似值，这些概率是通过算法生成的，而不是存储在一个庞大的表格中。

阶段2：Q-Former通过一个FC层使得Q-former的输出query embedding Z对齐到与LLM输入同样的维度，并前置于input text embedding一起输入LLM，这种拼接方式有点像软视觉提示（soft visual prompt），q-former在前面预训练任务中已经学到如何抽取蕴含语言信息的视觉表示，该阶段中可以起到把最重要信息输入给LLM同时去除错误没有意义的视觉信息的作用，从而降低LLM学习视觉语言对齐的负担，同时也缓解了灾难遗忘的问题。

方法上，引入 vit 做图像的 encoder 和 MLP adapter，来将图像编码到和 text 一样的 embedding 空间中，然后是在 LLM 的各层添加 visual expert，它具有独立的 QKV 和 FFN 相关的参数，并使用 LLM 中的层来做初始化，训练的时候冻结已经训练好的 LLM 部分，训练图像相关的部分。比如在实际实验中，ViT-L/14 的模型的输出的特征是 257x1024 的大小，最后也是 32x768 的 Query 特征。首先，是响应格式上的模糊提示。

大语言模型的基本概念及发展历程前排提示，文末有大模型AGI-CSDN独家资料包哦！一、Transformer 模型Transformer 模型是由谷歌在2017 年提出并首先应用于机器翻译的神经网络模型结构。机器翻译的目标是从源语言（Source Language）转换到目标语言（Target Language）。Transformer 结构完全通过注意力机制完成对源语言序列和目标语言序列全局依赖的建模。

4. 参考文献分析 transformer 模型的参数量、计算量、中间激活、KV cache【万字长文】LLaMA, ChatGLM, BLOOM 的高效参数微调实践FlashAttention:加速计算,节省显存, IO 感知的精确注意力本文转自，如有侵权，请联系删除。

模型转化 + 模型量化（从 safetensors 到 ollama）

大模型应用之路：从提示词到通用人工智能（AGI）