magic_road的博客

qwen1.5 模型的问答生成方式发生了变化，不再支持 mode.chat()，但整体来看， 1.5版本的问答效果确实有了很大提升。qwen-7B 大语言模型的加载方式如下。

来设置 split_scale 参数值时，会自动触发验证逻辑，并在超出范围时引发错误。方法中，如果属性名与参数名不匹配，验证逻辑不会被触发。split_scale 变量，可以通过 split_scale 属性进行访问。要解决这个问题，需要将属性名和参数名保持一致。如果你希望在类对象实例化时自动触发验证，你可以使用装饰器。方法中，由于属性名与参数名不匹配，验证逻辑不会被触发。如何在类中自定义参数变量类型，并设定参数变量的值范围.方法中，不需要返回任何值。来定义类的属性，并在这个属性的。

基本方法：检索与用户查询相关的上下文，然后将其与内存缓冲区中的聊天历史记录一起发送给LLM, 让LLM在生成下一个答案时了解先前上下文。，由于用户query存在部分口语化的词，如停用词等，直接抽取用户中的关键词做召回是一个有效的方式。优点：它同时考虑了查询与存储文档之间的语义相似性和关键字匹配度；- 1. 通过将检索到的上下文逐块发送到LLM来迭代地细化答案。- 3. 同的上下文块生成多个答案，然后将它们连接或总结。- 2. 总结检索到的上下文以适应提示。：聊天历史记录和最后一条消息都。

系统中，初始化系统是启动系统时第一个启动的进程，负责启动和管理系统中的各种服务。我在使用sytetmctl 查服务状态时中出现了这个问题。

好了，就到这了，有新的感悟再续写， 哈哈。repo_id 是什么？

之前执行了上面的第二条指令，发现控制台还是报字符编码冲突错误，后来才明白是mysql数据库创建时指定的编码与创建表时默认的编码不一致 (如下图)，才出现上述错误问题；

最近有一个工作问题需要花费太多的人工时间，就考虑是否可以用LangChain Prompt进行解决。经过对LangChain 里的几种 prompt 模板对比分析，觉得 Few-shot prompt 最符合需求，然后就着手开始搭建。因为网上对于Few-shot prompt的用法资料不多，或讲解不完整，故此在这里做一下记录；

FSDP是pytorch官方推出的分布式训练框架，它可以进行数据并行和模型并行的分布式训练框架。

在文本多分类模型测试过程报如下错误： RuntimeError: stack expects each tensor to be equal size, but got [512] at entry 0 and [863] at entry 7.之前模型代码写的是 truncation='only_second', 如果文本数据长度差异太大，就必须 truncation设置为True. 改好后就没有上面报错。

最近因为需要用BERT-CRF模型做一个英文数据的实体抽取模型训练，因为github上BERT-CRF大多是对中文数据做NER， 这里特此记录一下处理过程中的解决方法与思路，废话不多说直接上代码，这里的代码模版参考的是 CLUENER2020项目下的BERT-CRF模型代码, 主要修改部分在 collate_fn 部分的 batch数据的 padding与aligning处理。

后来发现原因是没有指定GPU，但是有时明明指定了GPU还是无法运行，后来才知道，如果你指定的GPU被占用时，它会报默认0号GPU被占用无法分配运行内存。最近在做一个多分类模型时，遇到一个下面bug，明明服务器多块GPU上有空闲GPU，却无法运行模型。