qq_44579371的博客

ps: 如果只需要通过python启动脚本，其实把启动命令换成python3就能解决问题。博主遇到的原因是通过外部平台给镜像传入指令时无法指定指令为python3，故需要调整默认python版本。由于受限无法直接将仓库pull下来进行环境debug，所以只能通过dockerfile写debug语句。剩下的环境均用pip3安装，便能顺利解决问题。但是这个方案并不适合我的情况。

发现当前工作路径与实际需要的工作路径不符（通常是在更外层，这个错误一般也是因为在脚本中使用相对路径导致的）在命令行运行与在vscode调试环境运行同一个脚本，后者会报额外的。打开调试配置文件(debug launch.json)，修改或新增。字段，进行工作路径指定(即替换成你当前需要的工作路径）

类似的问题还出现在训练大规模CLIP时，使用混合精度Float16训练会出现NAN，但是换成BFloat16就能解决该问题。使用来自与训练集同一数据集的图片做推理测试时，预训练模型能正常提取图像特征，但是将其放到训练流程中时，模型输出为NAN。BFloat16 格式使用16位表示浮点数，其中1位用于符号，8位用于指数，7位用于尾数。Float16 格式使用16位表示浮点数，其中1位用于符号，5位用于指数，10位用于尾数。所以重新配置我的模型的训练精度为BF16成功解决问题。：预训练模型+下游任务层。

原因是要将图片转为base64编码需要先将图片转为二进制格式，再把二进制格式的图片转换为base64。

架构选择使用LM目标进行预训练时，casual decoder架构可以实现出色的零样本和少样本泛化能力，并表现出优于其他架构的零样本性能。此外，指令调整和对齐调整已经被证明可以进一步增强大型casual decoder模型的能力。根据scaling law，选择更大模型与更大的数据集能获得更好的表现能力LLMs支持长文本上下文建模，主要原因可归结于以下两点: LLM编码较长文本的能力。一些位置嵌入方法（如RoPE、T5 bias）已经被验证具有一定的Extrapolation capability。

一些局限性：缺乏针对长文本的高效建模：目前针对长文本的建模有很多不同变体的建模，但是这些方法的性能普遍低于完全自注意力长文本的PLMs:大多采用MLM可以使用数据增强等操作来弥补预训练与微调之间的差距大语言模型(Large Language Models, LLMs)

近期在阅读dice-loss-for-nlp数据预处理源码时对encoder_plus()函数使用不太明晰，故整理其参数设置及输入输出文档整理内容源自hugging face transformer官方文档

文章目录记录anaconda3的一些常用命令记录anaconda3的一些常用命令查看anaconda版本conda info设置conda为32位set CONDA_FORCE_32BIT = 1创建虚拟环境（环境在anaconda文件夹下的evn文件夹内）这里特指创建python虚拟环境conda create -n 环境名称 python = x.x激活虚拟环境conda activate 环境名称取消激活conda deactivate 环境名称删除虚拟环境con

文章目录anaconda3为YOLO开发创建环境下载YOLO权重文件&darkflow下载darkflow下载YOLO权重文件测试一些错误以及解决anaconda3为YOLO开发创建环境环境配置：anaconda3+python3.6+darkflow+tensorflow14.0+pycharm使用CPU版本的TensorFlow进入anaconda prompt，创建虚拟环境# 这里我创建的虚拟环境名称是YOLO3-CPU-TensorFlow1，使用的python是3.6版本co

文章目录一些背景anaconda2和3共存为anaconda配置多个python环境pycharm配置anaconda一些背景近期需要用python来读取动态链接库（DLL），但实际运行之后出现了报错：OSError: [WinError 193] %1 不是有效的 Win32 应用程序。这是因为该动态链接库得在32位python下使用，而我的pycharm对应版本是64位的于是打算采用anaconda来进行python版本管理以适应需求anaconda2和3共存环境为Windows之前只

pycharm库安装方法在线安装本地安装.whl格式.tar.gz格式一些问题的解决办法证书过期解决反复下载包的问题在线安装settings->Project->Project interpreter->右侧点加号搜索想要的包进行安装本地安装1、下载所要的包可能是.whl格式或者.tar.gz格式.whl格式将包拷到库中在终端运行（要在库文件夹下）pip install +whl包名（包括后缀）或直接pip install +whl文件路径.tar.gz格式将

pytorch安装（cpu版本）本地安装&线上安装（pip）本地安装线上安装替换源合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入本地安装&线上安装（pip）本地安装线上安装由于在使用pip安装时默认从国外的源下载，所

ubuntu命令行记录文件类python相关软件安装相关文件类cd命令进入某个目录cd 目录名跳转到homecd ~跳转到上一级目录cd ..跳转到上上级目录cd ../..跳转到当前目录下的子目录cd ./子目录ls命令：显示路径下文件例如ls ./mv命令mv filename1 filename2 #将源文件名改名为目标文件名mv filename contentname #将文件移动至目标目录mv contentname1 contentname2

之前装了Ubuntu系统为了机器视觉方面的学习，对于一个新手小白来说Ubuntu一路走来坑不少。特记录下来最近学习的情况以供复习之前在装pytorch和pycharm时也遇到了不少问题，但当时没想着去记，导致现在也没法写出准确的问题与解决办法，索性从现在写起。环境：win10文章目录2019/11/18近期需要给电脑配置Openpose的使用环境于是需要安装NVIDIA在NVIDIA显卡...

ubuntu切换python版本临时切换系统切换临时切换系统的默认python版本一般是2.7，临时切换很简单，在终端输入python3.x就能切换到对应的3.x版本系统切换可以使用 update-alternatives 来为整个系统更改Python 版本首先罗列出可替代版本信息update-alternatives --list python如果出现如下报错update-alternatives: error: no alternatives for python则表示 Pyt

在github上新建分支并更新代码git安装一、下载msysgit,然后按照默认选项安装二、在桌面点击右键Git Bash Here,之后设置自己的名字和邮箱三、在本地创建版本库新建分支并添加到远程库四、添加文件到此库并上传到远程分支git安装一、下载msysgit,然后按照默认选项安装二、在桌面点击右键Git Bash Here,之后设置自己的名字和邮箱$ git config --gl...