大型语言模型 (LLM) 的开源训练数据集

【LLM数据篇】预训练数据集+指令生成sft数据集

在《Aligning Large Language Models with Human: A Survey》综述中对LLM数据分类为典型的人工标注数据、self-instruct数据集等 优秀的开源sft数据集：alpaca_data、belle、千言数据集、firefly、moss-003-sft-data多轮对话数据集等 文章目录 note 构造指令实例的3种方式 sft：Aligning Large Language Models with Human: A Survey Alpaca 1. self

【免费下载】 探索 Common Crawl：一个开放的数据共享平台

探索 Common Crawl：一个开放的数据共享平台 是一个非营利组织，致力于为全球用户提供免费的网络爬虫数据。该项目的目标是构建一个大规模的、公开可用的 web 爬虫数据集，以便研究人员、开发者和公众可以探索互联网上的信息。 Common Crawl 能用来做什么？ Common Crawl 提供了大量有关网络的信息，这些信息可用于各种用途。以下是一些示例： 研究：研究人员可以利用 Comm...

大模型常用的预训练数据集

此外，该数据集针对不同需求，发布了多个子版本：en（英文数据，806G），en.noclean（未清洗的原始数据，6T），realnewslike（仅包含 Real News 涉及的领域的内容，36G），webtextlike（仅包含来自 Open WebText 中URLs 的内容，17G）和 multilingual （多语言数据，38T）。值得注意的是，该数据集内部充斥着大量的噪声和低质量数据，在使用前必须进行有效的数据清洗，以确保数据质量和准确性，常用的自动清洗工具有 CCNet 等。

大模型训练数据库Common Crawl

‌‌Common Crawl是一个非营利组织，致力于通过大规模分布式爬虫系统定期抓取整个Web并将其存储在一个可公开访问的数据库中。Common Crawl的数据收集和处理过程包括使用Python开源爬虫工具收集全球范围内的网站数据，并将其上传到‌Common Crawl基金会的数据仓库中。该项目从2008年开始，至今已经积累了大量的原始网页数据、元数据和文本提取数据。这些数据经过处理后，可以用于自然语言处理和机器学习的训练。

最大的顶级数据集开源，HuggingFace排名第一，可创建15万亿Token

去年 12 月，生成式 AI 公司 Petuum 以及穆罕默德·本·扎耶德人工智能大学（MBZUAI）共同推出了一个用于创建开源大型语言模型的项目LLM360，旨在提高开源代码的透明度，公开整个 LLM 训练过程、代码、数据和最佳实践，以帮助开发人员更轻松、更快捷、更经济地创建开源大型语言模型，实现...

【亲测免费】 探索大型语言模型的无限可能 —— Awesome-LLM 引领未来

???? 探索大型语言模型的无限可能 —— Awesome-LLM 引领未来 【免费下载链接】Awesome-LLM Awesome-LLM: a curated list of Large Language Model 项目地址: h...

大型语言模型预训练（LLM360）

LLM360由Petuum和穆罕默德·本·扎耶德人工智能大学（MBZUAI）共同推出，是用于创建开源大型语言模型的项目，主要用于大型语言模型的预训练，为开发者提供大量高质量、多样化的数据，帮助其更轻松、快捷、经济地创建开源大型语言模型。

开源项目X-LLM常见问题解决方案

开源项目X-LLM常见问题解决方案 1. 项目基础介绍 X-LLM是一个旨在通过将多模态信息（如图像、语音、视频）转换为外语，并输入到大型语言模型（如ChatGLM）中，从而实现多模态LLM（Large Language Model）的开源项目。该项目通过使用X2L接口，将多模态信息与大型语言模型相结合，以实现令人印象深刻的多模态聊天功能。X-LLM框架允许我们将各种模态的信息整合到LLM中，例如...

最大的顶级数据集开源，HuggingFace排名第一，可创建15万亿Token_全球最大 ai开源 训练数据集 平台

去年 12 月，生成式 AI 公司 Petuum 以及穆罕默德·本·扎耶德人工智能大学（MBZUAI）共同推出了一个用于创建开源大型语言模型的项目 LLM360，旨在提高开源代码的透明度，公开整个 LLM 训练过程、代码、数据和最佳实践，以帮助开发人员更轻松、更快捷、更经济地创建开源大型语言模型，实现AI研究民主化。这是一个雄心勃勃的项目，其价值随着时间的推移而增加。

OpenManus-RL 通过强化学习（RL）提升大型语言模型（LLM）代理的推理和决策能力

OpenManus-RL 是一个致力于通过强化学习技术优化 LLM 代理能力的开源项目。它的目标是增强代理在推理、工具使用和环境交互方面的表现，特别关注代理任务的复杂性。OpenManus-RL 项目采用多种后训练策略来提升 LLM 代理的表现。

从零开始构建LLM：小白也能掌握的大型语言模型关键步骤！

随着大规模语言模型（LLM）在性能、成本和应用前景上的快速发展，越来越多的团队开始探索如何自主训练LLM模型。然而，是否从零开始训练一个LLM，并非每个组织都适合。

【DeepSeek论文精读】2. DeepSeek LLM：以长期主义扩展开源语言模型

论文介绍了DeepSeek LLMs，这是一系列在2万亿标记的英语和中文大型数据集上从头开始训练的开源模型。本文深入解释了超参数选择、扩展定律以及做过的各种微调尝试。校准了先前工作中的扩展定律，并提出了新的最优模型/数据扩展-缩放分配策略。

LLM训练数据集简介

数据集是LLM的真正起点。如果没有大量和多样化的文本、代码和对话,像ChatGPT或LLAMA这样的语言模型就不会存在。开源LLM的兴起也朝着数据集创建的透明度和可访问性迈出了一步。这将允许全球社区创新并改进AI技术,以创造更美好的未来。更负责任的数据集收集以确保公平和隐私领域特定的微调,用于医学、法律和其他行业高效的数据集使用以减少满足模型训练能源需求所需的环境足迹。

DeepSeek系列论文总结

该项目旨在推进开源大型语言模型(LLM)的长期发展。作者广泛研究了LLM的缩放规律，重点关注批量大小、学习率、数据和模型规模的缩放行为。从头开始构建开源LLM，收集了主要由中文和英文组成的2万亿令牌数据集。DeepSeek LLM模型在基准测试中表现出色，尤其在代码、数学和推理等领域优于LLaMA-2 70B。作者还讨论了他们的微调方法，包括监督式微调(SFT)和直接偏好优化(DPO)，这些方法使得DeepSeek Chat模型在开放式评估中优于GPT-3.5。

如何微调：关注有效的数据集！

微调LLMs是一门艺术与科学的结合，该领域的最佳实践仍在不断发展中。在本篇博文中，我们将突出微调的设计变量，并给出我们迄今为止所见的最佳实践的方向性指导，以在资源受限的情况下微调模型。我们建议使用下面的信息作为制定微调实验策略的起点。