【SAKANA1】SAKANA的R语言学习笔记1

【SAKANA2】plot

我学。。我再学，，，

7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM

就像一位好教师不需要重新发现数学定理来解释它们一样，RLTs在输入提示中既获得问题的内容，也获得每个问题的正确答案。 它们的任务是提供有助于学生模型学习的、逐步的详细解释，从而连接这些知识点。如果学生模型能够根据教师对问题的解释轻松理解正确解决方案，那么这就是RLTs做得好的信号。 也就是说，对RLTs的奖励不再是能自己解决问题，而是能解释对学生模型有多有帮助。

大模型进化新路径：模型融合与进化策略实战解析

如果你最近关注大模型领域，可能会注意到一个现象：当主流厂商还在卷参数、拼算力、优化Transformer架构时，一家名为Sakana AI的公司却拿出了一套截然不同的解题思路。他们推出的Fugu系列模型，没有追求千亿、万亿的参数量，而是将重点放在了“模型融合”与“进化策略”上，试图用更聪明、更“生物启发”的方式，从现有开源模型中“进化”出能力更强的模型。 这听起来有点玄乎，但背后是一个很实际的问题：对于大多数开发者和研究团队来说，从头训练一个大模型的成本和门槛高不可攀。那么，有没有一种方法，能像“育种”一样

博主实测爆火的 Sakana Fugu，发现它还不如一个GPT？

博主实测爆火的 Sakana Fugu，发现它还不如一个GPT？

Sakana AI 推出 TreeQuest：多模型团队表现超越单一大语言模型30%

"除了每个模型的个别优缺点外，产生幻觉的倾向在它们之间可能存在显著差异，"Akiba 说。企业不必局限于单一供应商或模型，可以动态利用不同前沿模型的最佳特性，为任务的不同部分分配合适的人工智能，从而获得卓越的结果。"这表明 Multi-LLM AB-MCTS 可以灵活地结合前沿模型来解决以前无法解决的问题，推动了使用大语言模型作为集体智慧可实现目标的极限，"研究人员写道。"虽然我们在将 AB-MCTS 应用于特定面向业务的问题方面还处于早期阶段，但我们的研究显示了在几个领域的巨大潜力，"Akiba 说。

7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM | Transformer作者团队

结果发现：使用相同的Qwen2.5学生模型、相同的问题以及相同的评估设置，RLT以远少的计算量取得了比DeepSeek-R1和QwQ更好的效果。把学生模型的规模扩大，结果同样令人惊讶：7B的RLT成功训练了一个32B的学生模型，其规模是自己四倍以上，并取得了优异的成果。为了验证新方法的有效性，Sanaka AI用新方法训练了一个7B的RLT小模型作为教学模型与此前最先进的方法进行比较。用Sanaka AI的新方法训练出的7B小模型，在传授推理技能方面，比671B的DeepSeek-R1还要有效。

「强化学习教师」登场！7B模型击败671B DeepSeek-R1，小模型也可训练大模型了

这种反馈机制使得教师模型的训练与其「帮助学生」的实际目的相一致，提升了训练效果。结果显示，在教授推理技能方面，7B 大小的教师模型的表现超过了规模大几个数量级的模型（如 671B DeepSeek-R1）。而且，这一结果不仅适用于规模相同的学生模型，也适用于规模远大于教师模型（如 32B）的学生模型。受人类教师工作方式的启发，正如一位优秀的人类教师无需重新发现数学定理就能解释它们一样，RLT 在输入提示中同时获得每个问题的题目和正确答案，它们的任务是通过有帮助的、分步解释来帮助学生模型从中学习。

OAI/谷歌/DeepSeek首次合体「AI梦之队」！战力飙升30%，碾压一切单模型

Sakana AI提出Multi-LLM AB-MCTS方法，整合o4-mini、Gemini-2.5-Pro与DeepSeek-R1-0528模型，在推理过程中动态协作，通过试错优化生成过程，有效融合群体AI智慧。在下面的例子中，尽管o4-mini最初生成的解答是错误的，但DeepSeek-R1-0528和Gemini-2.5-Pro能够在下一步将其作为提示来得出正确的解答。比如o4-mini、Gemini-2.5-Pro、DeepSeek-R1-0528这些具有代表性的模型，到底哪个写的代码更好？

大河豚 TreeQuest 源码精读 + 四大 LLM 编排器选型实录：从 AB-MCTS 到正交叠加

Sakana AI 把 AB-MCTS 开源成 TreeQuest 0.3.2。本文拆三件事：算法精读（Thompson 采样把 Deeper / Wider / Multi-LLM 收敛到同一套 Beta 后验）+ 200 行 Python demo + 四风格横评（TreeQuest / OpenRouter / Vercel AI SDK / LangGraph）+ Pass@K 经济学。核心结论：4 家是 4 个正交层（路由 / 前端 / 状态机 / test-time），叠着用而非二选一。

LLM Weekly（2025.02.17-02.23）

英文文章来源：https://medium.com/nlplanet/grok-3-is-finally-out-weekly-ai-newsletter-february-24th-2025-7a7bcd27eec3

PyTorch提速10-100倍，全球首个AI CUDA工程师诞生！

上周国内外AI科技圈又发生了啥新鲜事？

小模型当老师效果更好：借助RLTs方法7B参数击败671B，训练成本暴降99%

强化学习教师模型(RLT)从根本上重新定义了训练范式。与传统方法要求模型自主解决问题不同，RLT预先提供问题的解决方案。在训练过程中，RLT教师模型同时接收问题和正确答案作为输入。教师的任务不是重新发现答案，而是解释为什么该答案是正确的。这类似于优秀的人类教师无需在每堂课上重新推导已知定理，而是专注于清晰地解释其原理。这种方法被称为"学习教学"范式。核心思想是使用专门设计的奖励函数来训练教师，该奖励函数衡量教师的解释对帮助学生模型理解解决方案的有效性。

8小时自动写完100页报告——长时自主Agent的安全边界在哪？

从秒级文本生成到小时级自主推理。AB-MCTS + Multi-LLM 的技术方案有学术基础的支撑和商业需求的牵引，8 小时自主运行产生 100 页报告的演示效果令人印象深刻。Marlin 的技术根基——AI Scientist——在独立评估中暴露出 42% 的实验失败率、57% 的幻觉手稿率、微乎其微的自主代码生成能力。

五分钟看完谷歌凌晨发布：叫板 GPT-4o 语音能力，重新定义手机；OpenAI 推出全新测试集 | AI头条...

整理 | 王启隆出品 | AI 科技大本营（ID：rgznai100）一分钟速览新闻点！五分钟看完 Made by Google 2024 发布会！Andrej Karpathy 最新文章：《使用特殊 tokens 对 LLM 进行类似 SQL 注入的攻击》OpenAI 推出全新测试集 SWE-bench VerifiedSakana AI 发布能独立科研的“AI 科学家”社区预热 Grok 2....

生产事故复盘：Linux 系统盘爆满后，如何用 rsync + bind mount 低停机迁移业务目录

文章摘要 本文复盘了一次Linux生产服务器磁盘爆满事故的完整处理过程。作者首先通过df和du命令定位到业务上传目录占用22GB空间，同时发现Docker缓存和系统日志也占用大量空间。在CPU高负载和SSH连接困难的情况下，作者使用nice和ionice降低诊断命令优先级，避免影响生产环境。文章详细介绍了各类型存储的清理策略，特别强调不能随意删除Docker Volume和overlay2目录。最后提出根本解决方案是将业务数据目录从系统盘迁移到独立存储，并给出了rsync+bind mount的低停机迁移方