关于ai推理能力的感想

• 一开始我认为 Ai推理能力差 是因为现在大模型对规则的保存和应用都是隐式的。规则不明确，推理的过程也不明确。只要将规则明确过程明确就能提升推理能力。
• 但经过一番学习，我发现真正的难点并不在于规则和过程的明确。对于常见问题，自然可以轻松找到规则和过程进行对应。然而不常见问题，没有现成的规则和过程。或者说解题的思路，方向，角度。而思路的方向 会随着问题的复杂 极速增加。这才是关键难点。
• 不过大模型现在的问题，还并不在找思路上。而是对现成的规则和过程也不能正确匹配。也就是说缺乏验证。
• 对于复杂问题找思路，验证也是不可避免的手段。但那个时候思路太多就变成了问题的关键。
• 对新发现的规则，怎样能够立即使用。这是持续学习的问题。
• 总之验证和持续学习是目前提高推理能力的重点。改善这两点，才能进一步解决复杂问题。

2024.12.21

推理会遇到路线太多，无从下手的问题。那么推理的本质是什么呢?

对于简单的问题，问题和结果是分开的。

但根本来说，问题和结果是相关的元素，而过程是将元素间的联系发现的过程。

 进一步说，如果问题当中有无效的元素。能抓住有效元素的解决方案，才是正确过程。

 因此，在无限发散的推理思路中：

1. 问题中的元素总是有联系的。如果看起来没有联系，最终也会通过结果联系在一起。除非没有答案。
2. 能够将尽量多的元素结合起来的思路，是更有效的。
3. 最优结果总是和问题中的大部分元素联系在一起。
4. 如果确定问题中有矛盾元素，则问题没有解。但可以部分解决。(复杂问题总是难以完美全面的解决)

上面讨论了什么是解决方案，什么是结果。下面讨论什么是问题。

•  这个世界有无数抽象或具象的元素构成。
• 元素被规则所联系。又在规则的推动下不断变化，形成了时间。
• 元素不仅互相联系，而且可以组合成新的元素。反过来也可以被分解成子元素。
• 依照意志，通过规则我们可以改变一些元素。这些改变被需求所驱动。提问也是一种需求。
• 问题的元素，总是世界的一部分。世界各种元素组合出复杂的情况。在这个元素粥组成的情况中，可以通过各种角度，提出各种问题。因此提出正确的有价值的有意义的问题是稀缺的。
• 问题的元素可以向下无限分解，向上无限组合。于是通过各种角度，可以提出各种或正确或错误或局限或全面的解决方案。从这个角度来说，解决方案与问题需求有类似之处。都是大海捞针。

Ai不仅是要把人类总结出的方法快速应用。更要自己研究出新的方法，自己提出有价值的问题。这个有价值不是说对人有价值。而是说涉及到尽量多的元素，或者元素有尽量深的组合层次。(因为知识是层层堆积而成的，层越高说明知识越复杂。这里高和深指的是一个意思。)而有价值的问题最终会惠及到人类。因此不必狭隘的站在人类角度出发。(类似于人类为什么要航天)

在复杂状况中，提出问题和给出方法往往是相同的。不能提出好问题也就给不出好方法。本质上都是在找好的角度(能够串联尽量多元素的角度)。

 12.22

       上面说到好的方案可以串联更多的元素。从这个思路出发，将问题生成类似的问题，然后把他们的答案汇总。这样应该可以提高准确率。并生成更有泛用性的方案。这是使用了抖动和超采样的思路。

       微调的训练即使是小样本，有时数据仍然不够。通过生成同义词，增加数据，这已经是在用的办法。

       人类常有顿悟的时候。顿悟那一瞬间是一句话一个词让我们想通的吗?我认为是靠之前积累了足够多的同类案例。在那一瞬间发现了相同的模式。这才是顿悟的本质。只不过人类最少可以靠两三个案例就能挖掘出共通之处。而小样本的微调训练也不能做到这么少的样本。因此可以直接将相关的参数导入微调，这样就可以提升训练效率。(将预训练的模型参数导入微调，是常见的办法。但是将某个特定的方法的相关参数挖掘并导入，还没有听说有人做。)

2025.1.4

o3在推理能力上有很大提升。我认为明确推理步骤基本已经实现。但o3仍然有低级错误，以及推理错误。我认为这本质上是一个原因导致的。都是因为人类思维过程有隐含的步骤，没有被记录在文字当中。主要包括两部分：

1. 特别简单的操作。例如“逐一”。无论是计数，还是操作，我们经常要对元素逐一操作。比如计算一个单词当中有几个r。我们要把已经计数的对象，从没有计数的部分当中排除。归入已经计数的部分。并且一次一个。这个操作非常基础简单，大多数时候不会被写进文字。因此也就导致训练出来的参数，在这些基础操作上权重不足。这不仅导致ai犯低级错误，而且在进行推理的过程中，由于每一步犯小错误的可能性太高，因此ai没有严格按照每一步的正确与否进行推理。(不够严谨)这就导致了最后总的推理会出问题。     要解决这个问题，我认为有两种方式。一种是对训练数据进行巧妙的补全，以提升基础操作的权重。另一种是对现有的大模型直接调整。发现一个错误，就更正一次权重。无论是从内部调整，还是外部的微调。因为这些基础操作数量并不多。每更正一个，就会有大量的建立在这个基础操作上的高级操作受益。因此整个过程进行人工修正也不是不可能。
2. 思维技巧。无论是归纳法，演绎法，反推法，例证法，我们在使用的时候都很少会特地说明一下我们要使用的思维技巧。这也是文字记录当中隐藏的丢失的碎片。同样这些技巧数量也不多，有可能进行人工修正。例如人类在寻找解题思路的时候也使用了树搜索。也就是对每个路径逐一尝试。这个方法在o3上实现之后，就明显增强了一截能力。可见人工补全思维技巧，很有可能。我认为这样的技巧不超过30个，之后的技巧基本都是前面技巧的组合。

反思我以前的思路。我可能还是太符号主义了。总是希望把思维过程抽取出明确的符号和运算。也许这些都可以用权重调整来代替。

﹌﹌﹌﹌﹌﹌﹌﹌

还有一个问题， Ai现在掌握的知识，总是含有一些错误。这些错误有两种，一种是核心错误一种是边缘错误。核心错误是指和大量元素有连接的，这种容易更正，因为可以和相关元素进行比较。例如空气是固体，我们可以通过大量相关知识进行反驳。边缘错误，则是指那种很少甚至没有相关元素的错误。比如㝶的读音。这就只能通过外部反馈来进行修正。主要是靠搜索互联网，这也是人类的主要办法。这对ai倒不困难。编程相关的，可以给ai一个编程环境，让它获取反馈。

﹌﹌﹌﹌﹌﹌﹌﹌

前几天我讨论了对复杂问题要怎样寻找思路。虽然进行了一些基础讨论，但是对最终解决办法没有进一步讨论。当时我认为，人类在漫长历史中已经总结了很多有效的套路。 Ai掌握这些套路，可以节省前期摸索的时间。

但是今天我又想， Ai下围棋，一开始也是背棋谱，后面发现从零开始对抗生成，效果更好效率更高。所以ai也不一定需要掌握人类之前的思路。 Ai需要的是大量的题目。自己积累思维技巧。说不定也能效果更好效率更高。训练就是提出正确的思路，能够提出的思路越多越好。说不定也不需要人类可以解读的思路。有正确的结果就可以。拉马努金也是先有结果再找过程。