自作LLMを家庭用GPUで訓練し、5つのLLMに性能診断テストを実施した結果、わかった事

RTX3090で約3時間しか訓練してない自作（AI作）130MサイズのLLMが、約3倍のサイズで約12倍の学習量の日本語GPT-2型Trans-LGに公開文法ベンチ（JBLiMP）で81.27%対77.95%で勝利した・・・マジか・・・GPT-5.6の設計凄いな・・・よしこのモデルの訓練継続して育てるぞ〜。

自作した4つのLLMと、外部公開モデル1つを、同じ問題集で比較した。

評価に使ったのは、検索、情報の更新、順序、多段推論、集計、妨害情報への耐性などを測る12種類、合計768問の4択問題である。すべてのモデルに同じ問題文と選択肢を与え、それぞれの選択肢が続く確率を計算して回答を決めた。4択なので、何も分からず偶然に答えた場合の期待値は25%、192問正解になる。

この問題集は自作の機構診断用テストであり、一般的な言語能力を測る公開ベンチマークではない。また、モデルごとにパラメータ数、学習量、学習データ、tokenizerが異なる。そのため、以下の結果はアーキテクチャだけの公平な順位ではなく、個人のRTX 3090上で実際に作ったモデルの現状比較として読む必要がある。

結果

| モデル | パラメータ数 | 学習tokens | 正答 | 正答率 | 学習速度 |
|---|---:|---:|---:|---:|---:|
| CST Prime | 129.9M | 500.0M | 230/768 | 29.95% | 45,242 tok/s |
| KOTODAMA | 130.0M | 500.0M | 210/768 | 27.34% | 9,381 tok/s |
| SmolLM2 | 135M級 | 2T | 198/768 | 25.78% | 外部学習のため不明 |
| KaiNomos | 718.3M | 45.9M | 191/768 | 24.87% | 3,487 tok/s |
| Deltaxis | 249.7M | 97.5M | 188/768 | 24.48% | 3,585 tok/s |

今回の最高点はCST Primeだった。ほぼ同じパラメータ数、ほぼ同じ500M tokensまで学習したKOTODAMAを20問上回った。ただし、対応する問題ごとに比較した検定では`p=0.181`であり、この768問だけでCST Primeの能力が明確に上だと確定したわけではない。

それでも個人開発の製品候補として見ると、差は正答数だけではない。CST PrimeはKOTODAMAの約4.8倍の速度で学習できた。500M地点までに記録されたGPU計算時間は、CST Primeが約3.0時間、KOTODAMAが約12.4時間だった。CST Primeは、より短い時間でより高い点を取ったことになる。

総合点だけではモデルの特徴は分からない

同じ問題集を使うと、モデルごとに得意な問題と間違え方が大きく異なった。

CST Primeは新しい情報への更新が強かった

`overwrite_latest`は、同じ対象の値が何度も変更されたあと、最後の値を答える問題である。

• CST Prime：40/64

• KOTODAMA：10/64

• SmolLM2：0/64

答案を詳しく見ると、KOTODAMAは46問で更新前の初期値を選び、SmolLM2は58問で初期値を選んでいた。これに対してCST Primeは40問で最後の更新値を選べていた。CST Primeは総合点が少し高いだけでなく、古い情報より新しい情報を優先する能力で明確な違いを示した。

ただし、この結果だけからCSTの回転残差、Attention gate、Late Value Recall、複数活性化MLPのどれが効いたかは分からない。今回分かるのは、これらを組み合わせた完成モデルが、情報更新問題で強かったということまでである。

KOTODAMAは順序関係で比較的強かった

KOTODAMAは、複数の「AはBより前」という条件から全体の順番を復元する`constraint_ordering`で37/64を取り、5モデル中で最高だった。列の位置を直接答える`position_order`でも13/64で、CST Primeの1/64を上回った。

KOTODAMAは、文章を左から右へ処理する逐次状態と、同じ処理回路を繰り返し使う構造を持つ。今回の順序問題での傾向は、その設計意図と一致している。ただし、単一checkpointの64問だけで、構造が原因だと断定はできない。

一方で、KOTODAMAは情報更新問題では更新前の値に強く引っ張られた。順番を保つことと、古い情報を捨てて新しい情報へ置き換えることは、同じ記憶能力ではないことが分かる。

SmolLM2は妨害情報への耐性が高かった

`distractor_stability`は、必要な記録の周囲へ無関係な文章を増やしても、正しい情報を保持できるかを見る問題である。

• SmolLM2：50/64

• CST Prime：31/64

• KOTODAMA：28/64

SmolLM2は総合点では25.78%だったが、妨害情報への耐性では大きく勝った。2T tokensという大量の事前学習によって、文章内の重要情報と無関係情報を分ける能力が育っていた可能性がある。ただし、学習データもtokenizerも異なるため、これをアーキテクチャの効果とは言えない。

逆にSmolLM2は、最新値への更新が0/64、多段追跡が0/64だった。この自作テストでは、長期間学習した外部モデルでも、すべての操作を均等に獲得するわけではなかった。

得点だけでなく「どう間違えたか」が重要だった

多段追跡問題では、「Aから矢印を何回かたどった先」を答えさせた。しかしKOTODAMAとSmolLM2は64問すべてで出発地点をそのまま回答し、CST Primeも60問で出発地点を答えた。モデルは選択肢を無作為に選んだのではなく、矢印を実際にたどらず、質問文の直前にある始点へ強く引っ張られていた。

位置問題でも同じ現象が見えた。CST Primeは64問中46問、SmolLM2は53問で、指定された位置ではなく列の最初の項目を選んだ。単純に「位置認識が弱い」とまとめるだけでは、モデルが何をしているかを見落とす。実際には、数えて位置を求める代わりに、入力の先頭を回答する近道へ偏っていた。

また、制約から順番を復元する問題では30問以上正解できるモデルが、多段の矢印追跡ではほぼ全滅した。どちらも人間には似た関係推論に見えるが、モデルにとっては表現形式が違う。今回のfamily別得点は、純粋な思考力だけでなく、問題文の形式に慣れているかどうかも測っている。

このため、自作問題集の総合点をそのまま一般知能の順位として扱うことはできない。一方、同じ問題に対する間違え方を比較すれば、モデル内部でどの情報が残り、どこで処理が止まったかを調べる診断器として使える。

複雑なモデルは学習時間が急増する

今回最も実用上の差が大きかったのは学習速度だった。

CST Primeは12層を一度通過する構造で、GPU向けのcompileと大きなmicrobatchを利用できた。その結果、約45,000 tok/sで学習でき、500M tokensまで約3時間だった。

KOTODAMAは同じ約130Mパラメータだが、8個の共有blockを複数回繰り返す。パラメータ数は増えなくても、1 tokenを処理する計算回数は増える。そのため学習速度は約9,400 tok/sまで下がり、500Mまで約12.4時間かかった。さらに学習後半では平均反復回数が増えるため、1Bまでの追加500Mには約14.8時間かかる見込みである。

Deltaxisは14層の本体に加えて、共有する2つのblockを16回適用する。KaiNomosは718Mパラメータ、24層の大型モデルである。両方とも学習速度は約3,500 tok/sで、現在地点から1Bまで進めるには、それぞれ約70時間、約76時間の追加計算が必要になる。

パラメータ数が同じでも、反復回数や実装方法によって学習時間は大きく変わる。性能を比較するときは、学習tokensやパラメータ数だけでなく、実際にGPUを何時間使ったかを一緒に見る必要がある。

大きいモデルでも、学習不足なら能力は出ない

KaiNomosは718Mパラメータあるが、評価時点では45.9M tokensしか学習していない。Deltaxisも249.7Mパラメータに対して97.5M tokensである。両モデルの総合点は4択の偶然水準付近だった。

これは、大きなモデルを作ればすぐに強くなるわけではないことを示している。パラメータを増やすほど、能力を引き出すために必要な学習量と時間も増える。個人のGPUでは、モデルを大きくした結果、十分に育てる前に計算予算が尽きることがある。

KaiNomosは`multi_hop`で15/64、`previous_value`で22/64だった。Deltaxisは`state_transition`で20/64だった。しかし総合点が偶然水準にあるため、これらを完成後の得意能力とはまだ判断できない。現段階では、将来の成長を比較するための初期記録である。

個人開発としてどのモデルを残すか

今回の結果から、今後の扱いを次のように整理できる。

• CST Primeは主力として継続する。 現在の最高得点であり、学習速度も圧倒的に速い。1Bまで追加学習しても約3時間で済む。

• KOTODAMAは1Bまで継続して、そこで最終判断する。 Primeより遅いが、500M時点の得点は近く、順序関係という異なる強みがある。ただし1BでもPrimeを上回れなければ、計算費用を考えて主力から外す。

• KaiNomosは現在のcheckpointを保存し、長期学習は停止する。 まだ学習不足なので構造の失敗とは言えないが、1Bまで約76時間必要であり、個人のRTX 3090で優先する製品としては重すぎる。

• Deltaxisも研究資産として保存し、長期学習は停止する。 16回の推敲計算に対して、現時点では狙っていた多段推論の明確な成果が出ていない。1Bまで約70時間を追加する費用は、現在の信号に見合わない。

• SmolLM2は外部の参考線として残す。 学習条件が違うため公平な競争相手ではないが、自作モデルが外部完成品に対してどの能力で勝ち、どこで負けるかを見る基準になる。

ここで終了するモデルは、「アーキテクチャが科学的に否定された」わけではない。十分に学習すれば伸びる可能性は残る。しかし個人開発では、可能性だけで数十時間のGPU計算を追加することはできない。現在の性能、成長の兆候、学習速度を合わせて、限られたGPU時間をどこへ使うか決める必要がある。

今回分かったこと

モデルの性能は、パラメータ数や学習tokensだけでは決まらない。残差の使い方、情報を更新する方法、順序を保持する方法、同じ計算を何度繰り返すかによって、得意な問題も学習速度も変わる。

また、複雑な機構を追加すれば性能が上がるとは限らない。反復計算によって少し能力が増えても、学習時間が数倍から数十倍になれば、個人の計算環境では十分な量を学習できなくなる。理論上の表現力だけでなく、完成するまで育てられるかどうかもモデル設計の一部である。

今回の比較では、単純な総合点以上に、情報更新、順序、妨害耐性でモデルの違いが現れた。そして最も現実的だったのは、最高点を取りながら最も速く学習できたモデルだった。

個人でLLMを作る場合、良いモデルとは複雑なモデルではない。限られたGPUで最後まで育てられ、その計算時間に見合う能力を得られるモデルである。

追記：

自作（AI作）LLMのCST Prime-130Mは、500M tokens学習時点で日本語文法ベンチマークJBLiMPにおいて269/331問、正答率81.27%を記録した。JBLiMP論文掲載の日本語GPT-2型モデルの最高値77.95%を点数上は上回り、人間基準90.90%との差は約9.6ポイントだった。しかしその内約は日本語構造では大勝し、指示関係では大敗でした。

JBLiMP論文で最高点を取った日本語GPT-2型モデル「Trans-LG」は、約4億パラメータと推定されます。

論文は総パラメータ数を直接記載していませんが、公開された構成から計算すると約4.06億です。CST Primeの約3.1倍あります。

さらにTrans-LGは、約1.46億subwordの日本語データを繰り返し使い、61,440 tokens × 100,000更新なので、累計では約61億token分を処理しています。一方、CST Primeは約5億tokensです。元モデル論文、JBLiMP論文

したがって現状は、

という、かなり面白い比較になっています。ただし総パラメータ数はチェックポイントからの実測値ではなく、論文記載の構成からの概算です。