AIに超小型LLMを作らせてみた。これから毎日、少しずつ育てていく。

人間のまえがき

GPT-5.6solに超小型LLMを作ってもらいました。超小型なので一応3090でも事前学習が出来ます。しかし、16B（160億）トークンで約1,378時間かかる計算です。毎日少しづつ訓練していこうと考えてます。

今回最新モデルのAIと一緒にLLMを作ってみて感じたことは、まだ今のAIの能力では全く新しい機構や根本的に新しい計算手法などは出てこないということです。ほかっておくと既知の言い換えや、わかりきっていることを検証するだけに逃げます。

ですからAIにLLMに関する論文を徹底的に調査させて、どの技術の組み合わせが最適かを探索させる方向で話を進めていくと上手く行きます。

現時点ではまだフロンティアモデルでもこのレベルなのですが、あと2，3世代進むと、もしかしたら革新的な手法を発明できるAIが誕生するかもしれません。もしそうなった時、AIは人間が思いつきもしなかった革新的な技術でAIを作ることができるようになって、AIの進化速度が更に指数関数的になっていき、シンギュラリティーが加速すると思われます。

AIと相談しながら、新しい言語モデルを一から作った。

名前は「Deltaxis-250M」。

設計を考え、コードを書き、実際に動かし、学習できるところまで仕上げた。現在のコードはGitHubで公開している。

Deltaxis-250M — GitHub

学習済みのモデルや大量のデータは入っていない。公開しているのは、モデルの中身、学習用の仕組み、文章生成と対話に必要なコードだ。自分の文章データを用意すれば、誰でも同じモデルを育てられる。

一度出した答えを、そのまま出さない

一般的な言語モデルは、入力された文章を何段階かで処理し、最後にできた状態から次の言葉を選ぶ。

Deltaxisは少し違う。

まず14段階で文章を読み、その途中で「各段階が何を直したのか」を個別に残す。後の段階は、完成した状態だけでなく、過去に行われた修正そのものを選んで使える。

その後、同じ2つの編集役が16回、内部の答えを書き直す。

最初の案を作り、1回目の修正を行い、さらに2回目、3回目と推敲していく。同じ編集役を繰り返し使うため、モデル自体を極端に大きくせず、考え直す回数を増やせる。

しかも、最後の16回目だけを正解とは決めない。

最初の案から16回目まで、合計17段階をすべて残す。そして、次の言葉を決めるときに、どの段階の案を使うかを言葉ごとに判断する。

簡単な部分なら最初の案がよいかもしれない。難しい部分なら、何度も直した後の案がよいかもしれない。深く処理すれば必ずよくなるとは限らないので、途中にあった良い答えも捨てない。

Deltaxisを一言で表すなら、最後の答えだけでなく、答えができるまでの推敲履歴を使う言語モデルだ。

新しさは、技術の組み合わせにある

使っている考え方の一つ一つが、すべて世界初というわけではない。

過去の修正を参照すること。同じ部品を繰り返し使うこと。途中の答えを保存すること。複数の途中案から最終出力を作ること。それぞれには似た考え方がある。

Deltaxisの特徴は、それらを一つの流れにまとめた点にある。

各段階の修正を残す。
同じ編集役に16回考え直させる。
17段階の答えをすべて保存する。
言葉ごとに使う段階を変える。

普通の言語モデルが一本の道を最後まで進むものなら、Deltaxisは途中の分岐や修正履歴を残しながら進む。

この組み合わせが本当に強いのかは、まだ分からない。コードが動くことと、言語能力が高いことは別だからだ。性能は、実際に十分な量を学習させて初めて分かる。

生成速度も改善した

この仕組みは、同じ編集を何度も行うため、そのままでは文章生成に時間がかかる。

最初の実装では、新しい言葉を一つ出すたびに、それまでの文章全体を最初から読み直していた。現在は、一度読んだ内容を記憶して再利用するように変えている。

開発環境では、512個分の言葉を読ませた後に16個分を生成する試験で、約3.43秒から約1.07秒まで短縮できた。約3.2倍の高速化になる。

モデルの考え方は変えず、同じ計算を何度もやり直す無駄だけを減らした。

完成ではなく、これから育てる

今あるのは、学習を始められる器だ。

人間と自然に話せるわけでも、質問へ正確に答えられるわけでもない。言語モデルは、大量の文章を読みながら少しずつ言葉のつながりを覚えていく。

一度に何か月も連続して動かすのではなく、毎日少しずつ学習を進める予定だ。学習結果を保存し、次の日はその続きから再開する。

植物を育てるように、少しずつ経験を増やしていく。

三つの異なるモデルを同時に育てる

育てているのはDeltaxisだけではない。

考え方の異なる三つの言語モデルを用意し、できるだけ同じデータと条件で学習させる。それぞれ内部の作り方が違うため、学習が進むにつれて得意なことと苦手なことが分かれてくる可能性がある。

比較は、1億トークンを学習するごとに行う。

三つのモデルへ同じ問題を出し、同じ方法で採点する。単に全体の点数を見るだけでなく、短い記憶、長い文章の理解、順番の整理、計算、条件判断、日本語の読み取りなど、能力を分けて確認する。

さらに、人間が実際の返答を読める固定質問も用意している。

最初の1億トークンでは、まだ文章が不自然かもしれない。次の1億トークンで、どこが伸びるのか。モデルごとの違いは、いつ現れるのか。途中で伸びなくなる能力はあるのか。

完成後の点数だけではなく、成長の途中そのものを記録する。

AIにAIを作らせる

今回おもしろいのは、AIを道具として使いながら、別のAIを設計していることだ。

人間が方向を決め、疑問を出す。AIがコードを書き、問題を探し、修正案を出す。実際に動かして結果を見て、また設計を直す。

すべてをAIへ任せたわけではない。何を作るのか、何を残すのか、どこで止めるのかは人間が決める。それでも、一人だけでは扱いきれない量のコードや確認作業を、AIと一緒に進められるようになった。

Deltaxisが最終的に強いモデルになるかは、まだ分からない。

だからこそ、育っていく過程を見る価値がある。

三つの異なるAIが、同じ文章を読み、同じ問題を解きながら、どのように違う能力を身につけていくのか。1億トークンごとの記録を残しながら、毎日少しずつ確かめていく。