7bモデルは可愛い

旅botの言語部分のLLMはちょっとアップデートを怠ってますが、MS-S1 MAXとLM Studioもこなれてきたので少し更新しようかと考えています。

MS-S1を使えば100bクラスのローカルLLMもなんとか使えます。ただ旅botの用途でいえばそんなに大きなモデルも必要ないです。

旅botのログ生成

旅botの旅ログの生成元情報は大きくは以下の情報です。

• 停泊地の近くにある複数の施設の名称と属性、住所

• StreetView画像で認識された風景の認識情報(ランドマーク停泊の場合)

このくらいの量でそれを150文字程度にまとめるという話なら、凝った文脈は作れないから最新LLMであっても出てくる文章に大差はないでしょう。

そして150文字の文章を何百件も書いてきているのですから、ワンパターンになるのもある程度想定です。
TVの旅番組の大半もワンパターンの安心感を楽しむものですし。

それでも定型文がずらずらと並ぶのは違うと思うので、旅botの旅ログの生成は多数のLLMを混在して使うことでアクセントにするという考え方です。

つまり賢い子に何百件も同じような日記を書かせるより、それほど賢くなくてもよいからいろいろな子に日記を書かせたほうがバリエーションが増えるという話です。

その点でいえば最新のreasoningの高性能LLMで書かせるより、不定発言の多い少し古い7bクラスのモデルのほうが面白いと考えています。

オールインワンAI APIを目指しているLocalAIは期待しているのだけど、現状自分の環境では、古い7b LLMも結構動くLM Studioが使いやすいかな。

ローカルLLM環境の整理

この際サーバーの整理も少ししたい。

mi-server(2020年頃から作っている自分の個人的作業支援のための個人ToDoリストを中心としたPIMサーバー)の概略をNotebookLMに入れたら以下の形でまとめてくれました。

この中でAI周りの機能は2022末頃から追加して、現在のAI周りは概ね現在以下のような構成です。

作りっぱなしなので、作ったままもう使っていない部分も多数残ったままです。。

初期のローカルLLMはFastAPIで組んだ直のpythonでHuggingfaceのmodel cardに書かれたサンプルコードを直に呼び出す形。後のローカルLLMはOllama APIで呼ぶ形で置いています。

旅bot達の書き込み画像と文はこんなシステムで作られています。

これをMS-S1 MAXの上で整理してまとめてしまえればよいなーと。

ただMS-S1はWake-On-Lanをこの前試したときにうまく動かなかったんだよね。。BIOSには設定があるから出来るのだとは思うのだがMS-S1のネットワークカードが新しすぎてドライバーソフトが追いついてないのかもしれない。まぁ勘違いかもしれないのでまたそのうち試します。。

追記2026/01/28
Windowsでデバイスマネージャーのネットワークアダプタで設定をいくつかいじったらWakeOnLanはとりあえず動きました。詳細設定のShutdown Wake-On-LanかPower Saving Modeか、電源の管理パネルか。
でも前回やったときはLANアダプタが無反応になって通常の電源オフでは回復せずにコンセントレベルで引き抜きが必要だった。。初期不良で中国にサポート返送とか何ヶ月かかるだろうとかちょっと焦ったのだが。。

古い7bモデルの出力には愛嬌がある

もう今では各メーカーの最新LLMでは、大学入試が100点だったとか、バイブコーディングで仕事を丸投げできそうだとか実用間近の話題だらけです。ローカルLLMでも100bクラスのLLMが走る環境も増えてきて、少し古いモデルは見向きもされなくなりつつありますが、私はなんとなく愛着があります。

reasoningや複数のエキスパートLLM複合体の最新のLLMは「考え尽くした」文を作り出す。それはもちろん役立つんだけど、古いモデルの「なにか頭に浮かんだ言葉をそのまま吐き出してしまったような」調子っぱずれな文はどことなく愛嬌がある。

幼い子供が、どこで覚えたか分からないような言葉と唄を延々大声で繰り返し輪唱しているような不思議な感覚というか。

頭のいいLLMに考え尽くさせて
「コリン星から来ました～」でもよいのですが、古いLLMの出力も何かあなどれない。

でも可愛いからといって例えばぬいぐるみに7bモデルを入れてお話人形にしようとはいかない。子供の無邪気さはたまに残酷な言葉に化けることがある。7bモデルも無邪気に不適切語を言って製造物責任法で賠償ものになるでしょうね。難しい時代です。

まぁ私が使う分には気にしないので、システムを整理しなおしても古いLLMは使うつもりです。だからLM Studioがまだ古いモデルも結構動くのは助かるのです。

サブカルチャーとAI

AI業界の話は私は一般ニュースで得られる程度にしか知りません。でも資本と人材を湯水のように投下するアメリカや中国の話と比べると日本はなかなか尖った話題が出てこないです(単に露出力の違いかもしれないので、目立てばよいという話ではないですが)

マンガやアニメ、TVゲームは根っこの技術は海外から来て、奇妙な成熟の仕方をして世界に打って出ている。AIも同じようなサブカルチャーによる応用進化が出来ないものかと思います。
日本人はそういう一周回った変な側面からの攻撃のほうが強いような。

サブカルチャーは何もかも貪欲に食い散らかしてこそサブカルチャーなのでは、とは思いますが。

ただAIの場合は今までとは違うという話もある。AIのほうが貪欲に何でもかんでも食い散らかす側ですからね。

AIのほうを食い散らかせる強者の登場を求む というところかもしれません。