第二回【だるしーむ】10大LLMを一括解析したら「1ターンの壁」と「996ターンの化け物」が爆誕して泥臭すぎた話
【開発録】10大LLMを一括解析したら「1ターンの壁」と「996ターンの化け物」が爆誕して泥臭すぎた話
「データサイエンス」と聞くと、スマートな数式で大量のデータを一瞬で処理する魔法のように思えるかもしれない。だが、その実態は「データ形式を揃えるための泥臭い格闘」の連続である。
現在、我々SCIS-Netの開発チームは、過去数千時間に及ぶ10大AIモデル（GPT, Claude, Gemini, DeepSeek等）との対話ログを一斉に解析するプロジェクトを進めている。 本日、AIエディタ（Cursor）に「この101本分の対話ログを、全部イイ感じにCSVに分割しておいて！」とバッチ処理を丸投げした。
その結果見えてきたのは、現代のAIたちが抱える「強烈な個性」と、処理を任されたAIの「愛すべきポンコツ具合」だった。
■ 観測された「優等生」と「異端児」 出力されたデータ一覧を見ると、AIのモデルごとに極端な差が出た。
行儀のいい優等生たち（Claude, GPT-4等）： 彼らのログは、見事に正確なターン数で切り分けられていた。発言の区切りが明確で、汎用の分割ルールに素直に従ってくれる良い子たちだ。
ルールをぶち破る異端児たち（DeepSeek, QWEN等）： 驚くべきことに、これらのログは数万文字あってもすべて「1ターン」として出力された。データが消えたのではない。DeepSeek特有の「内部思考（thinkタグ）」などの構造が特殊すぎて、分割ルールをすり抜け、対話全体が「巨大な1つの塊」として飲み込まれてしまったのだ。
空回りした結果生まれた「996ターンの化け物」： さらに面白かったのが、「Copilot: 776ターン」「Mistral: 996ターン」という異常値だ。 「えっ、そんなに長く会話したっけ！？」と焦って中身を確認すると、原因は処理を任せたCursor側の「焦り」だった。話者の目印が見つからなかったCursorは、「ええい、とりあえず空行があったら全部ターン交代ってことにしちゃえ！」と暴走。結果、AIの長文回答の中にある「ただの段落分けの空行」まで細切れに分割し、996ターンという化け物データを錬成してしまったのだ。
■ エラー（摩擦）こそが研究のリアル 「AIのログをAIに整理させたら、別のAIの個性が強すぎてバグった」。 一見するとただの失敗談だが、これこそが最前線のリアルな「摩擦」である。AIごとに「人間との言葉の交わし方（境界線）」が全く違うからこそ、一筋縄ではいかない。
現在、我々はこのポンコツなエラーを修正すべく、「DeepSeekにはこの分割ルール」「Mistralにはこのルール」と、10モデルそれぞれの個性に合わせた専用の解剖メス（パーサー）をシコシコと手作りしている。
スマートな理論（Dry）を証明するためには、こうしたドロドロの泥臭いデータ成形（Wet）が不可欠だ。全モデルのデータが綺麗に揃ったとき、我々の測量器はとんでもない結果を叩き出すだろう。続報を待て。
【連載：泥臭い研究経過】第3回：ルールの限界と知性の投入（Gemini開
眼）「だめだったわん……」
#ACL ＃倫理＃変容律照応構造学
いいなと思ったら応援しよう！
ふぇぇ...........