SLM(Small Language Model)とローカルLLM

いつもの抽象レイヤーとはいえ小規模またはタスク特化型のAIモデルへの潮流をGartnerも言及している。

タスク特化型の弱いAIの積み重ねでもビジネスの在り方が変わる話を、以前の記事ではコンサル業界を主な例として書いた。他の業界でもそうなるだろう流れを示すものとも言える。

実際のところ、汎用の大規模言語モデルは大資本かつ人材豊富なビッグテックの激戦区で今さら誰も近づけないけれど、LLMとユーザーの間を埋めるラストワンマイル的な技術が多くの事業者にとっての競争の場にできるし。
また精度の高いLLMでなくとも、小規模なモデルを使ってタスク特化のファインチューニングをしたり、MoEとか蒸留といった手段もある。

SLM／小規模言語モデル

SLM（小規模言語モデル：Small Language Model）って何、なぜ、について過去の記事に散逸してた情報も集約しつつ。
前述に加えるなら、スマホなどエッジ端末で動かしたいとか、セキュリティー問題もあるのでローカルで動かしたいといったニーズもある。学習されてる知識は正しくなくとも、指示した処理を正しく実行してくれれば十分である利用シーンも少なくないし。

つまりは技術の最先端というよりは実用の最前線を踏まえた動き。

各社の動きや事例

MicrosoftやGoogle、meta、Mistralなど。別ページのまま集約してないけどdeepseekとか中国系のAIモデルもある。

日本語モデルもある。

前述ではエッジで動く話もしたが、動画もローカルでいけるらしい。

SLMもいろいろあるのでサーベイ論文を。

perplexityで調べる際のプロンプトがあったので、最新情報はこれを使って調べても良いかも。
https://www.perplexity.ai/search/LLM-axKofXoER2a5cIdmPyAryQ

ローカルでLLMを試すには

最後はSLM／ローカルLLMを試す方法について。
SLMはオープンなものが多いので、hugging faceで探してダウンロードすればいい。

但し注意点を1つ。AIモデルとしてはサイズが小さい・ローカルで動くということを、普通のパソコンとかで簡単に動かせると考えがちな企画担当みたいな人がいる（実際にあったエピソードの1つ、という以上は言えないww）。だが実際は、AIモデルを動かすには相応のスペックや機器が必要である。わかる人はwebで少し調べればすぐに理解できることだけど。
僕の業務でもllamaのSLMでローカル環境構築を試しているが、実務に耐えうる処理速度で回答を得るには、GPUを含むかなりハイスペックな機器が必要になる。
これを知ったかぶった顧客に説明するのは簡単でないのよね＿|￣|○