LLMでデータサイエンスはどこまで変わるか

LLMを活用することで、データ分析の作業を支援してくれたり、代替してくれたり、だいぶ楽になりそうなことは、以前の記事でも挙げました。

加えてデータ分析だけでなく、最適化問題にも手を出し始めています（以前は最適化のページに置いてました、整理してコチラに）。

こうした事例を見ると、まだ「確かにできるよね」って段階のものだったりもします。いや、LLM自体は凄い技術進歩と思ってます、今でもたまにコーディングする時とか関数やパラメータの詳細をイチから調べ直すのに時間がかかっているのがLLMにすごく助けられてますし。

今回本題としたいのは、LLMによってデータサイエンスという技術なり分野を変える可能性、いわば後者を何らかの形でLLMが侵食できる可能性です。

ディープラーニングに何でも任せておけばいいというのはダメ

であることは、ディープラーニングによるAIモデル・技術でも挙げた通り。このレイヤーでどうにかするのは無理と言っていい。

LLMでできるデータサイエンスの範囲

も増えつつはある。とはいっても基本的にはデータの可視化や前処理の範囲が中心で、マルチエージェントLLMを使えばkaggler程度の分析作業は勝てるかもというところ。詳細は以下のページに分割しました。

まとめ：現時点の感触では

以前から論文の追記とかしたけど結論は実はそんなに変わらずで、業務やビジネスの問題とデータ利活用による課題の間を行ったり来たりしながら人・企業の意思決定支援を支援する部分は、まだLLMには入り込めないかな、と。具体的には：

• ITエンジニアの亜種である、機械学習エンジニアやデータエンジニア、データアーキテクトの仕事はだいぶ楽になると思ってます。そもそも人手不足な分野だし、助かります。

• あとジュニアなデータサイエンティスト（指示された分析だけするアナリスト）の仕事も代替してくれそう。

• でも、コンサルタントの亜種であるデータサイエンティスト、特にPJを設計・リードできる本来的な意味でのサイエンティストの仕事は本質的には減らないとも感じています。

言い変えると、LLMが動ける程度にデータ利活用の指示を具体的に出せれば自動化できる分析も増えてきましたが、LLMに指示を出せるほどの知見を持つ人は多くないのと、そのような知見の乏しい方の考えを具体化する、意見を引き出すサポートをLLMができるというのは、ちょっと想像がつかないので。LLMが急激に優秀になっても、それを扱える人の成長は遅いので。

まぁ、もっともデータサイエンスのPJを設計・リードの役割、その価値をわかる人が少ないことが、現在においてもデータ利活用の推進のハードルなのだけれど。

他の情報を見たい方は、目次ページへ
仕切り直しで収集情報の整理から｜くすぐったがり｜note