Data-centric AIとデータマネジメント
ML Ops（AIシステム運用の視点）に元々書いていた内容なのだけど、ページを分けておきたい論点だな、と改めて。
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI - YouTubeで提唱される「データ中心AI」は、もちろん旧来的な考え方「モデル中心AI」が一定程度できた上でのことですが、やっぱりダメなデータが大量にあるより質のいいデータが大事だよね、と。
プロと素人の間で予測精度に差が出るのは、前処理（特徴量の作成）にかける時間と、機械学習の活用テクニックです。この前者について、そもそも適切に整備されたデータが入手できれば、テクニックを駆使するより予測精度に貢献するという事例で出始めています。画像やテキストなどの分析であればなおさらですし、最近のLLMや画像AIなどの生成AIの進展も、データ中心AIとして考えるとわかりやすいはず。
これって、データクリーニング、そもそもしたくないので、機械判読可読なフォーマットをな世界観でもあるwwww
というか、企業がデータとアナリティクスで成功するためには欠かせない役割・タスクがデータマネジメント。
ガートナーの定義は初めての人には細かすぎて、特に知らない人事が変に真に受けてフリーズする内容だが、データサイエンティストと同様以上に求められるべき専門職だと個人的には思っている。
Data-centric AIの文脈で、画像や音声、テキストといった非定型データの整備をまとめてる書籍も最近出版された。目次を見ただけでよくかけてるのはわかる。AIエンジニアには必読でしょう
技術志向というか技術寄りのキャリアを築きたいデータサイエンティスト（と呼ぶのかわからない、IT企業にいるエンジニアに近いタイプ）も知っておいた方が良いかな。経営や業務に力点のある僕みたいな（多くの場合コンサルファーム等にいる）タイプのデータサイエンティストも論点だけは押さえときましょう。
ちなみにデータエンジニアは、私の知る限りデータ分析畑出身の方はほぼいない。求められる技術力が高いため、IT・技術系出身が多い。データ分析に精通していてデータ基盤にも詳しい人は、ほとんど見た事がない。だからここを根気強く勉強すれば、すぐに希少価値が高いデータサイエンティストになれる。
— Suguru🇬🇧データサイエンティスト (@st_data_science) February 14, 2025
実際はデータエンジニアとデータサイエンティストの区別もついてない人が多いからねぇ…、なんとまあ動きつらいことか。呼ばれて行ってみたら、AIなんて理解してないIT屋さんというか、そこに必要なのってデータエンジニアですらない、単なるプログラマーで十分だったこともあったなぁ。
他の情報も含めて見たい方は、目次ページへ
仕切り直しで収集情報の整理から｜くすぐったがり｜note