どうやって触り心地を生成すればいいの？悩みながら開発したお話

どうも、NextGen Interaction Labです。略してNGILです。
Dentsu Lab Tokyo は去年からR&D自主開発プロジェクトを部内公募しておりまして、その中で発足されたグループです。

わたしたちの一番大事にしているのは

2024年はChatGPT、claude、gemini、deep seek たくさんの生成AIが生まれて音楽生成や画像生成、動画生成など幅広く活用などされていました。
ただ、その中でフィジカルな体験までは生成できていないと言う印象があり、どうやったらフィジカルベースな体験をつくれるかな〜とチームで考えていました。

そこで生まれたのがGenerative Haptic AI “FANTOUCHIE”です。

“FANTOUCHIE”は生成AIを活用することで、あらゆる言葉から触り心地を生成するAIシステムです。

実際にモックデバイスはSIGRAPH ASIA 2024 POSTER において体験していただきました。

広告会社がアカデミックに領域を拡大する意義はまた別でお話しするとして、今回はどうやって触り心地を生成させるか、壁にぶち当たりながらチームの力で開発できたお話をさせてください。

壁1：そもそも何から始めればいい？

– 触り心地の音を録る

はじまりは、ピエゾセンサーで物をこすった時にでる音の生々しさに着目したところから始まりました。

結構色々な素材の音を集めてみると、素材によって音の違いは出てそうだなと言うことがわかり、これをうまく学習させて生成にできるのではないかと考え始めました。

– オノマトペを集める

先輩のなかのかなさんから、触り心地とオノマトペを分類した論文を共有していただいたところから、

音とオノマトペの紐付けがうまくいくと何か触覚の生成の糸口になるのでは？ということが分かってきました。

壁2：どうやって音を“作る”のか？

– ChatGPTにオノマトペの割合を聞いてみた

どう音を紐づければいいかはわかってきたけれど、どうやって音を生成すればいいかはわからない、なかなか参考になる論文も見つからない・・・というフェーズになってきたときに、川島さん手を動かして実験してくれました。例えばChatGPTにオノマトペの割合で触り心地を表現させてみると

結構納得度があるなあと言う印象に。では、これをどうやって合成するかというところに。皆目検討がつかない中、新入社員チームメンバーが本当に力になり2方向の生成を試すことができることに・・・・！

–音の生成に向けた2つのアプローチ：

A:オノマトペの割合をデシベル値に変換して合成する手法

どうしたら、オノマトペの割合の音を合成すれば良いか困っていた時、新入社員の森くんがなんと、デシベルベースの比率的な重みづけでミックスできますよと教えてくれました！実際に相談した次の日ぐらいにはもう合成するシステムをabletonでデモしてくれてました・・・

B:43次元の特徴空間ベクトルにマッピングすることで音を生成する手法

ChatGPTがピックアップした5つのオノマトペに重みづけを行い、それをオノマトペ特徴量＋補助次元をあわせた43次元ベクトルに変換します。
私たちが収録した触り心地の音をAudioLDM の Audio-to-Audio transformation に一度通すことで、潜在的な特徴量が得られます。そこに43次元ベクトルをガイドとして加えることで、各オノマトペの特徴を反映した新たな触覚音が生成されます。こちらの方法を考えてくれたのは新入社員の高梨くんと村上さんでした。高梨くんもすぐいろいろ実験をしてくれました。

壁3：どうやって触り心地の再現をするの？

そして最後の問題としては、どうやって生成された音を出力すれば触り心地と感じることができるかが問題でした。
これもまた先輩の竹内さん、チームのメンバーから

振動と音でフィードバックしていた事例を共有していただき、繊細な音の振動をきちんと出力できる振動スピーカーの存在を教えていただきました。

実際に音を流して実験してみると生々しい感触になりました。

最後に

5月から始めてきたこの開発がなんとか半年で形になったのは、本当にたくさんの人のお知恵をお借りした結果だなとこの振り返りを書いて実感しました。。。ありがたいです。ロゴを作ってくたり、写真を撮影してくれた藪本さんもありがとうございます。

この”FANTOUCHIE”をきっかけに新たなお仕事も生まれたりしており感謝しながらまた2025年度にむけて、いままでにないフィジカルな体験をまた考えようと思います〜！