Insta360で撮影した動画をAIで自動的に人物に向けて再構成する/マルチトラックエディタもつくった【ソースコード付き】

ProjectDENTで一番大変なのは、編集である。
Season1では、7チームがそれぞれ12時間ずつ、他にメインカメラが3台で合計80時間もの素材を90分にまで切り出す必要がある。

各チームの部屋に置かれた360度カメラの編集が特に大変で、何か面白いことが起きているかどうかを全部チェックしなければならない。しかも一人で。

とても一人ではまわらない。とはいえ、過去2回の編集は、しかたなく全データ手動で切り出した。しかし手動でデータを切り出して編集すると一ヶ月もかかってしまった。大変な重労働である。

シーズン3の撮影が終わったので、「もうできるだけラクをしたい」と考えた僕は、Insat360のデータから直接AIを使って人物の映っている箇所を切り出し、つないでくれるツールを作ることにした。

Insta360を他の360度カメラより気に入っているのは、独自形式のようにみえる.insv形式のファイルが、実際にはMP4ファイルだからだ。

これはとても使いやすい。こういう使いやすい形式で保存してくれるところがInsta360が信用できる根拠である。まあこれ二枚をそのまま繋げても綺麗にスティッチできないので綺麗にスティッチしたかったら専用ツールを使った方が簡単だ。

だけど360度カメラを使う目的は、基本的にラクをしたいからである。
もしも360度カメラを使わなかったら、ProjectDENTは最低8人のカメラマンが必要になったところだった。大所帯だ。カメラマン8人というのは映画でもあまり聞かない規模だ。

そして人間のカメラマンをベタ付きにしたとしても、たぶん一番いいシーンを撮りこぼす。
「次に何が起きるかわからない」筋書きのない番組だからこそ、物言わぬ360度カメラが武器になるのだ。

(7/11追記)

そして、副産物としてマルチトラックエディタも作ることにした。

複数のクリップを時系列で並べてマルチカム編集をしてそれを出力できる。360度カメラを使った編集では、こういうことが簡単にできないとつまらない。

こちらのソースコードも有料部分に置いておく。

動作環境はMacで、開発環境はPython。ffmpegなどが必要。
まあClaude codeがあれば同じことをさせるプログラムを書くのは簡単だろうが、トークンを消費したぶん、有料記事部分にソースコードを掲載させていただく。