英語の動画を全自動翻訳&吹き替え ～地声全自動吹き替えツールアップデート Ver2.2～ Python x Whisper x Gemini

こんにちはRcatです。
今回はこちらで紹介しているツールのアップデート情報第2弾です。
初めての方向けに簡単に説明すると、こちらのツールは動画に入っているナレーションを文字起こしAIを使って文字起こしした後、それを使って読み上げソフトを使い読み上げを行い、さらにテロップを挿入するまでを全自動で行うものです。

今回はその機能の中に英語で文字起こしを行い、自動的に翻訳して日本語で読み上げとテロップの入力をする機能を追加しました。
他にもいくつかの改善点がありますので、ぜひぜひご覧ください。

はじめに

利用規約

情報や作品の活用時は事前に利用規約をご確認ください。

コメントについて

利用規約のガイドラインを確認の上コメントしてください

英語翻訳吹き替え機能

概要

昔から私のツールを使っていただいている方から、本ツールも引き続き使っていただけ、1つのアイディアをいただきました。それが"英語を自動的に吹き替えできないか"です。
自分の発信するコンテンツを云々っていうことがよく考えていましたが、自分のために既存のコンテンツをコンバートする発想はなかったので採用させていただくことにしました。

この機能は本作ステップ2に位置付けられている、生成AIを使った文章校正の段階に仕様変更を入れることで実現しています。簡単に説明すると以下の通りです。

1. 音声ファイルから文字起こしを行う

2. 文字起こししたデータを生成AIに渡して校正する

   1. 文章構成の後、日本語に翻訳するフローを挟む

   2. 日本語の結果を出力するように変更する

3. 文字起こしした文字列を使って読み上げソフトで読み上げる

4. 音声と動画を再度マージして完成

使い方

本アップデートによりAIのプロンプトが変わっているので、Difyで新しくチャットボットを作り直し、新しいAPIキーを設定してください。

まずはツールの動作モードを切り替えます。
今まで隠されていたボックスが表示されるようになります。これを英語吹き替えモードに切り替えます。
そしてステップ1を実行してください。

次に文章校正です。今までの地声吹き替えモードではスキップしても良い項目でしたが、翻訳は生成AIを使っているので、このステップを踏む必要があります。
最初に英語吹き替えモードを選択しておくと、自動的にこの先の処理が切り替わるので、AIの設定ができている方はステップを実行するだけでOKです。

それ以降の処理は今までと同じです。
ですので、簡潔にまとめるとステップ2の文章構成をきちんと利用できるように設定しておくこと。そして、一番最初に英語翻訳モードを選択すること、今までとの違いはこれだけです。

使用事例

私は英語がダントツで出来ないので、正しく動作しているのかは次の方法で確かめました。

①ChatGPTに簡単な英文を生成してもらう

②Google翻訳に入力して再生ボタンを押して画面録画する。
こうすることで疑似的に英語の動画を作成します。

③本ツールに掛ける

全自動翻訳機能の結果はこちら(Gemini1.5 Flash使用)

元ネタはこちら

ローカルファイル検索機能

概要

今までは使用する動画をアップロードするというやり方を取っていましたが、ローカルで使う前提のこのツールにアップロードって無駄でしかありませんよね？
というわけで、ローカルの中の特定のフォルダに素材が入っている場合、名前で検索してアップロードしなくてもそれを使えるように変更しました。

具体的にはツールのフォルダの中に"data"というフォルダを作ると、その中身が検索対象になります。
そして、ファイルをアップロードしようとする時に、その中のファイルと同じ名前のファイルが存在するかを確認します。同じ名前だった場合、アップロードは行われず、フォルダの中のデータが選択される仕組みです。

こうすることで、比較的大きい動画データの余計な複製を防ぐことができます。

ちなみにワークフォルダの中身も検索対象です。
ですので、文字起こしレポートなどを修正して上書きしたい場合は名前を変えてください。そうでない場合はローカルに同じ名前のがあるので更新されません。

一時停止機能の追加

概要

全ステップ一括実行モード時に、ステップ3の前で一時的に処理を止める機能です。
このツールを使う時、ユーザーが確認を入れたいのは文字起こしが終わった後、あるいは文章構成が終わった後だと思います。
ですので、その時点で一時停止を入れてファイルの確認や変更を行った後、読み上げと動画の作成を再開できるようにしました。

具体的には全ステップ実行時に、読み上げ前の一時停止の項目が増えました。
この項目をするに設定した場合、文字起こしまたは文章構成が終わった段階でボタンが変化します。
この状態で文字起こし、レポートを確認し、アップロードあるいは何もしないかを選択して再開ボタンを押すことで処理を継続することができます。

配布情報

トップで紹介している記事の方から配布情報をご確認ください。