パソコンのスピーカーから流れる音に字幕をつけたい。字幕を自動翻訳したい。
ゲーム中のボイスコミュニケーション（Steam,VRChat,virtualcast,NeosVR,Fortnite,荒野行動,Apex等）や、テレワークやオンライン授業のビデオチャット/ボイスチャット（Zoom,Skype,Discord等）での会話にリアルタイムでその場で字幕を付けて翻訳できたら便利ですよね？
日本語だけではなく、英語、中国語、韓国語、ドイツ語、フランス語、ドイツ語、スペイン語、ポルトガル語、ベトナム語、ロシア語、台湾語・・・
すべての言語で可能です。
相手の言葉が分かるのでとても会話がしやすくなります。単語勉強にもなります。
VRChatにてドイツ人にドイツ語会話を学ぶ様子
試した環境
PCのUSB端子＝X-Fi Go! Pro r2＝ARKARTECH G2000 と繋げています。
よくあるヘッドホンマイクの環境です。
ゲーム中のボイスコミュニケーション（Steam,VRChat,virtualcast,NeosVR,Fortnite,荒野行動,Apex）やビデオチャット/ボイスチャット（Zoom,Skype,Discord）、レコーディングに使用します。
ARKARTECH G2000
単体ではノイズがとても多いのでサウンドをクリアにするため、USBサウンドインターフェイスを噛ませています。
クリエイティブ・メディア Sound Blaster X-Fi Go! Pro r2 チャット/テレワークでボイスチェンジ Creative USBオーディオインターフェース SB-XFI-GPR2
これは「再生リダイレクト」機能が使用できます。再生中のサウンドとマイク入力の音声をミックスして録音可能です。
例えば、カラオケのように再生している音楽に合わせてマイクでのナレーションを同時に録音するなどです。
他にも「再生リダイレクト」機能のある商品はあります。こちらでも可能です。
Creative Sound Blaster X-Fi Surround 5.1 Pro r2 ハイレゾ対応 USBオーディオインターフェース 再生リダイレクト SB-XFI-SR5R2
Creative Sound Blaster Omni Surround 5.1 ハイレゾ対応 USBオーディオインターフェース 再生リダイレクト SB-OMN-51
ゆかりネットコネクタをインストール
まあちゃんバザールからゆかりネットコネクタをインストールします。
最新版と開発版のどちらを選んでも構いません。
ここでは最新版の64bitをインストールします。
起動時にウイルス判定される場合は除外に設定します。
Windowsセキュリティ→ウイルスと脅威の防止→ウィルスと脅威の防止の設定の設定の管理→除外の除外の追加または削除→+除外の追加→フォルダー
→ゆかりネットコネクタをインストールしたファイルを選択
GoogleChromeをインストール
GoogleChromeをインストールします。
Google Chromeを通すことで翻訳が可能になります。
[ゆかりネット]ゆかりネットを起動してChromeの設定
左のツリーの「Chromeの設定」を選びます。
Chromeの.exeファイルを指定しましょう。
C:\Program Files\Google\Chrome\Application\Chrome.exe
C:\Program Files (x86)\Google\Chrome\Application\Chrome.exe
のどちらかにあります。
[ゆかりネット]Chromeの音声認識から入力を設定
「Chromeの音声認識から入力」にチェック。
「起動時、自動的に接続処理を試みる」にもチェックを。
ポップアップウィンドウで「～が次の許可を求めています。マイクを使用する。」が出るので→許可。
選んだ言語を読み込むようになります。マイクをONにして何かしゃべって読み込むことを確認しましょう。
英語を指定して英語をしゃべると、上記のように表示されます。
そしてゆかりネットコネクタの下欄に日本語訳が表示されます。
マイクはスピーカーで既定のデバイスを指定したものを読み込みます。
次に相手の声を読み込む設定に移ります。
サウンドの規定のデバイスを確認しよう
まずは今の設定を確認しましょう。
コントロールパネル→サウンド→録音タブ
あるいは
右下のサウンドマークを右クリック→サウンド→録音タブ
でマイクが「規定値に設定」されているのが通常です。
サウンドスピーカーのマイクの録音を再生リダイレクトへ規定値に設定を変更
イアホンからの相手の声をマイクへ入力して読み込むために、サウンドスピーカーのマイクの録音を再生リダイレクトへ規定値に設定を変更します。
ゆかりネットコネクタを起動した状態で、サウンドを「再生リダイレクト」を「規定値に設定」します。
これでパソコンからヘッドホンから聞こえる相手の音声をそのまま「再生リダイレクト」でマイクへ入力されるようになります。
するとのように字幕がついて翻訳もされるようになります。
メリット・デメリット
メリットして
・対応言語の字幕は文字単語を視覚的に覚えられるのに役立ちます。認識もとても速い。
・字幕機能のない映画や英会話のヒアリングにとても便利。
・スマホを置いてグーグル翻訳機能を使わなくても自動翻訳される。
ただ弱点として、
・翻訳を見る場合は文字表示が3秒ほどタイムラグが生じる。
・長文で分節区切りがないとスピードの早い応答には向いていません。
・再生リダイレクトさせるので相手の声が反射して跳ね返って聞こえることがある。
・自分の声も相手の声も同時に入り乱れると上手く読み込まない。
・ゆかりネット終了後に、コントロールパネル→サウンド→録音タブから、再生リダイレクトを「無効」にして「マイク」を既定値に設定して戻さなければならない。
があります。
あくまでゆっくりと区切って単語を確かめながら話す際に向いています。
