Youtubeでライブ配信する際にボイチェンと自動字幕を入れてみた
ゲームのライブ配信で色々試してみたい！
ということでボイチェンと音声を解析して字幕をつけてくれるツールを試してみました。
配信環境はスタンダードにOBSです。
そしてボイチェンと字幕をいれた動画がこちら
ボイチェンについてはあまりうまくいってないので今後の課題って感じです。
最初の数分は準備に手間取っているので飛ばしてみてください。
使用ツール
- speech-to-text-webcam-overlay
となります。
恋声は無料で使えるボイチェンツールでリアルタイムに出力できます。それをデスクトップの出力としてOBSが受け取り声を出しています。 そのときにマイクは切っておかないと声を変える前の音も流れるので注意です。
speech-to-text-webcam-overlayに関してはたまたまTwitterで見つけました。
音声認識からWebカメラ映像への字幕合成までをGoogle Chrome だけでやってくれるWebページをつくってみました！ #xDiversity
— Ippei Suzuki (@1heisuzuki) May 20, 2020
ブラウザを画面共有 or OBS等でキャプチャーすればビデオ会議に字幕付きで参加できます。
↓Webページhttps://t.co/xlGX4jkIJn pic.twitter.com/Y1ju1wfUvq
そもそもはカメラも使用して動画に字幕を載せるものなのですが今回はページを開いてカメラの許可を与えずマイクの許可だけを与えました。すると真っ暗な画面に文字だけ残るのでそれをOBSの ウィンドウキャプチャ でうまくトリミングしつつ画面に出しています。
声の音を認識してテキストに起こすわけなので精度はそれなりになります。ただ間違って意味わからないテキストに起こしてくれることもあるので面白いです
↑こんなことは言ってない
ChromeのウインドウをOBSに出力する際の注意点
Chromeの設定にもよりますがもしかするとウインドウキャプチャの画面が真っ暗になるかもしれません。私は真っ暗になっていました。 これを解決するために調べると
という記事を見つけました。これはChromeの設定にある ハードウェア アクセラレーションが使用可能な場合は使用する という項目をオフにすることで解決ができるという詳細に書いてくれた記事です。
これのおかげで自分は解決して配信することができました。
まとめ
世に出ている様々なツールの組み合わせで色々な配信画面を作ることができるなと思いました。今後もツールを見つけていき面白い配信環境を作ってみようと思います。 Speech to Textに関しては配信に特化したツールとして自前で作るのも面白そうな気がします。特定の文字が来たら色を変えるや、声の音量で文字の大きさが変わるなどちょっと妄想が膨らみます。
追記
ボイチェンについては調整すると結構よくなりました
恋声のEffectとOBSのフィルターを通せば結構いい感じです
