2017-05

スポンサーサイト

このエントリーをはてなブックマークに追加
上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

YouTubeの日本語自動音声認識されたニュース動画と将棋動画を比較してみた

このエントリーをはてなブックマークに追加
以下の記事は書いた当時の話で現在は日本語の自動字幕付与自体が使えなくなっているようです。




以前、YouTubeでゆっくりボイス(AquesTalk) にBGM付きの動画で字幕ファイルを自作したらどの程度、正確に自動でタイムコードを振ってくれるか検証したエントリを書きました。

その後、YouTubeで日本語の自動音声認識に対応したとのアナウンスがされました。既存の動画も順次、自動音声認識で字幕が振られるみたいですが、よくみられている動画から優先して字幕が振られるようです。

というわけで、一例ですがセシウム汚染牛に関するニュースを貼ってみます。アナウンサーと、会見やインタビューの場面で音声認識率が大きく違うのがわかると思います。これは滑舌うんぬんではなく雑踏や環境ノイズなどの録音環境が大きく影響していると考えられます。





そこで将棋動画での自動音声認識はどうかというと、やはりHIDETCHIさんの動画が多く見られていて日本語の自動音声認識がされていたということで、そこから紹介したいと思います。今回は日本語の自動音声認識の精度を見たいということで将棋で英語#6の棋譜表記の動画を貼ってみたいと思います。なぜ、これを選んだかというと将棋特有の言い回しが多く含まれるからです。





ご覧のとおり、将棋特有の言い回しのあたりは全滅です。「5五金」が「合金」とか「公金」とか認識されています。

ただ、この動画を観察することで興味深いことも見えてきます。

3:48 あたりで「えーと」を "eight" (8) と誤認識していることから、しゃべられている言語を特定してから認識処理をしているのではなく、文節毎に日本語と英語の文法で同時認識していると考えられます。同様の例は5:00 あたりの「このレフトワード」を"connectport" と誤認識していることや8:23 の「チェス」が"this"や"jis"に誤認識されていることからも伺えます。10:37 では文の途中の"five"がちゃんと"5"と認識されていることから文頭ではなく文中も英語の音声認識が走っているのではと推測されます。

現状は英語と日本語だけなのでこのやり方が通用するのだろうと考えられますが、もっと多言語化(例えばEU圏の言語+中国語、韓国語など)した時にこの処理が破綻しないかどうかは微妙な気もします。

YouTubeの公式ブログでもアナウンスされている通り、自動音声認識はニュース音声で威力を最も発揮すると書かれていて実際その通りなのですが、上で貼ったセシウム汚染牛のニュースでは数字を間違えるという致命的なミスもしているので、正確に字幕を振りたいという人はやはり字幕部分は手で書いた方がいいでしょう。

前の検証エントリでも書いたように、将棋に限らず各分野に固有の表現も自力でカバー出来ます。ただこの場合も、自動翻訳についてはあまり期待できないので、やはり質を担保するならば手動翻訳ということになってしまうでしょうか。

スポンサーサイト

協力翻訳サイトCrowdin.net の紹介&レビュー

このエントリーをはてなブックマークに追加
最近Twitter Clientをyoonoに乗り換えた関係で知ったのですが、みんで協力して翻訳文を作るサイト http:/www.crowdin.net というものがあるそうです。
このサイトは10日間無料で、その後翻訳プロジェクトの規模によって有料になったりするのですが、オープンソースプロジェクトに限り、無料で使えるそうです。
そこで公開されているYouTubeの動画にcrowdin.net を使えないか?と問い合わせしてみたところ、そのプロジェクトについて何か書いたなら(TwitterでもOKみたい)オープンソースアカウントにアップグレードしてくれるそうなので、今回は手始めに紹介記事を書いてみたいと思います。
この記事を機に自分の動画を多言語字幕で公開してくれる人が多く出てくれることを望みます。

登録とかログインに関する手順は省きます。
実際にどのように、翻訳プロジェクトを作るのか、ということについて書きます。
実際にログインしたら、翻訳したいファイルの種類と、元となるファイルの言語、翻訳したい言語のリストを設定します。
このリストはほとんどの言語を網羅しているので、全部選択すると170近くなるのですが、インターネット上でメジャーな30言語を選択するというオプションも入っています。ヨーロッパの主要言語と日中韓、アラビア文字なども入っていました。
あと、翻訳対象のファイルをアップロードしますが、このファイルは複数でもOKです。また自動的にバージョン管理がされるので前のバージョンに戻すことも可能です。
crowdin.net 説明その1

次に、自分が翻訳したい言語を決めます。翻訳一覧はこんな感じ。
crowdin 説明3
見た目にわかりやすいということでヨーロッパを選択しました。この画面でどの言語が何%程度翻訳されているかがわかります。上のは全部0%なんですけどね。

次に実際に翻訳する言語を決めたら、翻訳作業です。
crowdin.net では、行別に個別の翻訳文をコミットするフェーズと、あとでその翻訳文が妥当かどうかチェックするフェーズがあります。右側の欄は空欄ですが、その翻訳文が妥当かどうかディスカッションすることも可能なようです。
corwdin.net 説明その2

翻訳エディタには各機械翻訳による翻訳文の提案が行われます。ただ、これはヨーロッパ圏内では役立つでしょうが、英語 -> 日本語の場合はあまり当てに出来ないと思った方がよさそうです。

また右の部分は翻訳に関するディスカッションのようです。用途なんですが、有料プロジェクトで映画の字幕をつけるみたいな場合に利用するんじゃないかと思います。

あと、原文を一括でオフラインにダウンロードし、好みのエディタで編集しアップロードするという使い方も可能なようでしたが、手元の環境ではうまく行きませんでした。

長々と書いてきましたが、こういうシチュエーションでは役に立つと思います。

・様々な多言語化をしたいが、どのような言語に翻訳するのがよいかわからない時
・プロジェクトにもよるが、オープンソースなどは、ボランティア任せなので、翻訳の質がまちまちになることがあるが、それをコミュニティで修正をかけることができる
・翻訳の進捗状況が一目瞭然なので計画が立てやすい

これに対抗する方法としては、素朴にGoogle Docsなどを使って、メールしてもらったりとか、Google SpreadSheetを使ってボランティアに任せるといった方法も考えられます。Google Docsを使った方法は匿名でも編集できるので性善説にたてば参加が容易といったメリットがあるので一長一短と言えるかもしれません。
ただ、途中で力尽きて引き継ぎたい、といったシチュエーションでは crowdin.net は役にたつかもしれません。

欲を言えば、他のアカウント(特にGoogle Account)などでログイン出来れば参加の敷居が低くなって、盛り上がる可能性もあるのですが、有料サイトである以上、なかなか難しい面もあるのでしょう。

最初に、翻訳プロジェクトは元となる言語を指定出来ると言いました。しかし、実際に運用する際には、英語のファイルを一度用意してからやることになるでしょう。実際に、講演会サイトであるTED翻訳プロジェクトでは元となる言語ある英語だけはボランティアではなくプロによる翻訳がなされているようです。さらには翻訳に参加するのにも厳しい試験があるそうです。一長一短だと思いますが、TEDの場合、講演会の数が限られているのでこのアプローチも合っているのでしょう。

まず、自分のソフトを国際化したい、または自分の字幕を多言語化したいという人は登録してみることをお勧めします。それで実際に使ってみて使用感を判断すべきでしょう。

最後にここまで書いておいてなんですが、デメリットを書きます。
自動翻訳のサジェスチョンのせいでエディタのレスポンスがイマイチだったのと、手元の.NET用の.resxファイルをアップロードしたら、翻訳して欲しい文字列一覧だけではなく、他の国際化に関係ない文字列(ラベルの座標とか)も含まれてしまったこともあり、あまりいい印象はもてませんでした。これは私の設定見落としの可能性もあります。

手元のエディタで編集して一括でアップするということが出来ればいいのですが、、、とにもかくにも字幕多言語化にもオープンソースライセンスを適用してくれるということでエントリを起こしました。非プログラマであっても、オープンなプロジェクトに対しては、積極的にオープンソースライセンスを適用してくれる方針のようです。まずは、Let's try !

«  | ホーム |  »

プロフィール

fantakeshi

Author:fantakeshi
Web:ここ
Twitter ID:fantakeshi
自作物やプログラムやまとまった技術的メモについて

RSSに追加

自作物

最新記事

Twitter

最新コメント

最新トラックバック

月別アーカイブ

カテゴリ

自作物 (26)
一般 (1)
将棋 (12)
BONANZA (1)
ponanza (1)
HTML5 (2)
Chrome (1)
WebAPI (1)
Webサイト (2)
プログラム (2)
Tips (1)

カウンター

検索フォーム

RSSリンクの表示

リンク

このブログをリンクに追加する

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。