
外国人が製作中の漫画自動翻訳AIが話題になっていました。
日本の漫画を英語に翻訳する作業を自動化しようという試みで、吹き出しと内部の文章を自動検出して、機械翻訳した文章を吹き出しに収まる配置で自動的に埋め込むというものです。
まだ実用には程遠い状態のようですが、画期的なアイデアに海外からは絶賛の声が寄せられていました。
・ワンパンマンの吹き出しを検出するニューラルネットをトレーニングした。新型ではサイタマの頭を見分けられるまっでになった。
・オロチがサイタマに倒されるまでの4000ページで学習。学習に使用してない新チャプターでテストしたら検出率100%。誤検出1箇所のみ。
・吹き出しAIが検出すると、OCRネットが文字を抽出して、Google翻訳に送って、翻訳結果をカスタム改行アルゴリズムで適用する。完全自動。見ての通り翻訳精度は未だにゴミ。
・最終的には、人間の入力を無くして翻訳に集中できるツールを作りたい。
・使えるけど、まだ改善の余地がある。将来的な目標は吹き出し検出精度を高めて、データセットをワンパンマン以外にも広げること。そうすればどんな漫画にも使えるようになる。
・オーバーレイテキストの検出やフォントのカスタマイズが出来ないからいずれは追加したい。
・次の目標はウェブアプリとして公開すること。デスクトップアプリだとハードウェアが高価だから。クラウドなら誰でも使えるし。
・オロチがサイタマに倒されるまでの4000ページで学習。学習に使用してない新チャプターでテストしたら検出率100%。誤検出1箇所のみ。
・吹き出しAIが検出すると、OCRネットが文字を抽出して、Google翻訳に送って、翻訳結果をカスタム改行アルゴリズムで適用する。完全自動。見ての通り翻訳精度は未だにゴミ。
・最終的には、人間の入力を無くして翻訳に集中できるツールを作りたい。
・使えるけど、まだ改善の余地がある。将来的な目標は吹き出し検出精度を高めて、データセットをワンパンマン以外にも広げること。そうすればどんな漫画にも使えるようになる。
・オーバーレイテキストの検出やフォントのカスタマイズが出来ないからいずれは追加したい。
・次の目標はウェブアプリとして公開すること。デスクトップアプリだとハードウェアが高価だから。クラウドなら誰でも使えるし。
以下、反応コメント
・海外の名無しさん
すげぇ。
将来は機械が漫画を翻訳してくれるようになるの?
・海外の名無しさん
機械に仕事を奪われていくぅw
・海外の名無しさん
つまり読める漫画がもっと増えるってことだね!
・海外の名無しさん
簡単に翻訳を吹き出しに埋め込めるから、ジョーク翻訳の漫画ミームで溢れかえる予感。
・海外の名無しさん
リリースされたら絶対に遊んでみるよ。
綺麗にして書き込む作業がなければ、翻訳ってめっちゃ楽しそう。
・海外の名無しさん
左から右に吹き出しをクリックしてるのが辛いわぁ。
・海外の名無しさん
吹き出しを消すことって出来るの?
・Ninja_Gah
↑検出はするけど、白くするだけだよ。
それはオーバーレイテキストと同じレベルの問題だよ。
背景に文字が溶け込んでるから自動的に綺麗にするのが遥かに難しい。
将来挑戦してみるけど、今は普通の吹き出しにフォーカスする。
・海外の名無しさん
翻訳家を失業させないように気をつけてね。
・海外の名無しさん
↑翻訳結果を見れば、近いうちにそうならないってのが分かるよw
・海外の名無しさん
↑綺麗にして文字を入れるのが興味深いところだよ。
人間の翻訳を置き換えることは誰もできないって。
Google翻訳の漫画を読んでみればわかるよ。
・海外の名無しさん
GNU GPLでソースコードを公開してぇw
・海外の名無しさん
1週間でこのアイデアが盗まれそう。
・海外の名無しさん
↑こういうことに挑んでる人は他にも居るはずだよ。
・海外の名無しさん
作者によってパターンが違うから一般化するのが大変だろうね。
でも素晴らしいアイデアだと思うよ。
・Ninja_Gah
↑だね。
まだまだトレーニングデータが足りないよ。
こういうツールにみんなが興味があるなら、トレーニングデータをクラウドソースしようかと思ってる。
・海外の名無しさん
↑データ作りを手伝ってもいいよ。
・海外の名無しさん
あなた様は素晴らしいお方だぁ。
尊敬に値する。
がんばってくれてありがとう。
・海外の名無しさん
これが何をやってるのか理解できるくらい賢ければよかったのに。
・海外の名無しさん
すげぇ!
これは革新的すぎる。
・海外の名無しさん
これすごいものかも。
出版社が現場で使えるよ。
劇的に作業が効率化するね。
法的に保護しないと。
・海外の名無しさん
工程に著作権は取れないけど、特許は取れるよ。
・海外の名無しさん
特許を取れば、企業が大金を出してくれるよ。
・海外の名無しさん
弁護士のところに行って特許を取るんだ!
・海外の名無しさん
まじすごい!
当然の評価を得られることを願ってるよ。
- 関連記事