2年前の社内会議で話題に出てそれから試作をしているのですが（半期毎の会議の度に制作しているというのが正しい。そしてその会議が昨日あったのです。）、掲示物や印刷物の写真を撮ってやさしい日本語に変換するiOSアプリを制作しています。
最近やさしい日本語の提供は増えつつあるように感じますが、例えば事故などで電車の運行が突然止まった場合の掲示物などはまだ日本語だけではないでしょうか。突然の掲示物を多言語化・やさしい日本語化するのはまだ大変なことかもしれません。そのようなシーンで役に立つのではないだろうか、と考えました。
仕組み
- 写真（撮影済ファイルもしくはその場で撮影）をGoogle Cloud Visionでテキスト化
- Clound Visonでテキスト化したテキストを勤務先の関連会社が提供する「伝えるウェブ」のAPIにPOSTしてやさしい日本語（難しい言葉の言い換え・ルビ）を受け取り画面に表示
- 読み上げボタンをタップするとテキストをAmazon PollyにPOSTしてMP3を受け取り再生する
2.のところは私が所有するVPSにPHPのプログラムを設置しており、変換結果を操作しています。具体的にはHTMLを解析し漢字とルビの部分を青空文庫形式に変換し、「Swiftでルビを表示させたい件について」を参考に記述したコードでやさしい日本語を表示しています。改行を入れるのに苦戦しましたが何とか上手くいきました。
写真からテキストを起こすサービスはAzure・GCP・AWSを試したのかな（時間が大分経過してしまいました…）、その中で結果が一番良かったのがGCPでした。縦書き漢字の文章も正しく認識できました。
今後は読み上げのMP3を端末に保存するようにし、コストをかけず聞き直しなどができないかなと考えています。
画面例
ホーム画面
現在は伝えるウェブのロゴをお借りしています…。
写真の選択後
アプリを起動して「写真を撮る・選ぶ」をタップすると、写真を撮影するか既に撮影済の写真が選択できます。写真の準備ができるとプレビューに表示されるので「やさしい日本語に変換」ボタンをタップします。ここでは福山市から届いた特別定額給付金の案内を選択してます。
変換中
変換中です。文字量などによるかと思いますがそれほど時間はかかりません。
やさしい日本語の表示
GCPでのテキスト化と伝えるウェブでの変換が完了すると、やさしい日本語が画面に表示されます。変換結果は伝えるウェブの辞書をカスタマイズしていくことでより分かりやすい文章になっていきます。「やさしい日本語を読み上げ」をタップすると、ここに表示されたテキストをAmazon Pollyで読み上げます。（かなり自然な読み上げです。）
課題
- AWSやGCPのコスト
- 改行の削減…印刷物の通りの表示ではなく、文章の途中に改行があると思われる場合には改行をやめる。（こういうのはMecabでなんとかするのだろうか…。）