話した言葉が現れる！？空中しゃべり描きアプリで世界の人と会話しよう！

スマホに話しかけると、文字になって英語やフランス語などに自動的に翻訳して表示してくれる翻訳アプリは、今や海外旅行などで日常的に使えるようになってきましたが、そんな会話の文字化機能を使って、まるでマンガの吹き出しのように文字を表示してくれるアプリが開発されました。

三菱電機株式会社は３月５日、スマートフォンのカメラで写した写真や動画に、話した言葉を３D（立体）文字にしてAR（拡張現実）表示できる技術『空中しゃべり描き™ UI（ユーザーインターフェース）』と、動画撮影機能などを組み合わせたアプリケーション『空中しゃべり描きアプリ』を世界で初めて開発したと発表しました。

つまり、文字を配置したいところにカメラを向け、話しかけてからスマホ画面を指でなぞると、なぞる動きに合わせて文字がAR（拡張現実）で３D表示され、あたかも人が叫んだ文字が口から空中に飛び出したかのような写真や動画が作れるというわけです。

三菱電機は、２０１６年には話した言葉を指でなぞった軌跡に表示する『しゃべり描き® UI』を開発。お絵描きや多言語翻訳などの機能を組み合わせた『しゃべり描きアプリ』では、CEATEC AWARD 2016の『暮らしと家でつながるイノベーション部門』においてグランプリを受賞しました。

今回はこれにAR技術を追加し、話した言葉を瞬時に指でなぞった軌跡に立体的な文字で表示できるようにし、さらには３D表示された文字と動く被写体を組み合わせた新たな動画撮影（動画撮影機能）も実現させています。

３D文字に吹き出しなどの線も加えることもできるなど、インスタ映えする動画や写真を撮る際の表現力をアップさせることはもちろんですが、日常の場面以外でもこうした技術を使うことで、例えば医療の分野では、耳の不自由な高齢者にレントゲン写真を説明する際に医師の診断や説明を文字で写真上に表示させて伝えやすくしたりすることにも使えます。

また障害者との会話でも、写真や絵を使いながら文字でコミュニケーションが取れたり、さらには文字の翻訳機能を活用すれば、海外の人とのコミュニケーションなども、タブレット上で地図や写真などを表示させながら翻訳された文字でやりとりができます。その文字は写真や地図などの画像と一緒に保存できるので、その時のやりとりを後で見直すこともできます。

『空中しゃべり描きアプリ』は、一般公開はまだ決まっていませんが、３月８日から１７日まで１０日間アメリカのテキサス州で開催されているITエンターテインメントの祭典『サウス・バイ・サウスウエスト2019（SXSW2019）』で紹介されているそうです。

『サウス・バイ・サウスウエスト』は、そもそもは１９８７年から（ITが加わったのは１９９４年から）アメリカの片田舎の砂漠地帯であったテキサス州オースティンという町を盛り上げようと市民が集まって、住宅や広場を開放して音楽や映画などのエンターテインメントで楽しんでもらおうと始まったイベントで、いまやエンターテインメントにIT（情報技術）やインタラクティブ（機械と人間の相互コミュニケーション）も加わって、 世界９５か国から７万人以上が参加、来場者数は４０万人にのぼる、世界から注目されるITエンターテインメントショーになっています。

ちなみに今年の『SXSW2019』では、日本からは落合陽一氏を統括ディレクターに日本館『THE NEW JAPAN ISLANDS』を出展。『デジタル発酵する風景』がコンセプトで、日本館の入り口には逆さに釣られた赤い富士山、中に入ればパチスロやパックマンのマシンが乱立。落合氏はこの風景を『風の谷のブレードランナー』と呼んでいるそうです。

SXSW2019日本館

そんなイベント会場でも『空中しゃべり描きアプリ』で、世界の人たちがストレスなく会話する日も近そうですね。

---

[文・構成／土屋夏彦]