話した言葉が空中に現れる！？ 空中しゃべり描きアプリで世界の人と会話しよう By - 土屋 夏彦 公開：2019-03-14 更新：2019-03-14 土屋夏彦 Share Post LINE はてな コメント ニッポン放送で「タモリのオールナイトニッポン」などのディレクターなどを務め、現在はBayFMでITコメンテーターとしても出演中の土屋夏彦が、最近のIT・科学・経済のニュースを独自の目線で切り取ります。 話した言葉が現れる！？空中しゃべり描きアプリで世界の人と会話しよう！ スマホに話しかけると、文字になって英語やフランス語などに自動的に翻訳して表示してくれる翻訳アプリは、今や海外旅行などで日常的に使えるようになってきましたが、そんな会話の文字化機能を使って、まるでマンガの吹き出しのように文字を表示してくれるアプリが開発されました。 三菱電機株式会社は３月５日、スマートフォンのカメラで写した写真や動画に、話した言葉を３D（立体）文字にしてAR（拡張現実）表示できる技術『空中しゃべり描き™ UI（ユーザーインターフェース）』と、動画撮影機能などを組み合わせたアプリケーション『空中しゃべり描きアプリ』を世界で初めて開発したと発表しました。 つまり、文字を配置したいところにカメラを向け、話しかけてからスマホ画面を指でなぞると、なぞる動きに合わせて文字がAR（拡張現実）で３D表示され、あたかも人が叫んだ文字が口から空中に飛び出したかのような写真や動画が作れるというわけです。 「空中しゃべり描きアプリ」【お知らせ】話した言葉が宙に浮かぶ！？スマホ用アプリを開発 三菱電機は、タブレットやスマートフォンの画面を指でなぞった軌跡に、話した言葉が瞬時に3D表示される「空中しゃべり描きUI」と、動画撮影機能などを組み合わせた「空中しゃべり描きアプリ」を開発しました。 AR（拡張現実）技術を使ったもので、言葉が文字として宙に浮かぶように表示されます。これらの技術を通じ、SNSでのコミュニケーション活性化につなげます。 開発した試作品は、2019年3月10日～13日に米国・テキサス州オースティン市にて開催されるデジタルテクノロジー展示会「SXSW®（サウスバイサウスウエスト）」に出展予定です。 ▼話した言葉をスマホ画面に3D表示する「空中しゃべり描きアプリ」を開発 http://www.mitsubishielectric.co.jp/news/2019/0305-a.html三菱電機株式会社さんの投稿 2019年3月6日水曜日 三菱電機は、２０１６年には話した言葉を指でなぞった軌跡に表示する『しゃべり描き® UI』を開発。お絵描きや多言語翻訳などの機能を組み合わせた『しゃべり描きアプリ』では、CEATEC AWARD 2016の『暮らしと家でつながるイノベーション部門』においてグランプリを受賞しました。 今回はこれにAR技術を追加し、話した言葉を瞬時に指でなぞった軌跡に立体的な文字で表示できるようにし、さらには３D表示された文字と動く被写体を組み合わせた新たな動画撮影（動画撮影機能）も実現させています。 ３D文字に吹き出しなどの線も加えることもできるなど、インスタ映えする動画や写真を撮る際の表現力をアップさせることはもちろんですが、日常の場面以外でもこうした技術を使うことで、例えば医療の分野では、耳の不自由な高齢者にレントゲン写真を説明する際に医師の診断や説明を文字で写真上に表示させて伝えやすくしたりすることにも使えます。 また障害者との会話でも、写真や絵を使いながら文字でコミュニケーションが取れたり、さらには文字の翻訳機能を活用すれば、海外の人とのコミュニケーションなども、タブレット上で地図や写真などを表示させながら翻訳された文字でやりとりができます。その文字は写真や地図などの画像と一緒に保存できるので、その時のやりとりを後で見直すこともできます。 『空中しゃべり描きアプリ』は、一般公開はまだ決まっていませんが、３月８日から１７日まで１０日間アメリカのテキサス州で開催されているITエンターテインメントの祭典『サウス・バイ・サウスウエスト2019（SXSW2019）』で紹介されているそうです。 『サウス・バイ・サウスウエスト』は、そもそもは１９８７年から（ITが加わったのは１９９４年から）アメリカの片田舎の砂漠地帯であったテキサス州オースティンという町を盛り上げようと市民が集まって、住宅や広場を開放して音楽や映画などのエンターテインメントで楽しんでもらおうと始まったイベントで、いまやエンターテインメントにIT（情報技術）やインタラクティブ（機械と人間の相互コミュニケーション）も加わって、 世界９５か国から７万人以上が参加、来場者数は４０万人にのぼる、世界から注目されるITエンターテインメントショーになっています。 ちなみに今年の『SXSW2019』では、日本からは落合陽一氏を統括ディレクターに日本館『THE NEW JAPAN ISLANDS』を出展。『デジタル発酵する風景』がコンセプトで、日本館の入り口には逆さに釣られた赤い富士山、中に入ればパチスロやパックマンのマシンが乱立。落合氏はこの風景を『風の谷のブレードランナー』と呼んでいるそうです。 SXSW2019日本館 そんなイベント会場でも『空中しゃべり描きアプリ』で、世界の人たちがストレスなく会話する日も近そうですね。 [文・構成／土屋夏彦] 土屋夏彦 上智大学理工学部電気電子工学科卒業。 1980年ニッポン放送入社。「三宅裕司のヤングパラダイス」「タモリのオールナイトニッポン」などのディレクターを務める傍ら、「十回クイズ」「恐怖のやっちゃん」「究極の選択」などベストセラーも生み出す。2002年ソニーコミュニケーションネットワーク（現ソニーネットワークコミュニケーションズ株式会社）に転職。コンテンツ担当ジェネラルプロデューサーとして衛星放送 「ソネットチャンネル749」（現アジアドラマチックTV★So-net）で韓国ドラマブームを仕掛け、オンライン育成キャラ「Livly Island」では日本初の女性向けオンラインで100万人突破、2010年以降はエグゼクティブプロデューサー・リサーチャーとして新規事業調査を中心に活動。2015年早期退職を機にフリーランス。記事を寄稿する傍ら、BayFMでITコメンテーターとしても出演中、ラジオに22年、ネットに10年以上、ソーシャルメディア作りに携わるメディアクリエイター。 出典 三菱電機 プレスリリース／三菱電機 Facebook／SXSW2019日本館／The New Japan Islands@SXSW2019／「しゃべり描きUI」でグランプリ受賞／SXSW2019 Share Post LINE はてな コメント
ニッポン放送で「タモリのオールナイトニッポン」などのディレクターなどを務め、現在はBayFMでITコメンテーターとしても出演中の土屋夏彦が、最近のIT・科学・経済のニュースを独自の目線で切り取ります。
話した言葉が現れる！？空中しゃべり描きアプリで世界の人と会話しよう！
スマホに話しかけると、文字になって英語やフランス語などに自動的に翻訳して表示してくれる翻訳アプリは、今や海外旅行などで日常的に使えるようになってきましたが、そんな会話の文字化機能を使って、まるでマンガの吹き出しのように文字を表示してくれるアプリが開発されました。
三菱電機株式会社は３月５日、スマートフォンのカメラで写した写真や動画に、話した言葉を３D（立体）文字にしてAR（拡張現実）表示できる技術『空中しゃべり描き™ UI（ユーザーインターフェース）』と、動画撮影機能などを組み合わせたアプリケーション『空中しゃべり描きアプリ』を世界で初めて開発したと発表しました。
つまり、文字を配置したいところにカメラを向け、話しかけてからスマホ画面を指でなぞると、なぞる動きに合わせて文字がAR（拡張現実）で３D表示され、あたかも人が叫んだ文字が口から空中に飛び出したかのような写真や動画が作れるというわけです。
三菱電機は、２０１６年には話した言葉を指でなぞった軌跡に表示する『しゃべり描き® UI』を開発。お絵描きや多言語翻訳などの機能を組み合わせた『しゃべり描きアプリ』では、CEATEC AWARD 2016の『暮らしと家でつながるイノベーション部門』においてグランプリを受賞しました。
今回はこれにAR技術を追加し、話した言葉を瞬時に指でなぞった軌跡に立体的な文字で表示できるようにし、さらには３D表示された文字と動く被写体を組み合わせた新たな動画撮影（動画撮影機能）も実現させています。
３D文字に吹き出しなどの線も加えることもできるなど、インスタ映えする動画や写真を撮る際の表現力をアップさせることはもちろんですが、日常の場面以外でもこうした技術を使うことで、例えば医療の分野では、耳の不自由な高齢者にレントゲン写真を説明する際に医師の診断や説明を文字で写真上に表示させて伝えやすくしたりすることにも使えます。
また障害者との会話でも、写真や絵を使いながら文字でコミュニケーションが取れたり、さらには文字の翻訳機能を活用すれば、海外の人とのコミュニケーションなども、タブレット上で地図や写真などを表示させながら翻訳された文字でやりとりができます。その文字は写真や地図などの画像と一緒に保存できるので、その時のやりとりを後で見直すこともできます。
『空中しゃべり描きアプリ』は、一般公開はまだ決まっていませんが、３月８日から１７日まで１０日間アメリカのテキサス州で開催されているITエンターテインメントの祭典『サウス・バイ・サウスウエスト2019（SXSW2019）』で紹介されているそうです。
『サウス・バイ・サウスウエスト』は、そもそもは１９８７年から（ITが加わったのは１９９４年から）アメリカの片田舎の砂漠地帯であったテキサス州オースティンという町を盛り上げようと市民が集まって、住宅や広場を開放して音楽や映画などのエンターテインメントで楽しんでもらおうと始まったイベントで、いまやエンターテインメントにIT（情報技術）やインタラクティブ（機械と人間の相互コミュニケーション）も加わって、 世界９５か国から７万人以上が参加、来場者数は４０万人にのぼる、世界から注目されるITエンターテインメントショーになっています。
ちなみに今年の『SXSW2019』では、日本からは落合陽一氏を統括ディレクターに日本館『THE NEW JAPAN ISLANDS』を出展。『デジタル発酵する風景』がコンセプトで、日本館の入り口には逆さに釣られた赤い富士山、中に入ればパチスロやパックマンのマシンが乱立。落合氏はこの風景を『風の谷のブレードランナー』と呼んでいるそうです。
SXSW2019日本館
そんなイベント会場でも『空中しゃべり描きアプリ』で、世界の人たちがストレスなく会話する日も近そうですね。
[文・構成／土屋夏彦]
土屋夏彦
上智大学理工学部電気電子工学科卒業。 1980年ニッポン放送入社。「三宅裕司のヤングパラダイス」「タモリのオールナイトニッポン」などのディレクターを務める傍ら、「十回クイズ」「恐怖のやっちゃん」「究極の選択」などベストセラーも生み出す。2002年ソニーコミュニケーションネットワーク（現ソニーネットワークコミュニケーションズ株式会社）に転職。コンテンツ担当ジェネラルプロデューサーとして衛星放送 「ソネットチャンネル749」（現アジアドラマチックTV★So-net）で韓国ドラマブームを仕掛け、オンライン育成キャラ「Livly Island」では日本初の女性向けオンラインで100万人突破、2010年以降はエグゼクティブプロデューサー・リサーチャーとして新規事業調査を中心に活動。2015年早期退職を機にフリーランス。記事を寄稿する傍ら、BayFMでITコメンテーターとしても出演中、ラジオに22年、ネットに10年以上、ソーシャルメディア作りに携わるメディアクリエイター。