脳内イメージをAIで画像化 京都大学が『ブレイン・デコーディング』技術を発表
公開： 更新：
パスポートを保有している人が、6人に1人の時代 好奇心を持つことが旅の始まり作詞家でもあり、エッセイストでもある吉元由美さんが、日常に関わる『ひと・もの・こと』を徒然なるままに連載。今回は、日本人の旅行の変化についてつづっています。
「私はこんなにしているのに…」とモヤモヤする人へ 心を穏やかに保つ3つの言葉のつぶやき方吉元由美の『ひと・もの・こと』 作詞家でもあり、エッセイストでもある吉元由美さんが、日常に関わる『ひと・もの・こと』を徒然なるままに連載。 たまたま出会った人のちょっとした言動から親友のエピソード、取材などの途中で出会っ...
ドラえもんに出てくるひみつ道具で『念写カメラ』というのがあったのを覚えていますか？
これはカメラを額に当てながら頭の中で何か考えるとその画像が写真になって出てくるカメラでしたが、ついにそれと似たようなことができるようになったようです。
脳の活動から「見ている映像」を画像化するAIを開発
京都大学の神谷之康（かみたにゆきやす）情報学研究科教授とATR（株式会社国際電気通信基礎技術研究所）の堀川友慈主任研究員を中心とする研究グループは、人がイメージしている映像を脳の活動パターンから解読し、想像しているものや見ているものを画像化する人工知能を開発したと発表しました。
頭のなかでイメージした画像を生成するために、機能的磁気共鳴画像法（fMRI）という脳の血の流れを視覚化する機能を活用して、どんな映像を見た時はどんな血の流れになったかを学習させるんだそうです。これを何度も何度もやることで、こんな血の流れの時はこんな画像を見ている時だと認識するようになるんだそうです。
繰り返し学習を重ねることで、脳の反応パターンと画像の対応関係が精度よく結びついていくわけですね。
「ブレイン・デコーディング」技術の発展
京都大学の同研究グループは、昨年（２０１７年）５月、ヒトの脳活動パターンを深層ニューラルネットワーク（deep neural network model、以下DNN）等の人工知能モデルの信号に変換して利用することで、見ている画像に含まれる物体や想像している物体を脳から解読する技術の開発に成功し、英国の科学雑誌『Nature Communications』に研究成果が掲載されました。
機能的磁気共鳴画像法（fMRI）等により計測されるヒトの脳活動パターンを機械学習によるパターン認識で解析し、心の状態を解読する技術は『ブレイン・デコーディング』と呼ばれ、神谷教授を中心とする研究グループが世界に先駆けて開発したものだそうです。
論文によれば、これまでの方法では、あらかじめ脳活動を計測して機械学習で読み込ませた少数の物体カテゴリー情報しか予測の対象にすることができなかったため、任意の物体カテゴリー情報を予測することはできなかったのだそうです。
ところが今回の研究では、画像を見ている時のヒトの脳活動パターンと、同じ画像を入力した時のDNNの信号パターンが非常に似ていることを発見し、脳からDNNへの信号変換を利用することで、任意の物体を脳活動から解読することができるようになったというわけです。つまり、脳とDNNの情報表現の類似性を利用することで、モデルの学習には用いていない物体カテゴリーを含む任意の物体カテゴリー情報でも、脳活動から予測することができる技術（一般物体デコーディング）の開発に成功したというわけです。
脳とAIが似た情報処理をしているという発見が、この技術の大きな突破口になったようです。
白黒・単純図形から色調・人物へと対象を拡大
それでも昨年の時点では、白黒画像や単純な図形のみの実験しかしてこなかったそうなんですが、今回から人やモノなどにまで被写体を広げるとともに、色調やグラデーションなどの情報も学習できるように改良を加えたそうです。
白黒の単純な図形から、色のある人物・風景へと対象が広がったことで、実用に向けた研究が一段と進んだといえます。
その結果、人間が見ている画像に類似した画像を脳活動の情報から高いレベルで生成することを可能にしました。
この映像では、左に見ている画像、右に出力した画像が映し出されています。
「見た画像」だけでなく「心でイメージした画像」の再構成にも成功
また心の中でイメージした内容を画像化することにも成功。前者は、見ている画像で再構成するのですが、後者は一度見た画像を記憶し、画像を見ていない状態から心の中でイメージした脳活動だけで再構成するというものです。被験者には、関連付いている単語と画像をペアで記憶させ、その後、単語を提示し画像を想起させました。
「見る」だけでなく「思い浮かべる」という行為まで画像化できた点が、今回の研究で特に注目される成果です。
この映像では、左に記憶した画像、右に再構成した画像が現れています。
アルファベットは鮮明に、風景や人物はまだ課題が残る
そのほかにも実験結果の画像は論文に多数掲載されているのですが、なんと、アルファベットを見た時の脳の画像は、ほとんどどれもアルファベットと分かるくらい鮮明に再現できています。
形が比較的シンプルなアルファベットは、脳の活動パターンとの対応が取りやすく、精度が出やすいのかもしれません。
でも、風景の中の人間や生活空間にあるモノなどの画像については、まだその物体と背景の区別ができる程度で、それが何だったのか、例えば『麦わら帽子をかぶった農夫』だとか『ヘルメットをかぶったレーサー』とかまで再現できるところまでには達していないようです。
複雑な情景になるほど再現の精度が落ちるという課題は残っているものの、研究の進展スピードを考えると、今後の改良に期待が持てるところです。
近い将来、頭で考えたことを画像や映像で人と共有できるようになるのも時間の問題のようです。
[文・構成 土屋夏彦]
土屋夏彦
上智大学理工学部電気電子工学科卒業。 1980年ニッポン放送入社。「三宅裕司のヤングパラダイス」「タモリのオールナイトニッポン」などのディレクターを務める傍ら、「十回クイズ」「恐怖のやっちゃん」「究極の選択」などベストセラーも生み出す。2002年ソニーコミュニケーションネットワーク（現ソニーネットワークコミュニケーションズ株式会社）に転職。コンテンツ担当ジェネラルプロデューサーとして衛星放送 「ソネットチャンネル749」（現アジアドラマチックTV★So-net）で韓国ドラマブームを仕掛け、オンライン育成キャラ「Livly Island」では日本初の女性向けオンラインで100万人突破、2010年以降はエグゼクティブプロデューサー・リサーチャーとして新規事業調査を中心に活動。2015年早期退職を機にフリーランス。記事を寄稿する傍ら、BayFMでITコメンテーターとしても出演中、ラジオに22年、ネットに10年以上、ソーシャルメディア作りに携わるメディアクリエイター。