ドラえもんに出てくるひみつ道具で『念写カメラ』というのがあったのを覚えていますか？

これはカメラを額に当てながら頭の中で何か考えるとその画像が写真になって出てくるカメラでしたが、ついにそれと似たようなことができるようになったようです。

京都大学の神谷之康（かみたにゆきやす）情報学研究科教授とATR（株式会社国際電気通信基礎技術研究所）の堀川友慈主任研究員を中心とする研究グループは、人がイメージしている映像を脳の活動パターンから解読し、想像しているものや見ているものを画像化する人工知能を開発したと発表しました。

頭のなかでイメージした画像を生成するために、機能的磁気共鳴画像法（fMRI）という脳の血の流れを視覚化する機能を活用して、どんな映像を見た時はどんな血の流れになったかを学習させるんだそうです。これを何度も何度もやることで、こんな血の流れの時はこんな画像を見ている時だと認識するようになるんだそうです。

京都大学の同研究グループは、昨年（２０１７年）５月、ヒトの脳活動パターンを深層ニューラルネットワーク（deep neural network model、以下DNN）等の人工知能モデルの信号に変換して利用することで、見ている画像に含まれる物体や想像している物体を脳から解読する技術の開発に成功し、英国の科学雑誌『Nature Communications』に研究成果が掲載されました。

機能的磁気共鳴画像法（fMRI）等により計測されるヒトの脳活動パターンを機械学習によるパターン認識で解析し、心の状態を解読する技術は『ブレイン・デコーディング』と呼ばれ、神谷教授を中心とする研究グループが世界に先駆けて開発したものだそうです。

論文によれば、これまでの方法では、あらかじめ脳活動を計測して機械学習で読み込ませた少数の物体カテゴリー情報しか予測の対象にすることができなかったため、任意の物体カテゴリー情報を予測することはできなかったのだそうです。

ところが今回の研究では、画像を見ている時のヒトの脳活動パターンと、同じ画像を入力した時のDNNの信号パターンが非常に似ていることを発見し、脳からDNNへの信号変換を利用することで、任意の物体を脳活動から解読することができるようになったというわけです。つまり、脳とDNNの情報表現の類似性を利用することで、モデルの学習には用いていない物体カテゴリーを含む任意の物体カテゴリー情報でも、脳活動から予測することができる技術（一般物体デコーディング）の開発に成功したというわけです。

それでも昨年の時点では、白黒画像や単純な図形のみの実験しかしてこなかったそうなんですが、今回から人やモノなどにまで被写体を広げるとともに、色調やグラデーションなどの情報も学習できるように改良を加えたそうです。

その結果、人間が見ている画像に類似した画像を脳活動の情報から高いレベルで生成することを可能にしました。

この映像では、左に見ている画像、右に出力した画像が映し出されています。

また心の中でイメージした内容を画像化することにも成功。前者は、見ている画像で再構成するのですが、後者は一度見た画像を記憶し、画像を見ていない状態から心の中でイメージした脳活動だけで再構成するというものです。被験者には、関連付いている単語と画像をペアで記憶させ、その後、単語を提示し画像を想起させました。

この映像では、左に記憶した画像、右に再構成した画像が現れています。

そのほかにも実験結果の画像は論文に多数掲載されているのですが、なんと、アルファベットを見た時の脳の画像は、ほとんどどれもアルファベットと分かるくらい鮮明に再現できています。

でも、風景の中の人間や生活空間にあるモノなどの画像については、まだその物体と背景の区別ができる程度で、それが何だったのか、例えば『麦わら帽子をかぶった農夫』だとか『ヘルメットをかぶったレーサー』とかまで再現できるところまでには達していないようです。

近い将来、頭で考えたことを画像や映像で人と共有できるようになるのも時間の問題のようです。

---

[文・構成　土屋夏彦]