ARIP中間報告

東京工業大学工学院情報通信系学士3年　清水大

Hostlab: Nico & Ko Lab

1.研究内容

・背景

非侵襲的手法で得られた脳波(EEG)にはノイズが多く混ざっており、脳の活動を人間の手により正確に読み取ることは難しいです。

一方で、近年機械学習の普及により、多くのデータの中から人間の手では見つけづらい特徴を拾い、推定したい結果を得ることができている。

ここでは、事前学習済みのモデル(プログラムの骨組み)を扱い、脳波を入力することで、どのような出力を得ることがきるのかを試したい。

脳波と機械学習の領域では各モデルを被験者ごとにチューニングするが、今回はそれを行った上で、ランダムな状態での学習も行う。

また、侵襲的手法で得られた脳波(iEEG, ECoG)による具体的な行動の再構成(e.g. 発話)が可能になっているが、依然としてEEGでの再構成はノイズやデータ量、ベストな機械学習モデルの問題で困難を極めている。

ここでは先行研究より示されたECoGに使われたモデルを使い試したい。

・手法

Vision Transformer(ViT)を使い、事前学習済みViTと自作のViTを比較し、Listening時とSpeaking時の二値分類を行う。事前学習済みViTは最終層の出力を変更し、転移学習を行い、学習に用いるデータセットは同じものとする。

二値分類の精度、TransformerのAttention機構により、入力画像のどこの部分を注目しているかを比較する。

Transformerではなく、ViTを用いた理由として、入力データの次元削減を行うため、という理由が挙げられる。

Mel Spectrogramを使うことで、脳波を1Dのシグナルから、2Dの画像として扱い、特徴量を抽出した。これは多様体仮説ということをもとに考えられているらしい。現在は両者ViTのハイパーパラメータの調整等を行っている。

また、データセットの特徴としてListening時とSpeaking時のデータあり、Listening時のデータには音声情報を脳波情報の時間軸を合わせることが容易であったことから、何を聞いていたかを脳波より再構成することを試みる。

・日独米の違い

念の為、前提として、日本ではウェット兼ドライ、アメリカではウェット、ドイツではドライの研究室に所属している。

私の少ない経験からの話にはなってしまうが、ドイツでの研究は一番私に向いていると感じた。無料の水や炭酸水があり、それがビンで置いてあるのだ。偶然かもしれないが、私用の部屋も用意してくれ、コーヒーメーカーまである。研究だけに集中できる環境であり、大変好ましく感じている。

研究に対する姿勢も比較するのは難しいですが、やはり、ドイツが私には向いている。もちろんラボにもよりけりで、環境に大きく依存するが、研究と生活のバランス、研究に対するプレッシャー、それをフォローする環境、この全てがドイツの、具体的にKaiserslauternのDFKIでは強く感じた。

2.生活

・食文化

最高、この一言に尽きます。私はスーパー巡りが大好きで色々なスーパーに行っては何も買わず品揃えを見ることが多いですが、ドイツは日本にはない品揃えすぎて毎日色々なものを試しています。その中でも、パスタの種類が多く、ビールの種類に至ってはビンだけでも100を超えていそうです。

好きなパスタとビールの種類を見つけるのもこの生活の醍醐味となっており、研究も楽しみですし、夕飯に何を食べるかも楽しみになっており、充実した生活を過ごすことができています。

3.その他

今回の報告に際しましては、参考文献の明示を略させていただいておりますが、最終報告書においてそれが必要となった場合には、適宜追記する所存でございます。その際には、何卒ご指示を賜りますようお願い申し上げます。

また、この度のドイツでの充実した生活において、中谷財団に心より感謝申し上げます。さらに、私を暖かく受け入れてくださいましたDFKIのAndreas Dengel先生をはじめとする皆様に対しましても、厚く御礼を申し上げます。貴重な機会を提供していただき、誠にありがとうございました。