Создана технология, позволяющая считывать образы которые видит человек напрямую с коры его мозга, причем неинвазивно (то есть, безо всякого вмешательства в его организм). В прошлый четверг Nishimoto, Naselaris, Benjamini и Gallant опубликовали этот результат (Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies. Current Biology, 2011)
Авторы использовали технику функционального магнитного резонанса (fMRI) для измерения активности в разных участках зрительной коры при просмотре человеком видеороликов в течение нескольких часов. Так нарабатывалась статистика соответствия изображения на экране и активности коры в это время (для каждого человека индивидуально. Затем на основе этих данных была создана компьютерная модель, которая предсказывает, каким будет паттерн активности для любого случайного изображения. И, наконец, человеку показывали новые видеоролики, которые он до этого не видел, снова регистрируя активность в коре, а модель реконструировала, что видит человек. Результат можно посмотреть тут (реконструкция показывается с небольшой задержкой, которая необходима для снятия активности с коры и ее анализа):
Разумеется, результат пока достаточно грубый, но форма объектов уже угадывается вполне хорошо. Улучшение результата - это дело развития технологии, а оно может случиться достаточно быстро.
Эта работа крайне интересна даже чисто методологически, поскольку авторам удалось решить существенную для техники fMRI проблему временного разрешения. fMRI – это по сути регистрация изменений гемодинамики (локального кровотока и уровня кислорода в крови), принцип там такой, что сперва происходит какая-то работа в данном участке мозга, а уже потом, в результате потребления глюкозы при выполнении этой работы – изменения гемодинамики. То есть, метод медленный по самой своей природе, и потому обычно для получения данных нужно много-много раз показывать одно и то же, причем каждый раз достаточно долго. Так что приспособить fMRI для анализа восприятия видео – очень нетривиальная идея. Удалось это сделать через создание модели, которая анализирует видеоизображение так, как предположительно делают это нейроны (через так называемую motion-energy model). Изображение разбивалось на маленькие участки, каждый анализировали группы моделей нейронов. Затем результаты моделирования ставились в соответствие результатам fMRI. Сама возможность создания такой модели означает, что уровень понимания того как работает первичная зрительная кора уже довольно высок (в этой работе анализировалась активность в основном затылочной коры, где расположена первичная зрительная кора, с которой начинается у человека распознавание изображений). Будущее уточнение знаний о том что происходит в вышележащик областях коры, задействованной в обработке зрительной информации, вероятно, позволит существенно улучшить эту технологию.
Дальше возникает вопрос «зачем оно надо?». Ответ на него таков: существуют данные, что при мысленно работе с образами активируются области коры, как минимум частично пересекающиеся с теми, которые работают при восприятии реальных изображений. То есть, внутренний мир как бы делит пространство с внешним. Эти данные не окончательные, там может оказаться много важных различий. Но, если это так (а это очень большое «если»), то через некоторое время можно будет, например, записывать сны и просматривать их потом. Узнать, как видит маленький ребенок. Как выглядят для шизофреника его галлюцинации, насколько они для него реальны. Общаться с парализованными людьми, которые не могут говорить. Понять, в чем отличия картинки, которую показывают художнику от того, что видят все остальные. Записать образы, которыми ты думал и понять, каков был процесс возникновения какой-то мысли. Это будет нескоро, но появился шанс, что будет.
