Дослідники Інституту Вейцмана розробили програмне забезпечення Brain-IT, здатне відтворювати візуальні образи на основі аналізу нейронної активності головного мозку. Система перетворює дані функціональної магнітно-резонансної томографії (фМРТ) на графічні зображення, що відповідають об'єктам, які людина бачить у момент сканування. Розробка наближає технологію до так званого зчитування думок, хоч і залишається суто науковим інструментом для дослідження роботи зорової кори.
Під час експериментів вісім добровольців переглядали фотографії спортивних подій, тварин та краєвидів. Алгоритм фіксував відповідні патерни активності нейронів і на їх основі будував візуальну репрезентацію побаченого об'єкта з високим рівнем деталізації та збереженням смислових характеристик. Реконструкції не були фотографічно точними копіями, але передавали ключові риси сцени, що дозволяло ідентифікувати зображення.
Технологічна архітектура моделі базується на попередньому навчанні на тисячах результатів сканування. У ході цього процесу нейронна мережа ідентифікувала 128 функціональних областей мозку, відповідальних за обробку зорової інформації. Дослідники виявили спеціалізовані зони, що реагують на специфічні категорії об'єктів, як-от продукти харчування або спортивні змагання. Вивчення цих патернів дозволило системі виокремити окремі підрозділи в парагіпокампальній ділянці, які диференціюють інтер'єрні сцени від зовнішніх ландшафтів. Це критично впливає на точність відтворення кольорів та композиції вихідного зображення.
Важливою особливістю Brain-IT є низький поріг вхідних даних, необхідних для налаштування системи під конкретного користувача. Попередні аналоги потребували близько 40 годин записів активності мозку для коректної інтерпретації зорових стимулів. Нова розробка здатна досягати ідентичних показників точності після 60 хвилин навчання на основі індивідуальних МРТ-сканів. Порівняльний аналіз показав, що реконструкції, виконані за допомогою часового ресурсу в одну годину, майже не відрізняються за якістю від результатів, отриманих після 40 годин інтенсивного тренування нейронної мережі.
Науковці розглядають можливість розширення функціоналу системи для декодування аудіоінформації, а також потокового відео. Це складніше завдання через часові обмеження апаратури МРТ: один знімок сканера триває близько двох секунд, тому відстеження швидких змін кадрів, наприклад під час сновидінь, залишається технічним викликом. Паралельно команда працює над адаптацією алгоритму для роботи з даними електроенцефалографії. Це дозволило б отримувати сигнали через сенсори на поверхні голови замість громіздких стаціонарних МРТ-сканерів.
Результати дослідження були представлені на конференції Cognitive Computational Neuroscience у Нью-Йорку. Розробка поки що не є комерційним продуктом і залишається інструментом для наукових експериментів. Водночас вона демонструє стрімкий прогрес у галузі нейровізуалізації та машинного навчання, відкриваючи нові можливості для вивчення того, як мозок кодує зорову інформацію.
7
