您的位置首页 >人工智能 >

A Survey of fMRI Visual Decoding and Reconstruction Methods |fMRI 视觉解码与重建方法综述

这篇 A Survey of fMRI Visual Decoding and Reconstruction Methods 综述,核心是梳理从人脑 fMRI 血氧信号解码视觉内容、重建看到或想象图像的整套技术路线,区分视觉解码(分类、识别、语义标签提取)和视觉重建(直接生成画面)两大任务,把领域发展分成线性统计、CNN 特征映射、GAN 生成、扩散模型 + CLIP 潜空间对齐四个阶段,综述还整理了标准数据集、评估指标、大脑视觉皮层 ROI 使用方案,点明 fMRI 信噪比低、个体脑差异大、跨被试泛化难、像素保真和语义对齐很难兼顾这些核心痛点,属于计算神经科学、脑机接口、生成 AI 交叉方向的综述,适合脑解码、神经影像、多模态生成方向研究者快速理清路线。

一、任务定义

  • 视觉解码:输入 fMRI 信号,输出视觉标签、物体类别、语义描述、图像检索结果,属于判别式任务
  • 视觉重建:输入 fMRI 信号,直接还原受试者观看 / 想象的原始图像,是生成式任务,也是近年热点
  • 底层原理:fMRI 测的是 BOLD 血氧信号,不是直接记录神经元放电,信号延迟高、噪声大、维度极高,是该任务天然难点

二、四大主流技术路线

  1. 早期线性统计方法(2008–2017)
  2. CNN 特征映射路线(2017–2020)
  3. GAN/VAE 生成重建路线(2018–2022)
  4. 扩散模型 + CLIP 潜空间范式(当前主流,2022 至今)

代表:Kay、Nishimoto 的线性回归、岭回归、贝叶斯推断。先手工提取图像底层特征(边缘、纹理、方向),学习 voxel 到特征的线性映射。优点可解释性强;缺点只能做简单解码,重建画面模糊,无法处理复杂自然场景。

代表:Horikawa & Kamitani 框架。把图像送入预训练 CNN,取中间层特征作为桥梁,学习 fMRI 信号预测 CNN 特征。不再依赖手工特征,开始适配自然图像;但缺少原生生成能力,只能做特征解码。

代表:Seeliger、HS-GAN。fMRI 预测隐变量,送入 GAN/VAE 生成图像。可以直接输出图片;短板是容易失真、语义漂移、训练不稳定,复杂场景效果差。

代表:MindEye、MindEye2、Brain-Diffuser、PRISM。标准流水线:fMRI 编码器 → 映射到 CLIP 视觉 / 文本潜空间 → 用扩散模型做条件生成。可以兼顾高层语义和画面质感,是目前效果最好的范式;分支有两种选择:一部分方案对齐 CLIP 视觉特征,PRISM 等方案对齐文本特征空间,在语义推理上更有优势。

三、常用基准数据集

  • NSD(Natural Scenes Dataset):7T 高分辨率 fMRI,8 名被试,上万自然图像,领域最核心基准
  • BOLD5000、GOD(Generic Object Decoding):经典物体解码数据集
  • HCP:电影观看任务,适合时序视觉、跨被试泛化研究
  • NSD-Imagery:专门针对心理想象(闭眼想象画面)的 fMRI 数据,和真实视觉刺激模式有区别

四、评估指标对比表

指标评估对象说明
SSIM、PixCorr像素、结构相似度看底层画面轮廓、纹理匹配
LPIPS感知相似度贴近人眼主观感受
CLIP 相似度、双向识别率高层语义一致性判断重建图里物体、场景是否和原始刺激一致,现在领域更看重这个指标
分类准确率语义解码只用于标签识别任务

五、综述总结的现存痛点

  1. 跨被试泛化难题:不同人脑解剖、功能响应差异大,绝大多数模型是单被试训练,换到新受试者效果暴跌,脑对齐、归一化是关键瓶颈
  2. 信号本身局限:BOLD 是间接测量,时间分辨率低、信噪比差,容易混入头动、生理噪声
  3. 保真度矛盾:像素细节和高层语义很难同时最优;很多图看着像,但物体关系、数量出错
  4. 评估标准不统一:论文有的侧重像素,有的侧重语义,缺少统一评测协议,横向对比困难
  5. 想象重建难度远高于观看重建:心理意象的脑激活模式弱、不稳定,数据更少
  6. 可解释性不足:现在 SOTA 大多是黑盒扩散模型,很难对应到视觉皮层 V1/V2/V4/IT 的神经编码机制

六、前沿方向

  • 分层 ROI 引导重建:利用 V1、V4、IT 皮层分别对应低层纹理、中层属性、高层语义,做分层条件注入(Hi-DREAM 这类)
  • 跨被试基础脑解码大模型,学习通用脑视觉表征
  • 心理意象、梦境、动态视频连续重建
  • 神经符号结合,约束物体数量、空间关系,减少幻觉
  • 结合 fMRI+MEG 多模态,补足时间分辨率短板

【相关 FAQ】

问题 1:这篇 fMRI 视觉解码与重建方法综述,解码和重建是一回事吗?

回答 1:这篇 fMRI 视觉解码与重建方法综述里,解码偏向判别任务,识别物体、输出语义标签;重建是生成任务,直接画出受试者看到或者想象的图像,重建难度更高。

问题 2:fMRI 视觉解码与重建方法里,现在主流是什么方案?

回答 2:fMRI 视觉解码与重建方法当前主流是扩散模型搭配 CLIP 潜空间对齐,代表 MindEye、Brain-Diffuser,先把脑信号映射到 CLIP 特征空间,再用扩散生成图像,语义效果远好于早期 GAN。

问题 3:fMRI 视觉解码与重建方法,NSD 数据集是什么?

回答 3:fMRI 视觉解码与重建方法里 NSD 是领域最重要的大规模基准,7T 核磁采集,多名被试观看上万自然图像,现在绝大多数 SOTA 重建工作都在 NSD 上做测试。

问题 4:fMRI 视觉解码与重建方法最大落地难点是什么?

回答 4:fMRI 视觉解码与重建方法最大难点是跨被试泛化,每个人脑激活模式不一样,模型在 A 受试者上训练好,直接给 B 受试者使用效果会大幅下降,同时 BOLD 信号本身噪声高、间接测量神经元活动。

【参考资料】

[2026-10-05](A Survey of fMRI Visual Decoding and Reconstruction Methods)arXiv

[2026-11-22](A Survey of fMRI Visual Decoding and Reconstruction Methods 综述解读)阿里云开发者社区

[2025-10-25](Seeing Through the Brain: New Insights from Decoding Visual Stimuli with fMRI)arXiv

[2023-02-10](fMRI 的视觉神经信息编解码方法综述)中国图象图形学报

[2022-07-18](Natural image reconstruction from fMRI using deep learning: A Survey)arXiv

【免责声明】

本文仅为该 fMRI 视觉解码与重建综述的公开内容整理,该领域属于前沿科研方向,技术距离成熟脑机商用还有很长距离;所有模型效果、数据集结论以原始论文和重复实验为准,不构成医疗、临床诊断建议。

今日大家都在搜的词: