这篇 A Survey of fMRI Visual Decoding and Reconstruction Methods 综述,核心是梳理从人脑 fMRI 血氧信号解码视觉内容、重建看到或想象图像的整套技术路线,区分视觉解码(分类、识别、语义标签提取)和视觉重建(直接生成画面)两大任务,把领域发展分成线性统计、CNN 特征映射、GAN 生成、扩散模型 + CLIP 潜空间对齐四个阶段,综述还整理了标准数据集、评估指标、大脑视觉皮层 ROI 使用方案,点明 fMRI 信噪比低、个体脑差异大、跨被试泛化难、像素保真和语义对齐很难兼顾这些核心痛点,属于计算神经科学、脑机接口、生成 AI 交叉方向的综述,适合脑解码、神经影像、多模态生成方向研究者快速理清路线。
一、任务定义
- 视觉解码:输入 fMRI 信号,输出视觉标签、物体类别、语义描述、图像检索结果,属于判别式任务
- 视觉重建:输入 fMRI 信号,直接还原受试者观看 / 想象的原始图像,是生成式任务,也是近年热点
- 底层原理:fMRI 测的是 BOLD 血氧信号,不是直接记录神经元放电,信号延迟高、噪声大、维度极高,是该任务天然难点
二、四大主流技术路线
- 早期线性统计方法(2008–2017)
- CNN 特征映射路线(2017–2020)
- GAN/VAE 生成重建路线(2018–2022)
- 扩散模型 + CLIP 潜空间范式(当前主流,2022 至今)
代表:Kay、Nishimoto 的线性回归、岭回归、贝叶斯推断。先手工提取图像底层特征(边缘、纹理、方向),学习 voxel 到特征的线性映射。优点可解释性强;缺点只能做简单解码,重建画面模糊,无法处理复杂自然场景。
代表:Horikawa & Kamitani 框架。把图像送入预训练 CNN,取中间层特征作为桥梁,学习 fMRI 信号预测 CNN 特征。不再依赖手工特征,开始适配自然图像;但缺少原生生成能力,只能做特征解码。
代表:Seeliger、HS-GAN。fMRI 预测隐变量,送入 GAN/VAE 生成图像。可以直接输出图片;短板是容易失真、语义漂移、训练不稳定,复杂场景效果差。
代表:MindEye、MindEye2、Brain-Diffuser、PRISM。标准流水线:fMRI 编码器 → 映射到 CLIP 视觉 / 文本潜空间 → 用扩散模型做条件生成。可以兼顾高层语义和画面质感,是目前效果最好的范式;分支有两种选择:一部分方案对齐 CLIP 视觉特征,PRISM 等方案对齐文本特征空间,在语义推理上更有优势。
三、常用基准数据集
- NSD(Natural Scenes Dataset):7T 高分辨率 fMRI,8 名被试,上万自然图像,领域最核心基准
- BOLD5000、GOD(Generic Object Decoding):经典物体解码数据集
- HCP:电影观看任务,适合时序视觉、跨被试泛化研究
- NSD-Imagery:专门针对心理想象(闭眼想象画面)的 fMRI 数据,和真实视觉刺激模式有区别
四、评估指标对比表
| 指标 | 评估对象 | 说明 |
|---|---|---|
| SSIM、PixCorr | 像素、结构相似度 | 看底层画面轮廓、纹理匹配 |
| LPIPS | 感知相似度 | 贴近人眼主观感受 |
| CLIP 相似度、双向识别率 | 高层语义一致性 | 判断重建图里物体、场景是否和原始刺激一致,现在领域更看重这个指标 |
| 分类准确率 | 语义解码 | 只用于标签识别任务 |
五、综述总结的现存痛点
- 跨被试泛化难题:不同人脑解剖、功能响应差异大,绝大多数模型是单被试训练,换到新受试者效果暴跌,脑对齐、归一化是关键瓶颈
- 信号本身局限:BOLD 是间接测量,时间分辨率低、信噪比差,容易混入头动、生理噪声
- 保真度矛盾:像素细节和高层语义很难同时最优;很多图看着像,但物体关系、数量出错
- 评估标准不统一:论文有的侧重像素,有的侧重语义,缺少统一评测协议,横向对比困难
- 想象重建难度远高于观看重建:心理意象的脑激活模式弱、不稳定,数据更少
- 可解释性不足:现在 SOTA 大多是黑盒扩散模型,很难对应到视觉皮层 V1/V2/V4/IT 的神经编码机制
六、前沿方向
- 分层 ROI 引导重建:利用 V1、V4、IT 皮层分别对应低层纹理、中层属性、高层语义,做分层条件注入(Hi-DREAM 这类)
- 跨被试基础脑解码大模型,学习通用脑视觉表征
- 心理意象、梦境、动态视频连续重建
- 神经符号结合,约束物体数量、空间关系,减少幻觉
- 结合 fMRI+MEG 多模态,补足时间分辨率短板
【相关 FAQ】
问题 1:这篇 fMRI 视觉解码与重建方法综述,解码和重建是一回事吗?
回答 1:这篇 fMRI 视觉解码与重建方法综述里,解码偏向判别任务,识别物体、输出语义标签;重建是生成任务,直接画出受试者看到或者想象的图像,重建难度更高。
问题 2:fMRI 视觉解码与重建方法里,现在主流是什么方案?
回答 2:fMRI 视觉解码与重建方法当前主流是扩散模型搭配 CLIP 潜空间对齐,代表 MindEye、Brain-Diffuser,先把脑信号映射到 CLIP 特征空间,再用扩散生成图像,语义效果远好于早期 GAN。
问题 3:fMRI 视觉解码与重建方法,NSD 数据集是什么?
回答 3:fMRI 视觉解码与重建方法里 NSD 是领域最重要的大规模基准,7T 核磁采集,多名被试观看上万自然图像,现在绝大多数 SOTA 重建工作都在 NSD 上做测试。
问题 4:fMRI 视觉解码与重建方法最大落地难点是什么?
回答 4:fMRI 视觉解码与重建方法最大难点是跨被试泛化,每个人脑激活模式不一样,模型在 A 受试者上训练好,直接给 B 受试者使用效果会大幅下降,同时 BOLD 信号本身噪声高、间接测量神经元活动。
【参考资料】
[2026-10-05](A Survey of fMRI Visual Decoding and Reconstruction Methods)arXiv
[2026-11-22](A Survey of fMRI Visual Decoding and Reconstruction Methods 综述解读)阿里云开发者社区
[2025-10-25](Seeing Through the Brain: New Insights from Decoding Visual Stimuli with fMRI)arXiv
[2023-02-10](fMRI 的视觉神经信息编解码方法综述)中国图象图形学报
[2022-07-18](Natural image reconstruction from fMRI using deep learning: A Survey)arXiv
【免责声明】
本文仅为该 fMRI 视觉解码与重建综述的公开内容整理,该领域属于前沿科研方向,技术距离成熟脑机商用还有很长距离;所有模型效果、数据集结论以原始论文和重复实验为准,不构成医疗、临床诊断建议。
