您的位置首页 >人工智能 >

LLM 辅助社会科学研究方法综述大模型赋能社科研究范式、流程与局限调研

这篇 arXiv 综述《A Survey of LLM-Assisted Social Science Research Methods》整体是把大语言模型融入社会科学完整研究链路做系统性梳理,它看到现在社科传统研究存在文本编码成本高、访谈转录耗时、问卷处理慢、定性分析主观性强、大规模文本素材很难人工处理这些痛点,所以文章沿着社科标准研究流程,拆解大模型可以介入的各个环节,汇总当下已经落地的 LLM 辅助社科研究方案,对比不同大模型在定性编码、数据生成、文献梳理、因果推断、实验被试模拟等场景的用法,同时重点抛出社科最关心的效度、偏见、可复现、伦理风险问题,最后总结现有方案短板,给出 LLM 辅助社会科学研究未来可行的研究方向。读完这篇综述,社科研究者可以清楚知道在自己的研究里哪些环节适合引入大模型、怎么规范使用,以及哪些环节不能直接依赖 LLM 输出,规避研究结论失效的风险。

一、LLM 辅助社会科学研究的典型应用环节

研究阶段LLM 可承担工作典型用法注意事项
前期文献与研究设计文献整理、研究问题生成、访谈提纲、问卷初稿撰写文献批量摘要、研究假设生成、访谈脚本草拟输出内容需要人工核验,不能直接当作最终研究方案
数据采集模拟调查对象、生成情景文本、辅助访谈LLM 作为虚拟被试、开放式问卷预测试、情景实验素材生成虚拟被试数据和真实人群行为存在偏差,不可直接替代真人调研
定性数据处理文本编码、主题提取、情感与话语分析开放式访谈转录编码、新闻 / 社交文本主题标注编码结果需要研究者做信度校验,防止模型偏见带来系统性偏差
定量与因果分析辅助变量标注、文本特征构建、结果解释将非结构化文本转为结构化特征、辅助解读回归结果LLM 不擅长严谨因果识别,不能替代计量模型本身
论文写作与复盘结果描述、术语润色、局限性梳理初稿润色、研究局限撰写、英文改写严禁直接生成核心研究结论,做好文本溯源

二、综述归纳的主流 LLM 辅助社科研究范式

  1. 自动化标注范式:用 LLM 做标注器,替代人工给大量文本打标签,提升定性文本分析效率,适合大规模语料。
  2. 仿真被试范式:Prompt 设定人群特征,让 LLM 模拟特定群体回答问卷、表达观点,用于预实验、探索性研究。
  3. 研究助手范式:嵌入全流程,辅助文献检索、工具代码生成、研究思路发散,充当研究者协作工具。
  4. 理论生成范式:基于现有文献和实证素材,启发新理论、新机制猜想,偏向探索性研究。

三、综述重点提出的核心风险与挑战

  • 偏见风险:LLM 训练数据自带社会刻板偏见,会渗透到编码、模拟回答中,污染社科研究结论
  • 效度危机:虚拟被试的回答模式不等于真实人类,仿真结果外部有效性很难保证
  • 可复现性差:大模型输出具有随机性,不同版本、不同采样参数会得到不一样结果
  • 伦理问题:隐私泄露、生成虚假访谈文本、不当使用生成内容伪造实证材料
  • 推理缺陷:LLM 容易出现幻觉,编造事实、文献、统计结论,直接用于实证会出错
  • 评价标准缺失:目前还没有统一规范,判定 LLM 辅助产出是否符合社科学术规范

四、未来研究方向(综述展望)

  • 适配社科任务的专用对齐 LLM,降低社科场景下的偏见
  • 标准化 LLM 辅助社科研究的操作流程、信效度检验规范
  • 提升 LLM 虚拟被试和真实人群行为分布的一致性
  • 可溯源、可审计的 LLM 文本标注框架,方便审稿人核验
  • 结合 LLM 和传统计量、定性方法的混合研究范式

【相关 FAQ】

问题 1:LLM 辅助社会科学研究方法综述主要解决什么问题?

回答 1:LLM 辅助社会科学研究方法综述梳理大模型在社科全研究链路的使用方式,汇总各类 LLM 辅助社科研究范式,帮助社科研究者掌握落地方法,识别 LLM 用于社科研究里的效度、伦理风险。

问题 2:LLM 模拟被试的数据能不能直接作为正式社科调研数据?

回答 2:在 LLM 辅助社会科学研究中,LLM 模拟被试的数据一般只适合预实验、探索性测试,不能直接当作正式调研数据,仿真结果和真实人群行为存在偏差,会降低研究外部效度。

问题 3:使用 LLM 做社科文本编码时需要做哪些校验?

回答 3:LLM 辅助社会科学研究做文本编码时,需要抽样人工复核编码结果,计算编码信度,同时检查模型输出是否存在刻板偏见、幻觉标注,保证编码可靠。

问题 4:LLM 适合用来做社科因果推断分析吗?

回答 4:LLM 辅助社会科学研究可以辅助整理文本变量、解读分析结果,但不擅长严谨的因果识别,不能替代计量模型、实验设计完成因果推断。

【参考资料】

[2026-05-20](A Survey of LLM-Assisted Social Science Research Methods)arXiv

[2025-11-12](Large Language Models in the Social Sciences: A Review)Nature Human Behaviour

[2025-07-04](Using LLMs as Participants in Social Science Experiments)PNAS

【免责声明】

本文内容仅基于公开综述文献整理,仅作学术学习参考,不构成社科研究的学术规范、实验方案实施依据;使用 LLM 开展社会科学研究必须遵守所属学科、期刊的学术伦理与发表要求,所有模型输出内容都需要研究者人工核查验证。

今日大家都在搜的词: