大语言模型时代信息质量公共平台建设研究

——基于自动化事实核查技术的政策建议


摘要

大语言模型(LLM)的快速发展在带来生产力提升的同时,也急剧降低了虚假信息的生产成本与传播门槛。本研究通过分析英国独立事实核查机构 Full Fact 的技术架构与运作模式,结合中国信息生态的实际情况,提出建设政府主导、技术驱动、聚焦民生/科技领域的国家级信息质量公共平台的建议。本文论证了该平台的公共必要性、技术可行性及实施路径,并针对"独立性与权威性""LLM 幻觉""商业模式的天然缺陷"等核心矛盾提出了解决方案。


一、问题的性质:从信息污染到公共危害

1.1 虚假信息是公共品供给的典型市场失灵

虚假信息的危害具有显著的负外部性特征:

层面表现形式后果
个体"偏方治癌""保健品替代药物"等健康谣言延误治疗、财产损失、生命健康受损
群体灾害谣言、疫情不实信息恐慌、资源挤兑、社会秩序混乱
社会系统性虚假信息持续侵蚀公共讨论信任崩塌、政策执行受阻、社会共识瓦解

类比食品安全、环境保护、传染病防治等领域——这些领域之所以需要公共力量介入,根本原因在于市场机制无法自发解决负外部性问题。虚假信息治理属于同一范畴:个体无法自保,平台存在利益冲突,市场无法自净。

1.2 LLM 使问题发生质变

LLM 技术的普及并非简单的"谣言增多",而是从根本上改变了虚假信息的生产、传播和能力格局:

维度LLM 之前的虚假信息LLM 加持后的虚假信息
生产成本需要人力编撰,有时间和技能门槛prompt 输入即可批量生成,边际成本趋近于零
内容质量多数存在逻辑漏洞、语言质量参差文本流畅、逻辑自洽,普通人难以分辨
个性化面向大众的通用谣言可针对特定人群(老年人、特定地域、特定兴趣)生成定制化虚假信息
生产速度以天为单位以秒为单位,可实时响应热点事件
多模态以文字为主可生成以假乱真的图片、音频、视频

上述变化意味着,传统的"事后辟谣"模式在速度和规模上已无法匹配当前的虚假信息生产能力。需要一个系统性的、技术驱动的公共基础设施来应对。

1.3 现有辟谣体系的不足

国内现有辟谣力量存在结构性缺陷:

主体类型代表局限性
商业平台腾讯较真、头条辟谣利益冲突:平台既是谣言传播者又是辟谣者;覆盖依赖平台自身意愿
媒体机构澎湃明查商业媒体自身面临生存压力;核查范围有限
政府平台中国互联网联合辟谣平台以信息发布为主,缺乏自动化核查能力;数据源单一
科普机构果壳、丁香医生规模有限,系统性不足;依赖商业变现

核心缺失:缺乏一个集权威数据源接入、自动化核查引擎、开放 API、传播链追踪于一体的公共技术基础设施。


二、国际经验:Full Fact 的运作模式与技术架构

2.1 组织模式

Full Fact 是英国领先的独立事实核查慈善机构,成立于 2010 年,其运作模式具有以下特征:

维度特征
法律地位注册慈善机构(Registered Charity)
资金来源慈善基金会(盖茨基金会、Open Society 等)+ 个人捐赠 + 技术服务收费
独立性无政党依附、无商业资本控制、无政府直接管理
透明度所有核查过程、数据来源、利益冲突声明均公开发布
国际认证国际事实核查网络(IFCN)认证成员

2.2 自动化事实核查技术架构

Full Fact 是自动化事实核查技术的先驱。其技术体系遵循三阶段流水线架构:

第一阶段:声明检测(Claim Detection)

从海量文本中自动识别"可核查的事实性声明":

第二阶段:证据检索(Evidence Retrieval)

为检测到的声明检索权威证据文档:

第三阶段:声明验证(Claim Verification)

基于检索到的证据判断声明的真实性:

Full Fact 的技术产品化

2.3 可借鉴与不可借鉴之处

维度可借鉴不可直接照搬
技术架构三阶段流水线、证据检索方法论—
透明度设计来源可追溯、方法论公开—
组织模式—独立慈善机构模式在国内不具备条件
核查领域—政治声明核查在国内不具备空间

三、国内落地的可行路径分析

3.1 核查领域的选择

政治领域的事实核查在国内不具备可行性和必要性。但以下领域需求明确、可行性高、社会价值显著:

领域典型核查场景数据源可获得性
健康与医疗"XX 致癌""XX 相克""XX 治百病"卫健委公开数据、药监局备案、临床指南、学术文献
食品安全"XX 含致癌添加剂""XX 是转基因"食品安全国家标准(GB 2760 等)、市场监管数据
金融防诈骗"央行放水 XX 万亿""XX 币一夜暴涨"央行公开数据、银保监会公告、上市公司披露
灾害与应急灾害谣言、AI 生成假灾情图应急管理部数据、气象局数据、地震局监测
教育与就业"XX 大学就业率""XX 专业薪资排名"教育部统计数据、人社部就业报告
科技与产业"华为自研光刻机""苹果退出中国"知识产权数据、工商登记信息、企业公告

3.2 组织模式比较

路径优势劣势可行性
政府主导建设权威性最高;可打通跨部门数据;经费稳定;可持续独立性存疑(但民生领域独立性要求较低)最高
学术/研究机构挂靠方法论严谨;相对独立行政约束;经费持续性存疑;数据获取困难中等
开源社区/公益最独立;成本低可持续性差;质量控制难;数据源无保障低
商业路径技术迭代快与真相导向存在结构性矛盾(详见第 3.3 节)不可行

3.3 为什么商业路径走不通

事实核查与商业逻辑存在四大结构性矛盾:

  1. 注意力悖论:真实信息传播力远弱于情绪化虚假信息。核查平台天然站在流量逻辑的对立面

  2. 支付意愿缺失:真相具有非排他性和非竞争性,是典型的公共品。用户不会为"知道自己被误导了"付费

  3. 利益冲突不可调和:作为广告主来源的行业(食品、保健品、金融产品)恰恰是最需要被核查的对象

  4. 平台身份矛盾:商业平台若嵌入事实核查,会与"最大化用户停留时长"的核心产品目标发生冲突

结论:事实核查不适合商业路径,应当作为公共品由政府供给。


四、平台建设方案

4.1 定位

国家信息质量公共平台:聚焦民生和科技领域,以自动化核查技术驱动,以政府权威数据为支撑,为公众、媒体和商业平台提供信息真实性的公共验证服务。

核心差异:

4.2 总体架构

4.3 核心技术决策

决策一:LLM 的角色边界

LLM 在自动核查中的角色必须严格限定。这不仅是成本考虑,更是信任基础:

环节是否使用 LLM理由
声明检测(识别可核查声明)✅ 使用自然语言理解是 LLM 强项,且该环节不涉及最终判定
查询构造(生成搜索查询/数据库查询)✅ 使用不涉及判定,错误可自我纠正
证据摘要(为人工复核提供摘要)✅ 使用辅助性任务
裁定文案生成(撰写用户可读的核查报告)✅ 使用基于已有判定结果生成,非自主判断
声明验证(判定真假)❌ 不使用核心核查环节必须确定性、可审计、可复现

核心原则:LLM 的幻觉问题决定了它不能承担"判定"角色。核查引擎的判定逻辑必须基于确定性规则(数值比对、实体匹配、文本匹配),确保同一输入始终得到同一输出。

决策二:按声明类型实施不同验证策略

不是所有声明都适合自动化核查,需要从架构层面区分处理:

声明类型示例验证方式自动化程度
数值型"PM2.5 降至 32 微克/立方米"数值比对 + 口径校准 + 偏差判定全自动
关系型"A 公司持有 B 公司股份"知识图谱查询 + 实体匹配全自动
存在性"卫健委发布了 XX 指南"文档检索 + 精确匹配全自动
比较型"X 比 Y 更高"数值提取 + 比较全自动
因果型"限购导致房价下跌"—放弃自动核查,标记为"需人工"

对因果型声明坦诚标注"目前无法自动核查",比给出不可靠的结论更有助于建立公信力。

决策三:用信息抽取替代中文 NLI

目前中文自然语言推理(NLI)模型的质量和成熟度远低于英文。建议采用替代策略:

这本质上将不确定性高的 NLI 任务降级为确定性高的信息抽取 + 匹配任务。对于中文场景,可行性更高,结论更可审计。

决策四:确定性分级,拒绝真假二分

核查结论不应是简单的"真/假"二分,而应是基于证据的确定性分级:

"证据不足,无法判断"与"与权威数据一致"是同等重要的结论。

4.4 LLM 幻觉的技术应对方案

本研究提出的架构从根本上规避了 LLM 幻觉问题:


五、实施路径建议

5.1 试点阶段(6-12 个月)

目标:在一个领域跑通全流程

试点期间关键产出:

5.2 扩面阶段(12-24 个月)

目标:多领域覆盖 + 开放 API

5.3 常态化阶段(24 个月以上)

目标:成为信息质量公共基础设施


六、关键挑战与应对策略

6.1 公信力建设

挑战:政府主导平台天然面临"官方口径"的质疑。

应对策略:

6.2 跨部门数据协调

挑战:政府部门间数据壁垒是公共平台建设的首要障碍。

应对策略:

6.3 核查速度与准确性的平衡

挑战:紧急事件(灾害、公共卫生事件)中,核查速度与准确性存在矛盾。

应对策略:

6.4 国际复杂环境

挑战:部分涉及国际话题的声明的数据源不可获得。

应对策略:


七、总结与建议

7.1 核心判断

  1. 必要性成立:LLM 时代虚假信息问题的量和质都发生了根本性变化。传统的、反应式的辟谣模式已无法应对。需要建立信息化、系统化、技术驱动的公共信息质量基础设施。

  2. 可行性成立:自动化事实核查技术已相对成熟(以 Full Fact 为代表),结合LLM 的文本理解能力与确定性规则引擎的精确判定,技术架构是明确的。重点难点不在技术,而在组织和数据协调。

  3. 紧迫性成立:LLM 技术的发展速度远超制度和公共设施的建设速度。越晚起步,"AI 污染信息生态"的债务越重。

7.2 实施建议摘要

建议优先级说明
政府主导建设信息质量公共平台最高商业和公益路径均有结构性缺陷
聚焦民生/科技领域最高政治领域核查不具可行性
LLM 辅助但不参与判定最高核查核心环节必须确定性驱动
试点先行——健康领域高需求大、数据源丰富、社会共识强
开放 API 而非自建流量入口高嵌入现有平台比独立应用更有价值
方法论透明 + 证据可追溯高公信力建设的基石
确定性分级而非真假二分高坦诚标注不确定性有助于建立长期信任

7.3 成本估算考量

一个涵盖健康/食品安全/金融/灾害/教育五大领域的成熟平台,大致需要:

年均运营成本可对标一个中等规模的技术型事业单位。相对于谣言造成的每年数以亿计的社会经济损失,投入产出比极高。


附录:国际事实核查机构参考

机构国家类型特点
Full Fact英国独立慈善机构政治声明核查 + 自动化技术研发
PolitiFact美国媒体附属政治声明的"真实度计"评级
FactCheck.org美国大学附属宾夕法尼亚大学运营
AFP Fact Check法国通讯社附属全球多语种核查网络
Chequeado阿根廷独立非营利拉美区域标杆,开放数据可视化

参考文献

一、自动化事实核查(Automated Fact-Checking)

[1] Thorne, J., Vlachos, A., Christodoulopoulos, C., & Mittal, A. (2018). FEVER: A Large-scale Dataset for Fact Extraction and VERification. In Proceedings of NAACL-HLT 2018, pp. 809–819. → 提出 FEVER 数据集,定义了"声明检测→证据检索→声明验证"三段式框架,是该领域最广泛使用的基准之一。

[2] Guo, Z., Schlichtkrull, M., & Vlachos, A. (2022). A Survey on Automated Fact-Checking. Transactions of the Association for Computational Linguistics, 10, 178–206. → 自动化事实核查领域迄今最全面的综述,系统梳理了三阶段流水线及各阶段的主流方法。

[3] Thorne, J., & Vlachos, A. (2018). Automated Fact Checking: Task Formulations, Methods and Future Directions. In Proceedings of COLING 2018, pp. 3346–3359. → 较早对自动事实核查任务进行形式化定义的综述性工作。

[4] Nakov, P., et al. (2021). Automated Fact-Checking for Assisting Human Fact-Checkers. In Proceedings of IJCAI 2021, pp. 4551–4558. → 聚焦人机协作的事实核查模式,强调自动化技术应为人工核查员赋能而非替代。

[5] Zeng, X., Abumansour, A. S., & Zubiaga, A. (2021). Automated Fact-Checking: A Survey. Language and Linguistics Compass, 15(10), e12438.

[6] Augenstein, I., et al. (2019). MultiFC: A Real-World Multi-Domain Dataset for Evidence-Based Fact Checking of Claims. In Proceedings of EMNLP-IJCNLP 2019, pp. 4685–4697. → 首个来自真实事实核查机构(包括 Full Fact)的多领域声明数据集。

[7] Augenstein, I. (2021). Towards Explainable Fact Checking. Dr. Scient. Thesis, University of Copenhagen. arXiv:2108.10267. → 探讨可解释性在事实核查中的作用,强调透明度和可追溯性的重要性。

[8] Wadden, D., et al. (2020). Fact or Fiction: Verifying Scientific Claims. In Proceedings of EMNLP 2020, pp. 7534–7550. → 提出 SCI-FACT 数据集,聚焦科学领域声明的自动验证,与本文提出的民生/健康领域定位高度相关。

二、大语言模型幻觉

[9] Huang, L., et al. (2025). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. ACM Transactions on Information Systems. (arXiv:2311.05232, 持续更新) → LLM 幻觉领域最系统全面的综述,提出了幻觉的分类体系和产生机制分析。

[10] Ji, Z., et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys, 55(12), 1–38. → 涵盖 NLG 领域幻觉问题的综述,覆盖预训练模型时代之前的完整脉络。

[11] Zhang, Y., et al. (2023). Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models. arXiv:2309.01219. → 从幻觉的产生原因、检测方法到缓解策略的全面梳理。

[12] Bang, Y., et al. (2023). A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity. In Proceedings of IJCNLP-AACL 2023. → 系统评估 ChatGPT 等 LLM 在推理和幻觉表现上的多语言多任务基准测试。

[13] Rawte, V., et al. (2023). A Troubling Emergence of Hallucination in Large Language Models. In Proceedings of EMNLP 2023, pp. 4366–4384. → 聚焦 LLM 幻觉的现实危害和挑战。

[14] Li, J., et al. (2024). The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models. In Proceedings of ACL 2024. → 对 LLM 事实性幻觉的实证研究,对理解 LLM 在事实核查任务中的局限性有重要参考价值。

三、虚假信息传播与影响

[15] Vosoughi, S., Roy, D., & Aral, S. (2018). The Spread of True and False News Online. Science, 359(6380), 1146–1151. → 里程碑研究:基于 Twitter 十年数据分析证明虚假信息比真实信息传播更远、更快、更深、更广,尤其以恐惧、厌恶和惊讶情绪驱动。被引用超过 5000 次,为信息质量公共治理提供了核心实证基础。

[16] Lazer, D. M. J., et al. (2018). The Science of Fake News. Science, 359(6380), 1094–1096. → 提出虚假信息的跨学科研究框架,呼吁从技术、社会、治理多维度应对。

[17] Guess, A. M., et al. (2020). A Digital Media Literacy Intervention Increases Discernment Between Mainstream and False News in the United States and India. Proceedings of the National Academy of Sciences, 117(27), 15536–15545. → 实证研究表明数字媒体素养干预可以提升公众辨别真假信息的能力。

[18] Pennycook, G., & Rand, D. G. (2021). The Psychology of Fake News. Trends in Cognitive Sciences, 25(5), 388–402. → 从认知心理学角度分析人们为何相信和传播虚假信息。

[19] Lewandowsky, S., Ecker, U. K. H., & Cook, J. (2017). Beyond Misinformation: Understanding and Coping with the "Post-Truth" Era. Journal of Applied Research in Memory and Cognition, 6(4), 353–369. → 分析"后真相"时代虚假信息的认知基础和对策。

[20] Wardle, C., & Derakhshan, H. (2017). Information Disorder: Toward an Interdisciplinary Framework for Research and Policymaking. Council of Europe Report DGI(2017)09. → 提出"信息混乱"(Information Disorder)的三分类框架(misinformation/disinformation/malinformation),被事实核查机构和政策制定者广泛采纳。

四、事实核查实践与组织

[21] Graves, L. (2016). Deciding What's True: The Rise of Political Fact-Checking in American Journalism. Columbia University Press. → 事实核查研究的经典著作,系统分析美国政治事实核查的兴起、方法论和影响。

[22] Graves, L., & Cherubini, F. (2016). The Rise of Fact-Checking Sites in Europe. Reuters Institute for the Study of Journalism, University of Oxford. → 对欧洲事实核查机构(包括 Full Fact)的全面调研报告。

[23] Full Fact. (2019). A Framework for Information Incidents. Full Fact, London. [Online]. Available: https://fullfact.org/about/policy/reports/information-incidents-framework/ → Full Fact 提出的信息事件分类与应对框架,为平台治理提供了实践参考。

[24] Full Fact. (2020). Report on the Facebook Third-Party Fact-Checking Programme. Full Fact, London. → Full Fact 作为 Facebook 第三方事实核查合作伙伴的经验总结。

[25] Duke Reporters' Lab. (2024). Fact-Checking Census: Global Fact-Checking Site Count. [Online]. Available: https://reporterslab.org/fact-checking/ → 杜克大学记者实验室对全球事实核查站点的年度普查,跟踪全球事实核查生态发展。

[26] Stencel, M., Luther, J., & Ryan, E. (2022). Fact-Checking Census: Slow Growth in Fact-Checkers Continues. Duke Reporters' Lab.

五、中国信息生态与辟谣实践

[27] 胡泳. (2020). 事实核查在中国:兴起与挑战. 《新闻与写作》, 2020(6), 24–31. → 系统梳理事实核查在中国的发展脉络和面临的特殊挑战。

[28] 张洪忠, 段泽宁, & 韩秀. (2021). 谣言检测与辟谣:技术路径与实践反思. 《新闻大学》, 2021(4), 55–66. → 从技术和社会双重视角分析中国谣言治理的实践。

[29] 曾润喜, 杨喜喜. (2022). 移动互联网时代的网络谣言治理:模式建构与路径选择. 《电子政务》, 2022(2), 12–22.

[30] 曾繁旭, 钱钢强. (2021). 中国的信息疫情与公共健康传播. 《国际新闻界》, 43(7), 45–63. → 分析 COVID-19 疫情期间中国信息传播的特征和健康谣言治理。

[31] 清华大学新媒体研究中心. (2023). AI 生成内容与信息可信度年度报告 2023. → 关注 AIGC 对信息可信度影响的实证研究。

[32] 中国互联网联合辟谣平台. (2024). 年度辟谣工作报告. [Online]. Available: https://www.piyao.org.cn/ → 中国官方辟谣平台的年度数据,反映国内谣言治理的整体态势。

六、自然语言推理与信息抽取

[33] Bowman, S. R., Angeli, G., Potts, C., & Manning, C. D. (2015). A Large Annotated Corpus for Learning Natural Language Inference. In Proceedings of EMNLP 2015, pp. 632–642. → 提出 SNLI 数据集,定义了自然语言推理(NLI)的标准任务框架。

[34] Williams, A., Nangia, N., & Bowman, S. R. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. In Proceedings of NAACL-HLT 2018, pp. 1112–1122. → MultiNLI 数据集,为跨领域的 NLI 评测提供基准。

[35] Nie, Y., et al. (2020). Adversarial NLI: A New Benchmark for Natural Language Understanding. In Proceedings of ACL 2020, pp. 4885–4901. → 揭示了 NLI 模型的脆弱性——现有模型对对抗样本的泛化能力有限,侧面印证了本报告提出的"用信息抽取替代 NLI 做判定"的技术策略。

[36] Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019, pp. 4171–4186. → Transformer 预训练模型的奠基之作,当前自动事实核查系统的基础架构。

七、信息经济学与公共品理论

[37] Stiglitz, J. E. (2000). The Contributions of the Economics of Information to Twentieth Century Economics. The Quarterly Journal of Economics, 115(4), 1441–1478. → 信息经济学经典文献,论证了信息不对称如何导致市场失灵,为将信息质量视为公共品提供了理论基础。

[38] Shapiro, C., & Varian, H. R. (1999). Information Rules: A Strategic Guide to the Network Economy. Harvard Business School Press. → 信息产品的经济学分析,探讨了信息商品定价和公共供给的经济学逻辑。

[39] Sunstein, C. R. (2021). Liars: Falsehoods and Free Speech in an Age of Deception. Oxford University Press. → 从法律和公共政策角度分析虚假信息治理,探讨政府干预虚假信息的法理基础和边界。

[40] O'Connor, C., & Weatherall, J. O. (2019). The Misinformation Age: How False Beliefs Spread. Yale University Press. → 用网络科学和认知科学方法分析信念在社交网络中的传播机制。

八、LLM 与信息生态的交叉研究

[41] Chen, C., & Shu, K. (2024). Combating Misinformation in the Age of LLMs: Opportunities and Challenges. AI Magazine, 45(3), 354–369. → 系统分析 LLM 时代虚假信息治理的新机遇与新挑战。

[42] Pan, Y., et al. (2023). On the Risk of Misinformation Pollution with Large Language Models. In Findings of EMNLP 2023, pp. 1389–1407. → 实证研究 LLM 可能对信息生态造成的污染风险。

[43] Augenstein, I., et al. (2024). Factuality Challenges in the Era of Large Language Models. In Proceedings of the 4th Multilingual Representation Learning Workshop. → 全面讨论 LLM 时代事实性面临的挑战及其对事实核查研究的影响。

[44] Kreps, S., McCain, R. M., & Brundage, M. (2022). All the News That's Fit to Fabricate: AI-Generated Text as a Tool of Media Misinformation. Journal of Experimental Political Science, 9(1), 104–117. → 实验研究表明 AI 生成文本在可信度上与人类写作难以区分,验证了 LLM 时代虚假信息风险的实证研究。


本研究基于公开资料与国际实践经验分析撰写。 分析日期:2026年6月