这项由VideoDB工程团队完成的研究，以预印本形式发布于2026年4月，论文编号为arXiv:2604.11177，感兴趣的读者可通过该编号查阅完整论文。

当你问一个人"2加2等于几"，他可能脱口而出"4"。但如果你问"请解释一下为什么黑洞会扭曲时空"，他大概需要先在脑海里转几圈，整理思路，再开口作答。现代AI大模型其实也有类似的机制——在给出最终答案之前，它会先进行一段"内心独白"，把自己的推理过程一步步写下来，然后再把这些思考浓缩成最终的回答。

这段内心独白，研究团队称之为"思维流"（Thought Stream）。问题来了：这段独白真的有用吗？它里面都是真正有价值的分析，还是大量的废话和自言自语？模型最终的回答，忠实反映了它的思考过程吗？还是说，它思考了一堆，最后输出的却是另一套？

VideoDB的工程师们决定认真研究这个问题。他们拿来了谷歌最新的Gemini 2.5系列模型，让这些模型处理从100小时视频中提取的海量场景，然后一帧一帧地"解剖"模型的思维流，看看里面究竟藏着什么。

---

一、侦探的笔记本：什么是"思维流"，为什么要研究它

把AI模型比作一位侦探来破案，是理解这项研究最直观的方式。这位侦探接到任务后，会先在自己的笔记本上记录观察到的线索、推断的逻辑、排除的可能性，最后整理出一份正式的案情报告交给委托人。

"思维流"就是这本笔记，而模型最终输出的结构化JSON数据（包含场景中的人物、动作、场景、情绪等标签）就是那份正式报告。

研究团队关注的核心问题有三个。第一，笔记本里的内容有多少是真正有用的线索，有多少是侦探在自言自语、反复絮叨"我现在要开始分析了，我需要仔细思考一下"这类废话？第二，笔记本里记录的线索，有多少最终出现在了正式报告里？有没有侦探在笔记里写了很多，但报告里却完全没提到的情况？第三，报告里提到的内容，是否都能在笔记本里找到对应的来源？还是说侦探在写报告时凭空捏造了一些从未调查过的"证据"？

这三个问题对应了研究团队设计的三个核心评估指标，后面会详细展开。

---

二、侦探团队与调查现场：实验设计

这次调查的规模相当可观。研究团队使用VideoDB平台，将约100小时的视频切割成一个个独立的场景片段，涵盖了37种不同的视觉风格——从2D/3D动画、电影级叙事片段、纪录片，到游戏直播、现场演唱会、运动赛事录像、监控画面、社交媒体短视频、Vlog，乃至复古胶片风格，几乎涵盖了当今主流内容生产的全部类型。内容领域横跨38个不同类别，包括娱乐、体育、新闻、教育、美食烹饪、音乐表演、戏剧、喜剧、真人秀、游戏、企业宣传、旅行Vlog和儿童内容等。从画面质量分布来看，约64%属于高质量专业制作内容，34%为中等质量，仅有约2%为低质量。

每个场景以每秒1帧的速度抽取画面，最多保留10帧。模型在处理每个场景时，完全独立运作，不会参考其他场景的信息。

调查任务交给了四个版本的Gemini 2.5模型，可以把它们理解为同一家侦探事务所旗下的四位侦探，能力层次和工作风格各有不同。Flash版是事务所的资深侦探，而Flash Lite是经验稍浅的助理侦探。更关键的区别在于给每位侦探分配的"思考时间"，也就是允许他们在笔记本上写多少字的推理过程。Flash-128版本只有105个思考词的平均预算，相当于让侦探在极度紧张的时间压力下速战速决；Flash-Dynamic版本没有限制，可以想多久写多久，平均用了1021个思考词；Lite-512版本给了助理侦探约366个思考词的空间；Lite-1024版本则给了约718个思考词的余地。

四位侦探处理所有场景后，总共产生了超过9.3万份场景级分析结果，为这次研究提供了极其丰富的数据基础。

---

三、拆解笔记本：三把衡量"思维流"质量的尺子

研究团队设计了三个评估指标，像三把不同用途的工具，从不同角度度量思维流的质量。

第一把工具叫"内容丰富度"（Contentfulness），专门测量笔记本里有多少是真正有价值的场景描述，有多少是无意义的自言自语。具体操作方式是：先用一组规则把所有"元评论"句子过滤掉——所谓元评论，就是"我现在要分析这段视频"、"让我一步一步思考"、"我需要考虑JSON格式"这类话，它们描述的是侦探自己的工作流程，而不是案发现场的任何实际信息。过滤完之后，再用自然语言处理工具（NLTK词性标注）统计剩余文字里有多少是真正的名词和动词——也就是"女人"、"木质桌子"、"打字"、"笔记本电脑"、"办公室"这样的实质性内容词汇。最终得出的比值就是内容丰富度分数，越高说明笔记本里的干货越多，废话越少。

举个具体的例子：假如侦探的笔记本里有一句"让我仔细分析这个场景"，以及一句"一位年轻女性坐在木质书桌前，在明亮的办公室里用一台银色笔记本电脑打字"。第一句是废话，直接删掉。第二句里，"女性"、"书桌"、"办公室"、"笔记本电脑"是名词，"坐"、"打字"是动词，这些才是真正有价值的内容词。如果整段笔记共有20个词，其中6个是内容词，内容丰富度就是0.30分。

第二把工具叫"思维-最终输出覆盖度"（Thought-Final Coverage），分为两个子指标，共同衡量笔记本和正式报告之间的吻合程度。

"思维覆盖率"（Thought Coverage）回答的是：侦探在笔记里记录的所有线索，最终有多少进入了正式报告？如果笔记里写了六条线索，报告里只提到了五条，思维覆盖率就是5/6。这个指标低，意味着侦探调查了很多，但很多发现被丢在了笔记本里，没有转化为最终结论。

"输出扎根度"（Output Grounding）回答的是：正式报告里提到的每一条信息，有多少能在笔记本里找到来源？如果报告里写了六条信息，其中五条在笔记里有据可查，第六条完全是凭空出现的，输出扎根度就是5/6。这个指标低，意味着侦探在写报告时"发挥"了——把从未调查过的内容写进了报告，这就是研究团队所定义的"压缩步骤幻觉"（Compression-Step Hallucination）。

这两个指标合并后会计算一个F1综合分数，可以把它理解为笔记本和报告之间的"契合度总分"。整个评分过程由GPT-5担任独立裁判，通过多层次的模糊匹配算法（先精确匹配，再考虑词序不同但词汇相同的情况，最后考虑部分包含关系）来判断笔记中的某条内容是否对应报告中的某条内容。

第三把工具叫"主导实体分析"（Dominant Entity Analysis），追踪每个场景中最突出的主体（是谁）、动作（在做什么）和场景（在哪里）。这个工具专门用来发现一个有趣的现象：当侦探时间不够用时，他是否会用"有人"这个模糊表述来敷衍了事，而不是具体说出"是一位厨师"还是"是一名游戏主播"？

---

四、揭秘调查结果：四位侦探的表现对比

调查结果出来后，最直接的总结是：给侦探足够的思考时间，他就能写出更忠实、更准确的报告；但这种改善存在明显的边际递减效应——时间从极度紧张变为充裕之后，质量飞速提升，但时间从充裕变为更充裕之后，提升幅度就越来越小了。

Flash-128版本（平均仅105个思考词）表现最差，F1综合分数只有0.83。更糟糕的是，它的输出扎根度只有0.767，换句话说，在它最终报告里出现的内容中，大约有四分之一是从未在笔记本中出现过的——它在写报告时"临场发挥"了相当多的内容，这正是"压缩步骤幻觉"最典型的表现。

Flash-Dynamic版本（无限制，平均1021个思考词）表现优秀，F1达到0.957，输出扎根度提升到0.964，说明几乎所有报告内容都能在笔记本中找到来源。

Lite-512版本（平均366个思考词）的表现令人惊喜，F1达到0.942，远超预期，思维覆盖率和输出扎根度分别达到0.940和0.948，已经非常接近高配版本的水准。

Lite-1024版本（平均718个思考词）则摘得综合最优桂冠，F1 0.959，输出扎根度0.966，完美得分率（F1满分场景比例）达到64.3%，低分率（F1低于0.5的场景比例）仅有0.2%。更重要的是，它实现这一切只用了约2918个总token，而Flash-Dynamic需要约3258个，相当于用更少的资源达到了同等甚至更好的效果。

稳定性方面，Flash-128的表现极不稳定，变异系数（衡量稳定性的指标，数值越低越稳定）高达0.282，意味着同样的模型在不同场景下的表现差异很大。相比之下，Lite-1024的变异系数只有0.082，表现极为稳定可预期，是生产环境中最值得信赖的选择。

---

五、质量提升的"边际递减"：多思考未必等比收益

把四种配置按照思考词数从少到多排列，可以看到一条很有意思的曲线。从Flash-128（105词）跳到Lite-512（366词），F1从0.83骤升至0.942，这是一个相当显著的提升，花了约261个额外思考词换来了超过11个百分点的质量改善。

然而，从Lite-512（366词）跳到Lite-1024（718词），几乎翻倍的思考词预算，换来的F1提升仅有约0.017。而Flash-Dynamic（1021词）虽然比Lite-1024多用了约40%的思考词，最终F1反而略低于Lite-1024（0.957对比0.959）。

这个"思考越多，边际收益越低"的现象在实践中有重要启示意义：对于大量视频内容的工业化处理，一味追求最高思考预算并非最优策略，找到质量与成本的最佳平衡点才是关键。研究团队明确指出，超过约700个思考词之后，额外思考带来的收益在他们的数据集上已经相当微薄。

内容丰富度的表现则截然不同，它随着思考词数增加几乎呈线性增长。从Flash-128的0.323一路提升至Flash-Dynamic的0.594。这说明更多的思考时间确实让模型写出了更多实质性的场景描述，但这种"质量提升"并不完全等同于最终输出质量的提升——多写并不总是意味着最终报告更好。

---

六、最出乎意料的发现：两个级别的侦探，写出了几乎一模一样的笔记

研究中最令人意外的发现，或许是Flash和Flash Lite这两个"不同级别"的模型，它们写出的思维流内容惊人地相似。

研究团队设计了一项专门的相似度测试：让GPT-5逐场景对比不同模型的思维流内容，打出0到1的相似度分数。结果显示，Flash Dynamic与Lite 1024之间的思维流相似度为0.887，Flash 128与Lite 1024的相似度也有0.885。而同一个模型的两个不同预算版本之间（比如Lite 1024与Lite 512），相似度也只有0.905，与跨级别对比的差距非常小。

换句话说，资深侦探和助理侦探在各自的笔记本上记录的，几乎是同样的线索。两者"想的东西"高度一致。

不过，这两位侦探的笔记风格有明显差异。Flash（资深侦探）喜欢在笔记里大量写下自己的工作思路，比如"我需要先识别画面中的主要人物，然后分析他们的动作，再判断场景类型……"。而Flash Lite（助理侦探）则更直接，跳过这些工作流程的描述，直接写下场景内容："画面中有一位中年男性，身穿白色厨师服，正在切菜，背景是一间现代化厨房。"

这种风格差异正好解释了为什么在相同的思考词预算下，Lite版本的内容丰富度更高——它把同样的"笔记纸"用来记录了更多实际有用的内容，而不是记录自己的工作流程。这也是为什么Lite版本能以更少的token达到相当甚至更好的输出质量。

研究团队还特别做了一个"重跑测试"：把同一批视频用Flash Dynamic跑两遍，看两次的思维流相似度。结果是0.893，与跨级别对比的相似度（0.887）几乎相差无几。这个发现颇为有趣：不同级别模型之间的差异，甚至不比同一个模型两次运行之间的差异大多少。在两次重跑中保持稳定的内容，主要是品牌名称、Logo、文字识别和物体识别；而容易发生变化的，则是情绪判断和地点描述。

---

七、当笔记太简短：压缩步骤幻觉与主体识别偏差

Flash-128的低输出扎根度揭示了一个值得深入讨论的现象。当模型被强迫在极短的思考空间里完成分析，笔记本里的内容太少，不足以支撑一份完整的结构化报告时，它在"把笔记整理成报告"的压缩步骤中，会凭空填入一些从未在笔记里出现过的内容。

这并不意味着这些内容一定是错误的——也许模型在"笔记本之外"还有某种更深层的认知，只是没有显式地写在思维流里。但从用户和系统设计者的角度来看，这种行为是危险的：思维流作为可追溯的"推理依据"失去了可信度，输出内容中有相当比例无法在推理过程中找到来源，给审核和修正带来很大困难。

随着思考预算的增加，这个问题显著改善。给模型足够的思考空间，让它建立一份详尽的笔记，在最终整理报告时就不需要"填空"了，输出内容和推理过程的对应关系变得清晰而可靠。

另一个与思考预算相关的现象是主体识别的精确度。Flash-128版本在约15%的场景中，把画面中最突出的人物标注为"person"（人）这个极其模糊的标签，而Flash-Dynamic版本这个比例只有约8%。Lite系列也有类似规律：Lite-512约有13%的场景用"person"标注主体，Lite-1024则降至约11%。

这说明当思考空间充裕时，模型更有可能识别出具体的角色身份——它会告诉你画面里的是"游戏主播"、"厨师"、"猫"，而不是敷衍地说"有个人"。在视频内容的实际应用场景中，这种具体性的差异对于搜索、推荐、内容标签等下游任务有直接影响。

---

八、研究的边界与未竟之事

研究团队对自己工作的局限性有着清醒认识。整套评估体系衡量的是思维流与最终输出之间的内部一致性，而非与真实世界的符合程度。换句话说，一个侦探可以写出前后完全一致、逻辑自洽的笔记和报告，但这份报告对案件的描述完全是错误的——高度的内部一致性并不等于高度的准确性。

此外，评分裁判GPT-5本身也可能存在系统性偏差，目前还没有用多个不同的裁判模型进行交叉验证。数据集方面，所有场景都以每秒1帧、最多10帧的方式处理，这对于分析时间跨度较长的连续动作、多场景叙事结构或长篇影视的情节发展来说明显不够。

研究团队列出了不少值得继续探索的方向：引入人工标注的真实标准，把内部一致性与外部准确性分开测量；扩展到OpenAI、Anthropic以及各类开源模型，看看这些规律是否普遍适用；进行更细粒度的预算扫描（从64到2048 token），绘制更精确的质量-成本曲线；加入延迟和实际费用的分析；针对医疗、体育、安防等特定领域进行专项评估；以及更大规模的确定性测试，深入了解哪类信息是模型的"稳定认知"，哪类是容易飘忽的"不确定判断"。

---

说到底，这项研究告诉我们，AI模型的"内心独白"确实有价值，但这个价值是有门槛的——思考太少，报告就会掺入从未思考过的内容；思考足够多，质量就能快速达到不错的水平；但疯狂追加思考预算，收益的增幅会越来越小。对于大规模视频处理这样的实际应用场景，Lite 1024是目前最佳的性价比选择：最低的错误率、最高的完美场景比例、最稳定的表现，同时比顶配版本便宜约10%。

归根结底，Flash和Flash Lite的思维流内容如此相似这一发现，或许是整篇研究中最耐人寻味的一点——模型的"级别"决定的不是它思考什么，而是它如何表达自己的思考过程。这对于AI开发和部署来说是一个很有价值的参考信号。对这一课题有进一步研究兴趣的读者，可通过arXiv编号2604.11177查阅完整论文，代码也已在GitHub的video-db/gemini-reasoning-eval仓库开源。

---

Q&A

Q1：什么是"压缩步骤幻觉"，它在视频理解中会造成什么问题？

A：压缩步骤幻觉是指AI模型在将内部思考过程整理成最终输出报告时，报告里出现了思考过程中从未提到过的内容。Flash-128配置下大约每四条输出信息中就有一条属于这种情况。在视频内容管理场景中，这会导致元数据标签无法溯源，给内容审核和质量控制带来困难，因为用户无法判断这些无法追溯的内容是真实识别到的还是模型自行填充的。

Q2：Gemini Flash和Flash Lite的思维流为什么会如此相似？

A：根据这项研究，两者的思维流内容相似度约为0.88，与同一模型两次运行之间的相似度（0.893）相差无几。研究推测这是因为两个模型层级共享相近的底层推理模式，真正的差别在于表达风格——Flash更倾向于描述自己的推理步骤，Lite更倾向于直接描述场景内容，这也解释了为何Lite在相同token预算下能产出更多有效内容。

Q3：Gemini 2.5视频场景理解中，思考token数量超过多少之后收益就开始明显下降？

A：根据这项研究的数据，大约在700个思考token左右，质量提升开始明显放缓。从105个token（Flash-128）跳到366个token（Lite-512）带来了超过11个百分点的F1提升，但从366个token增加到718个token（Lite-1024）只带来了约1.7个百分点的提升，而从718个继续增加到1021个token（Flash-Dynamic）的F1反而略低于Lite-1024。