《视频理解的核心在于保留时间维度信息，抽帧方案本质上是降级处理》

来源：抖音 [未知]
时长：00:00:00
链接：https://v.douyin.com/RT03m8XOdN0/
说明：以下文字按视频原讲述顺序整理，口语、重复和明显噪声已做轻度收束。

Kimi Code的视频理解为何与众不同

朋友们，我得先说清楚——我真没有碰瓷 Codex 的意思。但在视频理解这个多模态场景里，你用的 Coding Agent 很可能一直都是残血版。那谁不是残血？所有搭配了 Kimi Coder 的多模态模型，都不是残血。我说的是所有模型。

我知道，Kimi 刚发布的 K2.7 很强，但今天这期我不想做模型测评，我想请你跟我一起，把注意力全部放到 Kimi Code 上。我想分享一个刚发现的点：在多模态这个领域，它补齐的到底是什么能力，以及这背后可能藏着的一个重大商机。内容会有点长，但很好理解。

事情是这样的。最近 Kimi 推出了 Kimi Code 这个工具，你可以把它理解成对原先 Kimi CLI 的一次重构和升级。官方在发布时，花了很大的笔墨去强调它的视频理解能力。正好这段时间 Anthropic 的 Fable 5 也出了，紧跟着 Kimi K2.7 这个模型也发布了。我就想着，那不如拿它跟 Fable 5 比一比，看看谁更厉害。

我先是看到一位推友用 Higgs Field 里的 Fable 5 做了一个游戏的 Demo，就顺手录了个屏，把视频丢给了 Kimi Code。提示词就几个字：“读取这个 Demo，完整复刻它。”结果它居然真的做出来了。不能说跟原版一模一样，但完全能玩。我不信邪，又找了一个 Fable 5 实现的中国风粒子动画 Demo，这回提示词是让它一比一复刻。它不仅实现了，甚至把我录屏时不注意录进去的视频播放控件也一并复刻了出来。后来我又测了很多 Demo，全都能复刻。

这就让我有点好奇了。官方在发布 Kimi Code 的时候就已经在强调视频能力了，可那时候 K2.7 还没发布啊。那这个能力的关键，会不会在于 Kimi Code 这个工具本身？带着这个疑问，我开始去比对 Kimi Code 的代码和市面上主流的 Coding Agent，想看看它们到底有什么区别。

嘿，还真让我猜中了。我调查了目前所有主流 Agent，发现只有 Kimi Code 的这一套链路，明确地把视频放进了上下文，放进了 Agent 的执行循环里。也就是说，它在执行任务的整个过程中，始终都有视频的信息在参与。而我们现在用 Cloud Code，或者 Codex、Open Code，它们当下的版本都只支持到图片这一层。一旦这类工具要读取视频，它们用的办法就是抽帧，把视频拆成多张图来理解。多数时候，这个确实也够用了。比如说你要复刻一个网页游戏，通过几张关键帧的截图，就能推测出整个游戏或者前端界面的交互逻辑。

但我要说的是，抽帧去理解视频，其实是残血的。因为 Kimi Code 的代码告诉我一件事：视频不是多张图。那一刻我真是恍然大悟。

当然，如果只是把原始视频和成品都交给 Kimi Code，让它同时读入两个视频，然后对不足的地方进行精修，再迭代个几轮，我觉得结果一定会越来越好。而且，同时读两个视频这种操作，目前也只有它能支持。这个实验让我有些惊讶，但也算是在意料之中。因为一旦脱离软件开发这个场景，少了帧与帧之间的时间关系，Codex 是很难拿出同样水准的成果的。我知道 Codex 的上下文是在服务端管理的，所以我们并不清楚它读过的图片是不是始终以原始形态留在上下文里——比如说 Base64 编码，就是一种原始形态。但我十分确定，视频类的内容肯定是没有的。

那么问题就来了，Codex 未来会不会在这个能力上去对齐 Kimi Code？这就是我标题里想问的。我希望它会。我是个付 200 美元月费的订阅用户，我特别希望它也能理解视频。

除了游戏 Demo，做完这个测试之后，我又拿了一些 AE 动画来跑。结果和之前一样，它不但完整复刻了动画的视觉效果，连动画的节奏、转场的时机都一并复刻出来了。注意，这不是普通的低频率抽帧方案能稳定做到的。只有当时间这个维度的信息被更多保留下来，才能做到这一点——而 Kimi Code 这套链路，刚好做到了。

好，那接下来我想说说，那个商机到底是什么。

咱们来做一个假设：在符合道德和版权约束的前提下，我们把一批经过授权或者开源的视频作品，通过视频理解的方式，蒸馏成一个关于剪辑和叙事经验的知识库。当你接到一个剪辑任务时，你可以先用 Agent 在这个知识库里检索类似的案例经验，再结合脚本去核查，提取出一套叙事动画的方案，最后通过 Hyperframe 这样的框架来快速实现动画。你想想看，到那个时候，博主是不是只需要构思内容本身，而所有的表达，都可以全部交给 Agent？我觉得，这个库如果真的能做成，它本身就是一个很有想象空间的商机。反正我现在已经把 Kimi Code 集成到了我自己的牛马 Agent 体系里，开始用这种能力去做可行性的验证了。

商机先说到这儿，咱们再回到现实。我对 Kimi Code 的代码库又做了进一步的研究，发现里面还有很多值得说的东西。

商机发掘与技术扩展

比如说，它支持接入其他模型。你甚至稍微对代码做一些修改，本地部署的千问 3.6 27B 也能实现视频常驻上下文这种玩法。这样一来，本地多模态模型现在也可以满血了。我还发现，它甚至连音频类型都预留了接口。顺着它的思路，我只对代码做了一点点小改动，就实现了能用本地模型分析带音轨的视频。另外还有一个点，原本只在网页版才能用的 Agent Swarm，现在在 Kimi Code 里就直接支持了。就拿刚才那个场景举例，我喂给 Kimi Code 两个视频让它分析，这时候可能已经用掉了 40% 的上下文。但接下来要执行的任务，我就可以启动 Agent Swarm。

本文由 AI 基于转写整理，仅供复查参考。