视频理解瓶颈:时间连续性
https://v.douyin.com/RT03m8XOdN0/
主阅读台
这个阶段主阅读台和显性阅读入口都只保留两份主文件:article.md 和 report.md。
正文整理稿
按视频原讲述顺序整理的正文稿。
article.md《视频理解的核心在于保留时间维度信息,抽帧方案本质上是降级处理》
来源:抖音 [未知]
时长:00:00:00
链接:https://v.douyin.com/RT03m8XOdN0/
说明:以下文字按视频原讲述顺序整理,口语、重复和明显噪声已做轻度收束。
发现:Kimi Code复刻demo的能力远超预期
我绝对没有碰瓷 CodeX 的意思。但是在视频理解这个多模态场景里,你用的 Coding Agent 很可能一直都是残血的。那么,谁不是残血?所有搭配了 Kimi Coder 的多模态模型都不是残血——我说的是所有模型。我知道 Kimi 刚发的 K2.7 很强,但这期内容不是模型测评,请跟我一起把注意力放在 Kimi Code 上。我要分享一个新发现:在多模态领域,它到底是补齐了什么样的能力,以及这个能力可能带来的一个重大商机。内容有点长,但非常容易理解。
最近 Kimi 推出了 Kimi Code 这个工具,可以看作是对原先 Kimi CLI 的一次重构和升级,而且官方在浓墨重彩地强调它的视频理解能力。刚好 Anthropic 的 Fable 5 也出了,Kimi K2.7 这个模型紧跟着发布了。我就想,那不如试试吧,拿它和 Fable 5 比一比,看看谁更厉害。我看到一位推友发了一个用 Higgs Field 里的 Fable 5 做的游戏 demo,就录了个屏,把这个视频直接丢给了 Kimi Code。我的提示词就几个字:读取这个 demo,完整复刻它。结果它居然就做出来了,不能说完全一样,但完全能玩。我不信邪,又找了一个 Fable 5 实现的中国风粒子动画 demo,提示词让它一比一复刻。它不但实现了,甚至把我录屏时不小心录进去的视频播放控件也复刻出来了。后来我还测了很多 demo,全部都被复刻了出来。
可是官方在发布 Kimi Code 的时候,已经在强调视频能力了,但那时 K2.5 都还没发布。难道说这个能力的关键,在于 Kimi Code 这个工具本身?带着这个疑问,我开始分析 Kimi Code 的代码,也看了主流 Coding Agent,想找到它们之间的区别。还真让我猜中了。我调查了所有主流 Agent,发现只有 Kimi Code 这一套链路明确地把视频放进了上下文,放进了 Agent 的循环里。所以在执行任务的过程中,它始终都保有视频的信息。而我们用 Cloud Code 或者 Codex Open Code,它们当下的版本都只支持到图片这一层。一旦这类工具读取视频,都会用抽帧的方式,把它变成多张图来实现理解。在很多时候,这确实也够用,比如复刻一个网页游戏,通过几张图就能理解出整个游戏或者前端界面的交互逻辑。但是我要说,抽帧理解视频其实是残血的——因为 Kimi Code 的代码告诉我,视频它不是多张图。我恍然大悟。
顺着这个发现,如果把原始视频和成品都交给 Kimi Code,让它一次读入两个视频,再对不足之处进行精修,迭代个几轮,我相信结果会越来越好。而且,同时读两个视频这种方式,只有它能支持。这个实验让我有些惊讶,但也在我意料之中。因为脱离了软件开发场景,缺少了帧与帧之间的时间关系,Codex 是很难拿出像样的成果的。我知道 Codex 的上下文是在服务端管理的,所以我们并不清楚它读过的图片是不是始终以原始形态留在上下文里,比如 Base64 编码就是一种原始形态。但我十分确定的是,视频类的内容肯定没有。所以,Codex 未来会不会在这个能力上对齐 Kimi Code?这就是我标题里提出的问题。我希望它会。我是花了200美金订阅的,我特别希望它也能理解视频。
在那次测试之后,我又拿了一些 AE 动画来做验证,结果和之前一样。它不但完整复刻了动画的视觉效果,连动画的节奏、转场的时机都复刻出来了。注意,这不是普通的低频率抽帧方案能稳定做到的,只有 Kimi Code 这条链路,才能把时间这个维度的信息保留得更多。
说到这里,你可能奇怪,我说的商机到底是什么?咱们假设,在符合道德和版权约束的前提下,我们把一批经过授权或者开源的视频作品,通过视频理解的方式蒸馏成一个剪辑和叙事经验的知识库。当你接到一个剪辑任务时,先用 Agent 在这个知识库里检索类似的案例经验,再结合脚本进行核查,提取出叙事动画的方案,最后通过 Hyperframe 这样的框架来快速实现动画。那么,以后的博主是不是只需要构思内容本身就够了?所有的表达,全部都可以交给 Agent。你们说,这个库如果能做成,会不会成为一个商机呢?反正我现在已经把 Kimi Code 集成到了我的牛马 Agent 体系里,开始用这种能力去做可行性的验证了。
原理分析与商机展望:视频时间维度是关键,蒸馏知识库可行
商机先聊到这里,咱们回到现实。我对 Kimi Code 的代码库又做了进一步的研究,发现其实还有很多值得说的。比如,它支持其他模型的接入,甚至你稍微对代码做一些修改,本地部署的千问3.6 27B 也能实现视频常驻上下文的这种玩法。也就是说,本地多模态模型现在也可以满血了。我还发现,它连音频类型都预留了接口。顺着它的思路,我稍微对代码做了点小改动,就实现了用本地的模型分析带音轨的视频。另外还有一点,原本只能在网页版才能用的 Agent Swarm,现在 Kimi Code 里就直接支持了。就拿我们刚才这个场景举例,我给 Kimi Code 两个视频让它分析,这时候可能就用掉了40%的上下文,但接下来的任务,我就可以直接启动 Agent Swarm。
本文由 AI 基于转写整理,仅供复查参考。
结构化报告
更适合扫结构、看判断和证据边界。
report.md《视频理解瓶颈:时间连续性》
核心观点
1. 视频理解的真正能力瓶颈不在于多张图片,而在于时间维度的连续保留。
2. Kimi Code通过技术设计填补了这一空白,从而拉开与其他coding agent的差距。
3. 授权视频的知识蒸馏可重构内容生产流程,让创作者仅提供创意,Agent负责表达。
4. 当前多数agent对视频的支持是表象(抽帧),实质是不完整的降级方案。
方法与框架
- 通过保留时间维度信息,Kimi Code不仅能复刻视觉效果,还能精确还原动画节奏和转场时机。
- Kimi Code内置了对音频类型的接口,并且支持Agent Swarm多任务并行。
- 存在商业机会:建立授权视频库的知识蒸馏系统,实现叙事动画从创意到产出的全自动化。
- 用户可通过修改Kimi Code的代码接入其他模型(如本地千问3.6 27B)实现同样的视频常驻上下文的满血能力。
关键原则与洞察
1. 对多模态Agent开发者:视频时间维度的保留是下一代coding agent的关键差异化能力。
2. 对内容创作者:未来可能仅需构思内容,所有视觉表达可全权委托给Agent,显著降低制作门槛。
3. 对AI公司:需要重新审视对视频的预处理策略,抽帧可能不再是合适的技术路线。
4. 对工具链(如Hyperframe):知识蒸馏+Agent检索可能形成新型工作流,相关创业存在机会。
工具与资源
- Kimi Code:月之暗面推出的编程助手工具,可视为kimi cli的升级版,突出视频理解和长时间上下文能力。
- Hyperframe:文中提及的一个用于快速实现动画的框架,具体未详述。
- 千问3.6 27B:阿里巴巴开源的大语言模型Qwen 3.6的27B参数版本,可本地部署。
可行动项
1. 如果你是开发者,可以下载Kimi Code代码研究其视频上下文管理机制,并尝试接入其他模型。
2. 如果你是博主或up主,收集自己授权过的视频素材,尝试用Kimi Code + 蒸馏方案做自动化剪辑实验。
3. 如果你在使用Claude Code等工具,留意其未来是否增加持续视频帧的支持,并考虑暂时用Kimi Code补齐短板。
4. 探索将开源视频数据集结构化整理为“剪辑经验库”,并配套Agent检索接口,作为个人或商业工具。
分析引擎: deepseek 模型: deepseek-v4-flash 原文长度: 2163 字 生成时间: 2026-07-05 20:14
这篇后面怎么留?
第一版先只接快速路径,不打断阅读,也不改正文稿。
可见结果先只保留:不留 / 参考 / 方法 / 功能候选 / inbox。
复查动作
当前 run 输入齐全,可直接复查或原地重渲。