Library Home
总库首页
Reading Desk

视频理解瓶颈:时间连续性

https://v.douyin.com/RT03m8XOdN0/

可重渲有对比
success
Reading Desk

主阅读台

这个阶段主阅读台和显性阅读入口都只保留两份主文件:article.md 和 report.md。

阅读文件
Reading Flow

正文整理稿

按视频原讲述顺序整理的正文稿。

当前阅读文件:article.md

《视频理解的核心在于保留时间维度信息,抽帧方案本质上是降级处理》

来源:抖音 [未知]
时长:00:00:00
链接:https://v.douyin.com/RT03m8XOdN0/
说明:以下文字按视频原讲述顺序整理,口语、重复和明显噪声已做轻度收束。

发现:Kimi Code复刻demo的能力远超预期

我绝对没有碰瓷 CodeX 的意思。但是在视频理解这个多模态场景里,你用的 Coding Agent 很可能一直都是残血的。那么,谁不是残血?所有搭配了 Kimi Coder 的多模态模型都不是残血——我说的是所有模型。我知道 Kimi 刚发的 K2.7 很强,但这期内容不是模型测评,请跟我一起把注意力放在 Kimi Code 上。我要分享一个新发现:在多模态领域,它到底是补齐了什么样的能力,以及这个能力可能带来的一个重大商机。内容有点长,但非常容易理解。

最近 Kimi 推出了 Kimi Code 这个工具,可以看作是对原先 Kimi CLI 的一次重构和升级,而且官方在浓墨重彩地强调它的视频理解能力。刚好 Anthropic 的 Fable 5 也出了,Kimi K2.7 这个模型紧跟着发布了。我就想,那不如试试吧,拿它和 Fable 5 比一比,看看谁更厉害。我看到一位推友发了一个用 Higgs Field 里的 Fable 5 做的游戏 demo,就录了个屏,把这个视频直接丢给了 Kimi Code。我的提示词就几个字:读取这个 demo,完整复刻它。结果它居然就做出来了,不能说完全一样,但完全能玩。我不信邪,又找了一个 Fable 5 实现的中国风粒子动画 demo,提示词让它一比一复刻。它不但实现了,甚至把我录屏时不小心录进去的视频播放控件也复刻出来了。后来我还测了很多 demo,全部都被复刻了出来。

可是官方在发布 Kimi Code 的时候,已经在强调视频能力了,但那时 K2.5 都还没发布。难道说这个能力的关键,在于 Kimi Code 这个工具本身?带着这个疑问,我开始分析 Kimi Code 的代码,也看了主流 Coding Agent,想找到它们之间的区别。还真让我猜中了。我调查了所有主流 Agent,发现只有 Kimi Code 这一套链路明确地把视频放进了上下文,放进了 Agent 的循环里。所以在执行任务的过程中,它始终都保有视频的信息。而我们用 Cloud Code 或者 Codex Open Code,它们当下的版本都只支持到图片这一层。一旦这类工具读取视频,都会用抽帧的方式,把它变成多张图来实现理解。在很多时候,这确实也够用,比如复刻一个网页游戏,通过几张图就能理解出整个游戏或者前端界面的交互逻辑。但是我要说,抽帧理解视频其实是残血的——因为 Kimi Code 的代码告诉我,视频它不是多张图。我恍然大悟。

顺着这个发现,如果把原始视频和成品都交给 Kimi Code,让它一次读入两个视频,再对不足之处进行精修,迭代个几轮,我相信结果会越来越好。而且,同时读两个视频这种方式,只有它能支持。这个实验让我有些惊讶,但也在我意料之中。因为脱离了软件开发场景,缺少了帧与帧之间的时间关系,Codex 是很难拿出像样的成果的。我知道 Codex 的上下文是在服务端管理的,所以我们并不清楚它读过的图片是不是始终以原始形态留在上下文里,比如 Base64 编码就是一种原始形态。但我十分确定的是,视频类的内容肯定没有。所以,Codex 未来会不会在这个能力上对齐 Kimi Code?这就是我标题里提出的问题。我希望它会。我是花了200美金订阅的,我特别希望它也能理解视频。

在那次测试之后,我又拿了一些 AE 动画来做验证,结果和之前一样。它不但完整复刻了动画的视觉效果,连动画的节奏、转场的时机都复刻出来了。注意,这不是普通的低频率抽帧方案能稳定做到的,只有 Kimi Code 这条链路,才能把时间这个维度的信息保留得更多。

说到这里,你可能奇怪,我说的商机到底是什么?咱们假设,在符合道德和版权约束的前提下,我们把一批经过授权或者开源的视频作品,通过视频理解的方式蒸馏成一个剪辑和叙事经验的知识库。当你接到一个剪辑任务时,先用 Agent 在这个知识库里检索类似的案例经验,再结合脚本进行核查,提取出叙事动画的方案,最后通过 Hyperframe 这样的框架来快速实现动画。那么,以后的博主是不是只需要构思内容本身就够了?所有的表达,全部都可以交给 Agent。你们说,这个库如果能做成,会不会成为一个商机呢?反正我现在已经把 Kimi Code 集成到了我的牛马 Agent 体系里,开始用这种能力去做可行性的验证了。

原理分析与商机展望:视频时间维度是关键,蒸馏知识库可行

商机先聊到这里,咱们回到现实。我对 Kimi Code 的代码库又做了进一步的研究,发现其实还有很多值得说的。比如,它支持其他模型的接入,甚至你稍微对代码做一些修改,本地部署的千问3.6 27B 也能实现视频常驻上下文的这种玩法。也就是说,本地多模态模型现在也可以满血了。我还发现,它连音频类型都预留了接口。顺着它的思路,我稍微对代码做了点小改动,就实现了用本地的模型分析带音轨的视频。另外还有一点,原本只能在网页版才能用的 Agent Swarm,现在 Kimi Code 里就直接支持了。就拿我们刚才这个场景举例,我给 Kimi Code 两个视频让它分析,这时候可能就用掉了40%的上下文,但接下来的任务,我就可以直接启动 Agent Swarm。


本文由 AI 基于转写整理,仅供复查参考。

Post Process

这篇后面怎么留?

第一版先只接快速路径,不打断阅读,也不改正文稿。

可见结果先只保留:不留 / 参考 / 方法 / 功能候选 / inbox。

当前去向:reference
状态:inbox

复查动作

当前 run 输入齐全,可直接复查或原地重渲。

快速打开
Run Context
运行信息、阶段状态、当前主稿
按需展开
平台
抖音
创作者
未知
当前阶段
已完成 / 无
最后更新
2026-07-05 18:07:31
最近查看
2026-07-14 12:16:09
Stages
download
success
视频下载完成
2026-07-03 12:23:52 → 2026-07-03 12:24:02
transcribe
success
转录完成(2163 字符)
2026-07-03 12:24:02 → 2026-07-03 12:24:24
analyze
success
结构化分析完成(deepseek)
2026-07-03 12:24:24 → 2026-07-03 12:25:29
correct
success
文章化完成(2155 字符)
2026-07-03 12:25:29 → 2026-07-03 12:28:31
render
success
article / report / learning-brief / obsidian 已生成
2026-07-03 12:28:31 → 2026-07-03 12:29:07
Visible Artifacts