Token Dynamics: Towards Efficient and Dynamic Video Token Representation for Video Large Language...

以下是文章的主要内容、创新点总结以及摘要、引言和结论部分的翻译：主要内容总结本文针对视频大语言模型（vLLMs）中令牌序列过长导致的计算效率问题，提出了Token Dynamics框架。该框架通过动态令牌聚类和时空信息解耦，将视频表示分解为：简洁令牌库（Token Base）：通过聚类相似令牌（如物体部件）生成紧凑的视觉特征。令牌动态图（Token Dynamics Map）：记录每个令牌的时空坐标（帧索引、空间位置），保留运动轨迹。此外，提出交叉动态注意力机制（Cross-Dynamics Attention），在不增加令牌长度的情况下将动态信息融入令牌库。实验表明，该方法将令牌数量压缩至原始的0.07%，在NextQA-MC基准上仅损失1.13%准确率，同时在多个视频理解任务中保持竞争力。创新点动态令牌压缩策略：结合自适应聚类（如K-Means）和时空动态图，实现极端令牌压缩（0.07%原始数量）。交叉动态注意力机制：通过多头注意力将动态图信息高效整合到令牌库中，保持紧凑性。极端令牌压缩任务定义：提出固定长度和自适应长度两个子任务，以及分离模块复杂度和LLM复杂度的评估指标。