这张图不是它不是单纯证明 context window 有多长而是证明在这个 context window 内模型是否还能检索到被放置在不同位置的信息。Tokens 256K, Depth 50%, Score 0.9意思是在 256K token 的上下文中把 needle 放在中间位置模型大约 90% 情况下能答对。它不是说某一层 attention 对这个位置的注意力权重是 0.9。 科研用图收藏使用
这张图不是它不是单纯证明 context window 有多长而是证明在这个 context window 内模型是否还能检索到被放置在不同位置的信息。Tokens 256K, Depth 50%, Score 0.9意思是在 256K token 的上下文中把 needle 放在中间位置模型大约 90% 情况下能答对。它不是说某一层 attention 对这个位置的注意力权重是 0.9。