2026-01-14 23:22:00

Stocker chaque paire KV est-il significatif ? Surtout lorsque le modèle ne consulte en réalité qu'une très petite partie d'entre elles.

L'idée de KVzap est très simple — apprendre à déterminer quels éléments du cache ne seront pas utilisés lors des requêtes suivantes, puis les supprimer activement. Le résultat est une compression de la taille du cache à 1/2 ou 1/4 de l'original, tout en ayant presque aucun impact sur la performance.

Cette méthode de pruning de cache KV intelligente et dynamique, basée sur des dépendances, a une réelle importance pour améliorer l'efficacité de l'inférence du modèle et réduire les coûts de stockage. Surtout dans des scénarios de déploiement à grande échelle, cet espace d'optimisation reste assez considérable.

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

15 J'aime

Récompense
15
7
Reposter
Partager

Commentaire

0/400

BearMarketSurvivor

· 01-17 21:02

Les paires KV avec stockage redondant, c'est comme des approvisionnements accumulés sur le champ de bataille mais inutilisables — ça prend de la place et ça freine. L'opération KVzap qui compresse à 1/4, c'est comme si quelqu'un avait enfin pris le temps de faire ses comptes sérieusement.

Voir l'originalRépondre0

OnchainFortuneTeller

· 01-17 20:23

Haha, ce n'est pas ça, la suppression et la conservation du cache KV, enfin quelqu'un a compris cette affaire.

Voir l'originalRépondre0

LightningClicker

· 01-16 00:38

Maman, enfin quelqu'un s'occupe de cette affaire, je pensais que c'était une perte de temps, c'est vraiment du gaspillage de stocker autant de données inutiles

Voir l'originalRépondre0

DogeBachelor

· 01-14 23:49

Ce n'est pas autre chose qu'une blague, les stratégies de cache KV précédentes étaient vraiment une perte... compresser à 1/4 tout en pouvant fonctionner, c'est pas mal.

Voir l'originalRépondre0

AlphaWhisperer

· 01-14 23:46

Haha, ce vieux problème de gaspillage d'espace de stockage qui a enfin été bien résolu, la démarche KVzap est vraiment rafraîchissante

Voir l'originalRépondre0

bridgeOops

· 01-14 23:43

C'est ça, une approche pragmatique de l'optimisation, pas une optimisation pour l'optimisation. Un taux de compression de 1/2 à 1/4, et les coûts sont directement réduits.

Voir l'originalRépondre0