¿Tiene sentido almacenar cada par KV? Especialmente cuando el modelo en realidad solo consultará una pequeña parte de ellos.

La idea de KVzap es muy sencilla: aprender a determinar qué entradas de caché no serán útiles en consultas posteriores y eliminarlas activamente. El resultado es que se puede comprimir el tamaño de la caché a la mitad o a una cuarta parte, sin apenas afectar el rendimiento.

Este método inteligente y dinámico de poda de caché KV, dependiente de la dependencia, tiene un significado práctico para mejorar la eficiencia de la inferencia del modelo y reducir los costos de almacenamiento. Especialmente en escenarios de despliegue a gran escala, este tipo de optimización todavía tiene un espacio bastante considerable.