spéculatif

EN BREF Les LLMs progressent rapidement, mais la vitesse d’inférence reste un défi. Le décodage spéculatif réduit les temps d’inférence en permettant le calcul parallèle de plusieurs tokens. Inspirez-vous de l’exécution spéculative pour accroître la concurrence et optimiser les calculs. L’approche a montré des améliorations de 2x–3x dans des tâches telles que la traduction et…