#KV-кэш

От движка инференса к плоскости управления: как vLLM и llm-d меняют архитектуру обслуживания LLM

Научная работа на arXiv анализирует эволюцию инференса больших языковых моделей от оптимизации внутри отдельного движка к сложной проблеме...