Разбираю LLM, агентские инструменты и инфру, которую сам запускаю

Локальный инференс LLM начинается не с выбора движка, а с железа, формы нагрузки и модели обслуживания: для большинства это llama.cpp (портативность, GGUF, широчайший охват моделей) или vLLM (когда надо обслуживать пользователей), на Mac - MLX, в датацентре - SGLang/TensorRT-LLM, а ExLlamaV2/V3 остаются нишевым выбором энтузиаста ради скорости на одной потребительской RTX, потому что реальная производительность упирается в пропускную способность памяти, KV-кэш, межсоединения и планировщик, а не в объём VRAM