Полный архив
Все разборы
23 материалов · отсортировано по дате ↓
Рубрика:
2026
15 материалов
13.07Гайд хейтера по кризису памятиПочему дефицит HBM и гонка за AI-серверами делают память и электронику дороже. Разбор рынка DRAM, олигополии производителей и рисков AI-пузыря.HBM · 68 мин10.07Как профилировать llama.cpp: три инструмента, которые находят реальный боттлнекКак профилировать llama.cpp на GPU: GGML_SCHED_DEBUG, nsys и отладка CUDA graphs. Три инструмента, три реальных боттлнека и порядок, в котором их искать.llama.cpp · 9 мин21.06Движки инференса LLM и локальное AI-железо (2026)Локальный инференс LLM начинается не с выбора движка, а с железа, формы нагрузки и модели обслуживания: для большинства это llama.cpp (портативность, GGUF, широчайший охват моделей) или vLLM (когда надо обслуживать пользователей), на Mac - MLX, в датацентре - SGLang/TensorRT-LLM, а ExLlamaV2/V3 остаются нишевым выбором энтузиаста ради скорости на одной потребительской RTX, потому что реальная производительность упирается в пропускную способность памяти, KV-кэш, межсоединения и планировщик, а не в объём VRAMengines · 15 мин08.06Tensor parallel vs pipeline parallel vs data parallel: как LLM делится между несколькими GPUTensor parallel vs pipeline parallel vs data parallel: чем отличаются виды параллелизма при инференсе LLM на нескольких GPU и как выбрать TP, PP или DP под своё железо.LLM · 10 мин29.05Сколько VRAM нужно для LLM: как посчитать веса, KV cache и overheadСколько VRAM нужно для LLM? Считаем по формуле: память под веса, KV cache и overhead, как влияют квантизация, длина контекста и batch size — и что делать, если модель не влезает в видеокарту.LLM · 11 мин14.05Квантизация LLM в 2026: FP16, FP8, INT8, INT4, AWQ, GPTQ и GGUF — что выбрать под своё железоКвантизация LLM в 2026: чем отличаются FP16, FP8, INT8, INT4, AWQ, GPTQ и GGUF, сколько VRAM нужно и что выбрать для RTX 3090/4090, H100/B200 и CPU.LLM · 22 мин05.05Спекулятивное декодирование в vLLM и SGLang: MTP, EAGLE-3 и n-gram в 2026Разбираем speculative decoding в vLLM и SGLang: native MTP, Gemma 4 assistant-драфтеры, EAGLE-3, n-gram и DFLASH — где ускоряет, где ломается и как выбирать метод.LLM · 18 мин30.04Как бенчмаркать локальную LLM в 2026: TTFT, TPOT, KV cache, context length и VRAMLLM · 14 мин25.04vLLM vs SGLang: radix tree против block-level prefix cachingСравниваем подходы к prefix caching в vLLM и SGLang: hash-based блоки vs radix tree, бенчмарки на H100, когда какой движок выбрать для serving.vLLM · 9 мин19.02Оценка степени автономности ИИ-агентов на практикеИсследование реального использования ИИ‑агентов: как растёт автономность Claude Code, где люди доверяют больше, а где нужен строгий контроль — особенно в сферах с повышенным риском.AI · 25 мин08.02В моём мире правит искусственный интеллект (а в вашем, скорее всего, нет)Статья исследует глубокий технологический разрыв между энтузиастами, использующими автономных ИИ-агентов, и большинством людей, включая профессиональных программистов, которые применяют нейросети лишь для базовых задач. Автор анализирует статистику и личный опыт, приходя к выводу, что мир разделился на изолированные информационные «пузыри» с принципиально разным уровнем понимания и использования возможностей искусственного интеллекта.AI · 10 мин26.01Юность технологийДарио Амодей (CEO Anthropic) в своем новом эссе рассуждает про AI, мир в новой реальности и безопасность.Anthropic · 112 мин23.01Масштабирование PostgreSQL для обслуживания 800 миллионов пользователей ChatGPTСтатья описывает технические стратегии и методы оптимизации, которые позволили OpenAI масштабировать PostgreSQL до миллионов запросов в секунду для обслуживания 800 миллионов пользователей ChatGPT, используя архитектуру с одним основным сервером и сетью из 50 глобальных реплик.
OpenAI · 13 мин23.01Куча лжи: отладка утечки памяти в vLLMИнженеры Mistral AI подробно описывают процесс поиска «невидимой» утечки памяти в vLLM, в ходе которого им пришлось пройти путь от стандартных инструментов профилирования Python до низкоуровневой отладки зависимостей на уровне ядра.mistral · 22 мин04.01OpenCode — мощная Open Source альтернатива Claude CodeОбзор OpenCode — терминальной утилиты для AI-ассистированной разработки с поддержкой десятков провайдеров, плагинов и уникальных возможностей.AI · 2 мин
2025
5 материалов
06.04Distributed Data Parallel Training в обучении LLMОбзор стратегий распределенного обучения, включая алгоритмы Ring All-Reduce и Tree All-Reduce для эффективной синхронизации градиентов между GPU.Distributed Training · 9 мин27.01KV-cache в моделях transformersПодробное объяснение механизма KV-кэширования в архитектуре Transformer, его влияния на скорость инференса и связанных с ним компромиссов по памяти.Transformers · 17 мин14.01Ray Compiled Graphs для оптимизированных AI нагрузокВведение в Ray Compiled Graphs — новую функцию для оптимизации GPU-коммуникаций и снижения накладных расходов в распределенных AI приложениях.Ray · 10 мин03.01Распределенный запуск LLM на нескольких GPU с помощью Ray и vLLMПрактический опыт настройки распределенного инференса LLM на нескольких серверах с использованием Ray и vLLM, включая решение проблем с разным объемом видеопамяти.Ray · 6 мин03.01Принципы MLOpsОбзор ключевых концепций MLOps, включая автоматизацию пайплайнов, версионирование, тестирование и мониторинг ML-систем для обеспечения их надежности в продакшене.MLOps · 21 мин
2024
3 материалов
18.12Сборка последней версии vLLM из исходников под CUDA 11.8 и Torch 2.5.1Инструкция по сборке vLLM и vllm-flash-attention из исходников для обеспечения совместимости с CUDA 11.8 и PyTorch 2.5.1.vLLM · 5 мин14.11Развертывание LLM с помощью TorchServe + vLLM | PyTorchРуководство по интеграции движка vLLM в TorchServe для создания высокопроизводительного производственного решения по обслуживанию больших языковых моделей.TorchServe · 11 мин13.11Проектирование кластеров Kubernetes — выбор размера рабочих узловАнализ преимуществ и недостатков использования крупных или мелких узлов в кластере Kubernetes, включая вопросы эффективности ресурсов, отказоустойчивости и масштабирования.Kubernetes · 21 мин