Локальный «дистиллятор» Jevstiller: ускоряем ИИ-модель Jev, обучая её на вашем устройстве
Новый open-source инструмент Jevstiller позволяет создать локальную, облегчённую версию модели ИИ Jev, обучаясь на ваших запросах. Это должно...
#оптимизация
Все материалы с тегом «оптимизация».
Как сделать ИИ-помощников быстрее и дешевле: аллокация ресурсов для обслуживания LLM-сервисов
Исследователи предложили математическую модель SARA, которая помогает оптимально распределять вычислительные ресурсы между компонентами...
ИИ-модели можно ускорить вдвое — просто глянув на их веса
Новый метод Magnitude Profile Pruning позволяет удалять лишние «головы внимания» из трансформер-моделей без калибровки и обучения — достаточно...
От движка инференса к плоскости управления: как vLLM и llm-d меняют архитектуру обслуживания LLM
Научная работа на arXiv анализирует эволюцию инференса больших языковых моделей от оптимизации внутри отдельного движка к сложной проблеме...
Бюджет токенов: почему в AI-разработке важна жёсткая экономия
Разработчик систем для медицины делится опытом: токены больших языковых моделей — не бесконечный ресурс, а жёсткое архитектурное ограничение,...
Новый проект Waste позволяет запускать гигантские AI-модели даже на слабых компьютерах
GitHub-проект Waste обходит проблему нехватки оперативной памяти при работе с моделями на триллионы параметров — веса подгружаются «на лету» с...
Быстрый сайт в офисе ≠ быстрый сайт у реального пользователя: почему Lighthouse-оценка обманывает
Студия из Пакистана объясняет, почему высокий балл в Lighthouse — не гарантия быстрой работы сайта для реальных пользователей на слабом...