Корейский стартап VIDRAFT заявил о пяти рекордах на бенчмарках с моделью Darwin-180B-RSI
Корейский стартап VIDRAFT представил модель Darwin-180B-RSI на 180 млрд параметров с архитектурой MoE и техникой рекурсивного самоулучшения,...
#LLM
Все материалы с тегом «LLM».
Лучшая модель для решений Jev недоступна через API. Вот что запустить вместо неё на одной видеокарте с 8 ГБ
Семь открытых альтернатив модели Jev испытали на одной потребительской видеокарте RTX 4060 с 8 ГБ памяти. Лучший вариант — Kev-4B в 4-битной...
Jev против больших языковых моделей: зачем нужен ИИ, который выбирает, а не рассуждает
Компания TypeSafe AI представила модель Jev, заточенную под быстрые решения — например, какое отделение поддержки обработает вашу заявку....
Как сделать ИИ-помощников быстрее и дешевле: аллокация ресурсов для обслуживания LLM-сервисов
Исследователи предложили математическую модель SARA, которая помогает оптимально распределять вычислительные ресурсы между компонентами...
ИИ, который строит ИИ: как новая система AIBuildAI-2.5 учит машину саму создавать нейросети
Исследователи представили систему AIBuildAI-2.5 — автономного агента, который сам проектирует и обучает модели машинного обучения, используя...
От движка инференса к плоскости управления: как vLLM и llm-d меняют архитектуру обслуживания LLM
Научная работа на arXiv анализирует эволюцию инференса больших языковых моделей от оптимизации внутри отдельного движка к сложной проблеме...
Сколько VRAM реально нужно для запуска LLM на 70 миллиардов параметров?
Запуск большой языковой модели на 70 миллиардов параметров на своем ПК — задача, которая требует не просто мощной видеокарты, а точного понимания,...
Строка в логе, которая взломает ваш AI-анализатор, — и как от этого защититься
Логи — это входные данные, которыми управляет атакующий. Если вставить их в AI-чат, злоумышленник может внедрить свой промпт прямо в отчёт...
Почему Gemma 4b оказалась лучше Mistral 7B для пакетной оценки сообщений на слабом железе
Разработчик столкнулся с задачей пакетной оценки сообщений на видеокарте с 6 ГБ видеопамяти — и выяснил, что размер контекстного окна важнее...
ИИ генерирует проверочные утверждения для чипов — но чуть переписали код, и всё ломается
Исследователи проверили, насколько устойчивы проверочные утверждения, сгенерированные нейросетями, к косметическим изменениям в коде железа....
Бюджет токенов: почему в AI-разработке важна жёсткая экономия
Разработчик систем для медицины делится опытом: токены больших языковых моделей — не бесконечный ресурс, а жёсткое архитектурное ограничение,...
Сколько видеопамяти нужно для запуска языковых моделей локально: полный расклад на 2026 год
Запуск больших языковых моделей на своём железе — вопрос не «можно ли», а «сколько видеопамяти хватит». Разбираем реальные цифры, подводные камни...