Почему Gemma 4b оказалась лучше Mistral 7B для пакетной оценки сообщений на слабом железе
Разработчик столкнулся с задачей пакетной оценки сообщений на видеокарте с 6 ГБ видеопамяти — и выяснил, что размер контекстного окна важнее...
#локальные модели
Все материалы с тегом «локальные модели».
Как защитить цепочку поставок ИИ-агентов: локальные LLM и песочницы для оценки рассуждений
Традиционные инструменты проверки зависимостей не справляются с новой угрозой — хаотичной цепочкой поставок ИИ-агентов. Разбираемся, почему...
С Ollama на vLLM: когда пора переходить от локальной игрушки к серьёзному инференс-серверу
Ollama — отличная точка входа для запуска языковых моделей на своём железе, но при росте нагрузки её простота превращается в ограничение....
ИИ становится водопроводной водой: зачем платить за то, что везде бесплатно
Анализ того, как массовое распространение открытых ИИ-моделей обесценивает облачные токены и сдвигает деньги туда, где локальное оборудование уже...
VS Code получил локальное голосовое управление: быстрое, точное и полностью офлайн
В последнем обновлении VS Code появилась локальная модель Nemotron для голосового управления ИИ-агентом. Энтузиаст на её основе создал инструмент...