VIDRAFT побеждает в соревновании по скорости инференса Gemma-4: 510 TPS на одном GPU
Компания VIDRAFT заняла первое место в конкурсе "The First Gemma Challenge", показав 510.58 токенов в секунду на модели Gemma-4 с одним GPU NVIDIA...
#LLM
Все материалы с тегом «LLM».
Как защитить цепочку поставок ИИ-агентов: локальные LLM и песочницы для оценки рассуждений
Традиционные инструменты проверки зависимостей не справляются с новой угрозой — хаотичной цепочкой поставок ИИ-агентов. Разбираемся, почему...
Бухгалтерия для ИИ-агента: как отследить дорогие сессии до того, как они станут нормой
ИИ-агенты для написания кода могут выглядеть продуктивными, но незаметно превращать каждый pull request в загадочный счёт. Решение — не дашборд с...
С Ollama на vLLM: когда пора переходить от локальной игрушки к серьёзному инференс-серверу
Ollama — отличная точка входа для запуска языковых моделей на своём железе, но при росте нагрузки её простота превращается в ограничение....
RAG без GPU, облака и Docker: пять ошибок, каждая из которых стоила недели
Инженер из Коста-Рики собрал RAG-пайплайн целиком на CPU и локальном железе — и выяснил, что все популярные туториалы молчат о пяти критических...
История чата вашего ИИ-агента — это пользовательский ввод. И это проблема безопасности
Серьёзная уязвимость найдена во множестве продакшн-чат-ассистентов: злоумышленник может подменить историю диалога через DevTools браузера,...
Три способа приручить ИИ: промпт-инжиниринг, RAG и файн-тюнинг — в чём разница и что выбрать
Объясняем тремя простыми словами три главных подхода к адаптации нейросетей под бизнес-задачи — и помогаем выбрать, какой из них реально нужен.
Разработчик создал ИИ-генератор имён — потому что называть вещи сложнее, чем кажется
Один из разработчиков опубликовал на dev.to описание своего проекта — сервиса AIAIWWW, который использует большие языковые модели для генерации...
У компаний с ИИ нет монополии — и это их главная головная боль
Когда на рынке сразу несколько игроков продают по сути один и тот же продукт, ни один из них не может назначить цену, которая покроет миллиардные...
Бенчмарк памяти AI, который все цитируют, запрещает говорить «я не знаю»
Разработчик Джулио де Росси обнаружил, что популярный бенчмарк LOCOMO для оценки памяти AI-агентов систематически исключает тесты на отказ от...
Как нейросети учатся кликать мышкой: инженерные вызовы зрения для ИИ-агентов
Современные ИИ-агенты должны не только «думать», но и «видеть» экран. В статье разбираем сложнейшую инженерную задачу — как превратить понимание...
Как защитить ИИ-агента от взлома, утечки секретов и бесконечных циклов: третья часть гайда
Заключительная часть серии про безопасность ИИ-агентов: как закрыть все лазейки — от SSRF и промпт-инъекций до неконтролируемого расхода токенов и...