LLM в кармане: запускаю локальные модели на Samsung S24 Ultra через PocketPal — бенчмарки, настройки и туториал
Последние материалы мы посвятили графическим пайплайнам: как собирать сцены и стили в WebUI Forge, где помогает Flux, и как добиваться управляемости через ControlNet. Логичный следующий шаг - добавить текстовый слой, который формирует смысл: брифы, описания, сценарии, заголовки и итоговые тексты под публикацию. Именно его мы переносим в карман - в формате локальной LLM на смартфоне. В этой статье мы разберём PocketPal на Samsung S24 Ultr a: как поставить модели в GGUF, какие кванты выбирать под 12 ГБ RAM , как оценить требуемую память (модель + KV-кэш), какие скорости генерации ждать и как настроить параметры, чтобы телефон оставался шустрее и не «уходил в троттлинг». Почему смартфон? Две причины: приватность (данные не покидают устройство), офлайн-режим (работает в дороге и на выезде) . Для креативных задач это означает: черновики текстов, сводки брифов, подписи к визуалу и техзадания для графического пайплайна - там, где нет Wi-Fi и интернета.
https://habr.com/ru/articles/936504/
#машинное_обучение #llm #nlp #ai #нейросети #мобильная_разработка #android #инструменты_разработчика #обзор #разработка_вебприложений

LLM в кармане: запускаю локальные модели на Samsung S24 Ultra через PocketPal — бенчмарки, настройки и туториал
Обложка: LLM в кармане: запускаю локальные модели на Samsung S24 Ultra через PocketPal Последние материалы мы посвятили графическим пайплайнам: как собирать сцены и стили в WebUI Forge, где помогает...