Малые модели переезжают на устройствоГде локальная модель выигрывает у облака, а где проигрывает

Модели на 1-4 млрд параметров уже работают в смартфонах и ноутбуках без интернета. Редакция разбирает, какие задачи им по силам и когда облако по-прежнему надёжнее.

Технологии ИИОбновлено 12.11.20268 мин чтения
Малые модели переезжают на устройство
▲ коротко: Малые модели переезжают на устройство✓ Встроенные модели Apple и Google доступны разработчикам через системные API, без своего сервера.✓ Локальная модель выигрывает там, где важны приватность, офлайн и задержка, а задача узкая.✓ Знания о мире и сложные рассуждения малым моделям по-прежнему даются хуже, чем облачным.✓ Рабочая схема 2026 года гибридная: простое на устройстве, тяжёлое в облаке.
~3 млрдпараметров у встроенной модели Apple Intelligence, по данным Apple
2 битана параметр после квантования этой модели для iPhone и Mac
3,8 млрдпараметров у Phi-4-mini, открытой малой модели Microsoft

Что такое малая модель в 2026 году

Под малой моделью сейчас обычно понимают сеть на 0,5-4 млрд параметров. Её можно сжать до размера, который помещается в память смартфона и не съедает батарею за минуты. Для сравнения: флагманские облачные модели крупнее на порядки и работают на серверах с дорогими ускорителями, о которых мы писали в обзоре рынка ИИ-чипов.

Главный приём, который сделал локальный запуск реальным, это квантование. Веса хранятся не в 16 битах, а в 4 или даже 2, с небольшой потерей качества. Второй приём связан с архитектурой: часть моделей использует разреженные схемы, близкие к смеси экспертов, чтобы на каждый токен работала лишь доля сети.

Важно и то, как малые модели учат. Их часто получают дистилляцией: крупная модель-учитель генерирует ответы и рассуждения, а маленькая учится их воспроизводить. Плюс тщательный отбор обучающих данных, на котором Microsoft построила семейство Phi. Поэтому современная модель на 3-4 млрд параметров в узких задачах может обходить модели в несколько раз крупнее, выпущенные двумя-тремя годами раньше. Именно этот сдвиг, а не только рост мощности телефонов, сделал локальный ИИ практичным.

Кто что предлагает

Рынок разделился на две ветки. Первая ветка состоит из системных моделей, встроенных в операционную систему. Вторая объединяет открытые модели, которые разработчик сам кладёт в приложение.

МодельРазмерКак доступна
Apple Foundation Models~3 млрд, 2-битная квантизацияSwift API в iOS 26, iPadOS 26, macOS 26
Gemini Nanoне раскрываетсяAICore и ML Kit GenAI на поддерживаемых Android
Phi-4-mini3,8 млрдоткрытые веса Microsoft
Llama 3.21 и 3 млрдоткрытые веса Meta
Qwen30,6; 1,7; 4 млрд и большеоткрытые веса, Apache 2.0

По данным Apple, фреймворк Foundation Models работает на любом устройстве с включённой Apple Intelligence и не требует оплаты за запросы. Google в 2025 году открыла Prompt API для Gemini Nano: он принимает текст и изображения и умеет отдавать структурированный ответ. Компания отмечает, что лучше всего API работает на линейке Pixel 10 с последней версией Nano.

▲ хроника✓ 2024-09 · Meta выпускает Llama 3.2 размером 1B и 3B для устройств✓ 2025-02 · Microsoft представляет Phi-4-mini на 3,8 млрд параметров✓ 2025-04 · Qwen3 выходит в размерах от 0,6B до 14B под Apache 2.0✓ 2025-09 · Apple открывает Foundation Models framework в iOS 26✓ 2025-10 · Google выпускает Prompt API в ML Kit для Gemini Nano✓ 2026-11 · гибрид «устройство + облако» становится нормой в приложениях

Когда локальная модель лучше облака

Редакция выделяет четыре признака задачи, в которой устройство выигрывает.

  • Приватность. Заметки, переписка, медицинские и финансовые записи не уходят с телефона. Это проще объяснить пользователю и юристу, чем политику хранения у облачного провайдера.
  • Офлайн. Поле, самолёт, метро, закрытый контур на производстве. Облачная модель там просто недоступна.
  • Задержка. Подсказки при наборе текста, классификация уведомлений, разбор голосовой команды. Сетевой запрос добавляет паузу, которую человек замечает.
  • Объём простых вызовов. Если приложение делает миллионы коротких запросов в день, локальный запуск снимает расходы на инференс.

Типовые задачи для малых моделей: краткое содержание письма, переписывание текста в другом тоне, извлечение полей из документа, теги и категории, короткие ответы по тексту на экране. Всё это задачи с готовым контекстом: модель не должна ничего помнить о мире, ей нужно аккуратно обработать то, что ей дали.

Где облако пока незаменимо

Малая модель знает о мире меньше. Если спросить её факт, которого нет в контексте, она чаще ошибётся или выдумает ответ. Apple прямо пишет, что её встроенная модель не предназначена для вопросов на общие знания: она оптимизирована под суммаризацию, извлечение и анализ пользовательского ввода.

Вторая граница касается длинных рассуждений. Многошаговые задачи, сложный код, анализ большого документа требуют либо крупной модели, либо долгого «думания», о котором мы рассказывали в материале про рассуждающие модели. На телефоне это упирается в память, нагрев и батарею.

Третья граница связана с парком устройств. Системные модели доступны не на всех смартфонах. Приложению всё равно нужен запасной путь для старых и бюджетных моделей, а это значит облачный бэкенд или открытая модель в сборке.

Наконец, у локальной модели короткое окно контекста. Длинный договор или переписку за месяц целиком в неё не передать, и приложению приходится резать текст на части, теряя связи между ними.

Гибрид как рабочая схема

На практике выигрывает не выбор «или-или», а маршрутизация. Простое и чувствительное решается на устройстве, тяжёлое отправляется на сервер. Apple строит Apple Intelligence именно так: локальная модель плюс серверная в Private Cloud Compute для запросов посложнее.

  1. Определите задачи, где на входе уже есть весь нужный контекст.
  2. Проверьте качество малой модели на своих данных, а не на публичных бенчмарках.
  3. Задайте правило передачи в облако: длина ввода, тип задачи, низкая уверенность.
  4. Предусмотрите путь для устройств без встроенной модели.

Для открытых моделей решение о запуске на своём железе во многом экономическое. Мы разбирали его в посте о том, когда открытые веса обходятся дешевле.

Как проверить малую модель на своей задаче

Публичные рейтинги малых моделей полезны для первого отбора, но мало говорят о вашем сценарии. Модель, которая лидирует в математических тестах, может путаться в формате ваших документов. Поэтому редакция советует собирать собственный набор проверки до выбора модели, а не после.

  • Возьмите 100-200 реальных примеров из продукта, включая неудобные: опечатки, смешанные языки, длинные вводы.
  • Опишите правильный ответ для каждого примера или хотя бы критерий, по которому его можно оценить.
  • Сравните малую модель с облачной на одном наборе и посчитайте долю ответов, которые устраивают пользователя.
  • Отдельно замерьте время ответа, расход батареи и нагрев на самом слабом из поддерживаемых устройств.

Отдельный вопрос касается русского языка. Многие малые модели обучали преимущественно на английских данных, и на русском качество может проседать: путаются падежи, хуже работает извлечение имён и адресов. Мультиязычные семейства вроде Qwen обычно держатся увереннее, но проверять всё равно нужно на своих текстах. Если результат слабый, помогает дообучение небольшого адаптера под конкретную задачу, однако это уже отдельный проект со своей поддержкой.

Ещё одна практическая деталь связана с обновлениями. Системную модель Apple или Google обновляет вместе с ОС, и поведение функции может измениться без релиза вашего приложения. Набор проверки стоит прогонять после каждого крупного обновления системы.

Что это значит для пользователя

Для обычного владельца смартфона перемены выглядят буднично: сводка уведомлений, правка тона письма, поиск по фото работают быстрее и без сети. Стоит проверить в настройках, какие функции выполняются локально, а какие отправляют данные на сервер. Для ChatGPT такие параметры мы собрали в гайде по памяти и приватности.

Редакция считает, что к концу 2026 года малые модели перестали быть демонстрацией и стали обычным слоем приложения, вроде системной клавиатуры. Их сила в узких задачах с готовым контекстом. Ждать от них знаний и глубины облачного флагмана пока рано, и честные разработчики этого не обещают.

Вопросы и ответы

Можно ли запустить малую модель на обычном ноутбуке?

Да. Модели размером 1-4 млрд параметров в 4-битной квантизации запускаются на ноутбуке с 8-16 ГБ памяти через популярные локальные среды. Скорость зависит от процессора и наличия видеоускорителя.

Уходят ли мои данные в облако при работе Apple Intelligence?

Простые запросы обрабатывает модель на устройстве. Более сложные Apple отправляет в Private Cloud Compute, где, по заявлению компании, данные не сохраняются. Какая часть уходит на сервер, зависит от конкретной функции.

Почему малая модель чаще выдумывает факты?

В небольшой сети меньше места для знаний о мире. Она хорошо обрабатывает текст, который ей дали, но на вопросы «из головы» отвечает менее надёжно, чем крупная облачная модель.

Что выбрать разработчику: системную модель или открытую?

Системная модель бесплатна и не увеличивает размер приложения, но доступна не на всех устройствах. Открытая модель работает везде, где хватает памяти, но добавляет сотни мегабайт к сборке и требует собственной поддержки.

Ещё по теме

Следующая новость уже в ленте