Google представила DiffusionGemma — модель ИИ для генерации текста без левого направо

Очень мощные large language models (LLM) по-прежнему работают так, словно печатают на клавиатуре: они обрабатывают задачи в простом порядке слева направо. Но в локальных сценариях для одного пользователя такой последовательный подход может оставлять графические процессоры (GPU) и tensor processing units (TPU) недоиспользованными.

Google делает ставку на то, что DiffusionGemma позволит обойти это узкое место. Новый экспериментальный открытый модель генерирует текст «исключительно быстро», создавая целые фрагменты текста одновременно с помощью diffusion-методов, а не покомандной, токен-за-токеном обработки. По словам компании, это даёт в 4 раза более быстрый inference по сравнению с auto-regressive моделями, которые полагаются на последовательную обработку.

При этом DiffusionGemma «может ознаменовать появление нового поколения задачно-ориентированных, эффективных решений, которые позволят расширить вычислительные возможности, не раздувая операционный бюджет», сказал он.

Контраст с обработкой слева направо

Построенная на семействе Google Gemma 4 и исследовании Gemini Diffusion, DiffusionGemma — это модель 26B mixture-of-experts (MoE), предназначенная для максимизации генерации текста.

По сути, она меняет способ использования аппаратных ресурсов моделями, давая процессорам больший объём работы за каждый цикл, чтобы они могли создавать целые абзацы по 256 токенов за проход. По утверждению Google, это позволяет генерировать текст до 4 раз быстрее на GPU. При inference активируются только 3,8B параметра, а в квантизованном виде модель может поместиться в 18GB VRAM на высокопроизводительных потребительских GPU вроде Nvidia RTX 5090.

«Это переводит inference вашей модели с одиночной последовательной пишущей машинки на гигантский печатный станок, который одновременно штампует целый блок текста», — написали исследователи Google Brendan O’Donoghue и Sebastian Flennerhag в посте в блоге.

Генераторы изображений на базе ИИ начинают с чистого случайного «визуального шума» и итеративно уточняют его до готовой картинки (это и называется diffusion); DiffusionGemma применяет тот же процесс к тексту. Она не генерирует токены по порядку, а начинает с «полотна случайных токенов-заполнителей», которое обрабатывает в несколько проходов, определяя контекстные токены, которые считает наиболее важными, и используя их для уточнения остальных.

Модель умеет самокоррекцию: она использует оценку уверенности, чтобы перепроверять токены на следующем проходе. «Модель итеративно уточняет собственный вывод, позволяя оценивать весь блок текста целиком и исправлять ошибки в реальном времени», — объяснили O’Donoghue и Flennerhag.

У DiffusionGemma также есть bidirectional attention, написали они. «Генерация 256 токенов параллельно на каждом прямом проходе позволяет каждому токену обращать внимание на все остальные». Это особенно полезно в нелинейных областях, таких как математические графы, code infilling и inline editing, сказали они.

DiffusionGemma оптимизирована под аппаратный стек Nvidia, поэтому совместима как с потребительскими конфигурациями, так и с высокопроизводительными корпоративными системами вроде Hopper и Blackwell.

Ключевые сценарии применения

Модель особенно полезна в локальных рабочих процессах, где критична скорость, например при генерации нелинейных текстовых структур, и открывает то, что Google называет «новыми паттернами поведения модели», включая multimodal understanding и генерацию с рендерингом кода почти в реальном времени.

Levy пояснил: «DiffusionGemma особенно хорошо подходит для интерактивного coding и редактирования, где её эффективность позволяет быстро обрабатывать запросы и итерации», отметив, что способность модели помещаться в 18GB VRAM и её возможность развёртывания на широко доступных локальных GPU потенциально могут быть полезны для customer service-задач, которые сильно завязаны на взаимодействие в реальном времени и локальную обработку.

«DiffusionGemma также включает thinking mode, который особенно хорош в решении задач», — сказал он. Например, модель дообучили для игры в Sudoku — типично сложную задачу для autoregressive-моделей, потому что каждый токен зависит от будущих токенов. Это «довольно наглядно» показывает способность модели решать более сложные задачи, отметил Levy.

Ограничения

Google прямо признаёт, что DiffusionGemma ориентирована на конкретные рабочие процессы, и у неё есть «ключевые компромиссы».

Модель спроектирована для inference с малым размером batch size и low-latency, высокоскоростной генерации при низких и средних размерах batch size на «одном производительном ускорителе».

В cloud-serving средах с высоким QPS (где инфраструктура рассчитана на десятки или сотни тысяч запросов в секунду с ultra-low latency) параллельная схема DiffusionGemma «даёт всё меньшую отдачу» и даже может увеличить стоимость обслуживания, признала Google. Кроме того, общее качество вывода ниже, чем у стандартной Gemma 4, которая создана для приложений, требующих максимального качества.

Однако Levy отметил, что хотя DiffusionGemma «может быть менее точной, чем другие модели, в некоторых рабочих нагрузках», последующие циклы уточнения могут компенсировать это ограничение.

Хотя Google не раскрывает runtime costs, очевидно, что это ставка на эффективность, добавил он. «При развёртывании в тех типах нагрузок, которые оптимально подходят её архитектуре, DiffusionGemma, похоже, способна снизить накладные вычислительные расходы и связанные с ними затраты», — сказал он.

Материал — перевод статьи с английского.

Оригинал: Google unveils DiffusionGemma, an AI model that breaks free of left-to-right processing