Как Tether с framework Bitnet LLM делает fine-tuning ИИ доступнее на consumer-гаджетах

«Будущее ИИ должно быть доступным, открытым и понятным людям и разработчикам по всему миру, и для этого не должно требоваться абсурдное количество ресурсов, доступных лишь горстке облачных провайдеров», — Паоло Ардоино, CEO, Tether.

Около 700 миллионов человек еженедельно используют generative AI вроде Gemini и ChatGPT, но внедрение этих технологий остается крайне неравномерным. В опросе McKinsey State of AI за 2025 год почти половина респондентов из компаний с выручкой более 5 млрд долларов сообщили, что достигли стадии масштабирования ИИ, тогда как среди компаний с выручкой менее 100 млн долларов таких было лишь 29%. Разрыв только увеличивается и отсекает малый бизнес, разработчиков и обычных пользователей.

Розничные компании и малый бизнес часто ограничены базовыми ИИ-инструментами, которые тянет их инфраструктура, — например, текстовым inference и генерацией мультимедиа на базе base models. Это миллиарды конечных пользователей и разработчиков, которые остаются за бортом полноценного использования и создания интеллектуального ПО из-за высоких требований к инфраструктуре.

Edge-first LoRA fine-tuning framework Tether для Microsoft Bitnet LLM — важный шаг к созданию инфраструктурной системы, способной поддерживать миллиарды ИИ-агентов и интеллектуальных машин. Снижая вычислительные издержки machine learning и позволяя consumer-class устройствам выполнять продвинутые операции, edge-first-подход Tether расширяет возможности гораздо более широкой аудитории.

Представьте, что 13-миллиардная модель дообучается на обычных портативных устройствах вроде Samsung S25 и iPhone 16, а также на стандартных персональных компьютерах. Этот прорыв сочетает ресурсную эффективность и platform-agnostic подходы, чтобы создать framework fine-tuning для ternary-quantized LLM.

Как устроен Bitnet fine-tuning framework Tether

Bitnet LLM родился из идеи интеллектуальной ИИ-модели, которая не потребляет чрезмерные вычислительные ресурсы даже в полном precision. Ранние попытки сделать ИИ более экономным опирались на компромиссы: либо запускать малые модели в более высоком precision, либо большие модели в более низком precision, но ни один из этих подходов не решил проблему полностью.

Bitnet использует более фундаментальный подход. В результате получается модель, которая обеспечивает linear efficiency и при этом потребляет лишь малую часть вычислительных ресурсов, обычно необходимых для таких систем.

Проблема, однако, в том, что современные GPU оптимизированы именно под floating-point operations, от которых Bitnet избавляется, и это создает разрыв совместимости с оборудованием. Дополнительное ограничение заключалось в том, что изначально Bitnet был привязан к собственному движку inference Bitnet.cpp, что сужало его практическую ценность. Прорыв Tether одновременно снимает оба ограничения за счет интеграции GPU backend на базе Vulkan и Metal, который открывает полноценные cross-platform возможности для inference BitNet и LoRA fine-tuning на разнородных consumer GPU, включая mobile GPU. Теперь Bitnet может работать на более зрелых и широко поддерживаемых inference engines без потери преимуществ в эффективности.

Ключевую роль здесь играет кроссплатформенность Vulkan. В отличие от CUDA, которая привязывает разработчиков к оборудованию NVIDIA, Vulkan работает на широком наборе GPU и операционных систем, открывая Bitnet путь к действительно multi-platform deployment. Framework Tether для fine-tuning Bitnet использует dynamic tiling, чтобы обходить ограничения Vulkan driver buffer allocation на mobile GPU.

Техника dynamic tiling algorithm впервые была применена в framework для fine-tuning QVAC Fabric LLM — ИИ-модели, на которой работает приложение Tether QVAC Workbench.

Эта реализация демонстрирует эффективность подхода: fine-tuning 13-миллиардной модели на целом ряде consumer-устройств с разными конфигурациями GPU.

Bitnet LLM Fine-tuning framework — последнее достижение Tether и часть более широкой экспансии в open-source ИИ и коммуникационные технологии, которые бросают вызов нынешним медленным, хрупким и контролируемым системам. Эти разработки открыты и упакованы как модули в QVAC SDK, чтобы упростить развертывание и помочь разработчикам создавать edge-first ИИ-приложения без чьего-либо разрешения.

Tether рассматривает superintelligence как базовый элемент, которым должен владеть его пользователь, и выстраивает это через:

Local-first AI

Термин, по смыслу близкий к decentralized AI, local-first AI стремится создавать sovereign ИИ-решения, которым для работы не нужна централизованная инфраструктура вроде data center. Их считают более экономичными, сравнительно более устойчивыми и несомненно более приватными, чем централизованный ИИ. Tether создает ИИ-приложения, которые полностью опираются на ресурсы устройства. Такие приложения хранят данные в памяти устройства и используют его процессоры для продвинутых операций, включая fine-tuning и inference.

P2P computing network для inference ИИ

ИИ-приложения Tether построены на Pear runtime. Pear — это platform для полностью P2P-приложений, которые могут работать без серверов. Pear использует технологический стек Holepunch, созданный для стабильной прямой связи между устройствами. Pear обеспечивает delegated inference для таких ИИ-приложений, как QVAC Workbench. Delegated inference позволяет выстроить единую динамическую workstation architecture, в которой вычислительные задачи свободно распределяются между mobile- и desktop-средами, а любое устройство может передать тяжелую обработку более мощной системе. Иными словами, вы можете начать задачу на мобильном устройстве и передать ее на десктоп или ноутбук для завершения.

ИИ для всех

Единственный способ масштабировать интеллект под нужды общества численностью 10 млрд человек — вынести его на edge. А это, в свою очередь, зависит от прогресса экспериментов, направленных на экономичную локализацию вычислений ИИ.

Миллиарды ИИ-агентов и бесчисленные ИИ-приложения, которые разработчики развертывают во всех регионах мира и которые эффективно работают на ресурсах, принадлежащих пользователям, — единственный путь к демократизации superintelligence и к тому, чтобы не превратить ее в еще одну «люксовую» передовую технологию, контролируемую unicorns и доступную только элите.

Tether прокладывает путь к безграничной superintelligence для растущего общества и новых приложений. Следите за развитием truly local и edge-first ИИ-решений

Материал — перевод статьи с английского.

Оригинал: Democratizing AI adoption with Tether’s Bitnet LLM fine-tuning framework