WWDC и Apple: как 14 исследований по ИИ намекают на ставку на доступность и on-device AI
За несколько дней до старта большой конференции разработчиков Apple волна исследовательских публикаций намекает на план компании для следующего поколения пользовательских интерфейсов.
I will sit right down (waiting for the gift of sound and vision)And I will sing (waiting for the gift of sound and vision)
— David Bowie
Apple планирует спонсировать и представить 14 исследовательских работ по ИИ на ежегодной конференции IEEE/CVF по Computer Vision and Pattern Recognition (CVPR) в Денвере на следующей неделе, всего за несколько дней до того, как на Worldwide Developer Conference (WWDC) компания покажет крупные новые функции ИИ.
Доступность для людей
На практике эта технология обещает огромный потенциал для доступности. Она предполагает, что человек с ограниченным зрением сможет использовать AirPods, чтобы ориентироваться в незнакомой комнате. Это хорошо вписывается в общую линию компании вокруг машинного зрения, intelligence и доступности.
Доступность также станет центральной темой второго доклада, который прозвучит на конференции в рамках Workshop Generative AI for Sign Language. Его проведет Колин Леа из Apple, ранее выступавший сессией о речевых технологиях для людей с нарушениями речи на похожем мероприятии. Такой акцент на машинном зрении и доступности совершенно осознан.
Даже если отрасль и критики упрекают Apple в том, что она отстает от других в сфере ИИ, публикация этих 14 работ на ключевой индустриальной площадке прямо перед WWDC показывает, что за кулисами компания проделала большую фундаментальную работу. Мы ожидаем, что первые плоды этой работы станут заметны на WWDC, и важно воспринимать эти анонсы как демонстрацию силы. Apple использует сцену, чтобы показать свои сильные стороны в разработке ИИ, и с учетом десятилетней работы над Apple Car многие из этих сильных сторон связаны именно с машинным зрением.
Apple настолько продвинулась в этой области, что уже внедряет сложные модели, ориентированные на пользователей. На прошлой неделе компания пообещала представить новый инструмент Image Explorer в VoiceOver, который поможет слабовидящим пользователям позже в этом году. Среди прочего, это появится вместе с системой, позволяющей людям с инвалидностью управлять совместимыми инвалидными колясками с помощью голосовых команд.
Apple продолжает двигать границы. Ее работа «VSAS-Bench: Real-Time Evaluation of Visual Streaming Assistant Models» показывает, что компания активно улучшает модели, способные мгновенно обрабатывать потоковое видео на потребительском оборудовании.
Что важнее: человек или машина?
Разница между Apple и конкурентами глубже и носит философский характер. Я бы сказал, что тогда как другие строят облачные чатботы, Apple встраивает в свои системы инструменты ИИ, которые решают реальные человеческие задачи.
Это относится и к планам на WWDC, где компания представит набор инструментов ИИ, созданных при помощи Google Gemini и целого ряда сервисов ИИ, разработанных внутри компании. Во вторую группу войдет множество инструментов доступности того типа, о котором Apple будет говорить на мероприятии CVPR, и их преимущество в том, что они будут работать приватно и на устройстве. Можно сказать, что пока другие технологические гиганты используют ИИ для автоматизации офисной работы или построения общества наблюдения, Apple ищет применения машинного интеллекта, которые решают реальные человеческие проблемы.
Компания, похоже, трезво смотрит на текущую трансформацию ИИ. Она понимает, что ее собственная экосистема должна стать равноправным участником формирующейся среды, усиленной ИИ, которую отрасль так стремится построить.
С учетом этого Apple готова к стратегическим, взаимовыгодным партнерствам, например к тому, чтобы Siri могла использовать сторонние сервисы ИИ для обработки запросов. Но даже делая это, компания сосредотачивается на тех областях, где может дать уникальный результат, например на функциях доступности, которые Apple как платформа всегда предлагала.
Открыться
Как показала Vision Pro, а в будущем, вероятно, покажут и эти почти мифические AirPods с поддержкой видео, компьютеры становятся все умнее. Поэтому меняется и то, как мы ими пользуемся, уходя от жестких границ клавиатур, мышей и сенсорных экранов. Стремление Apple к ambient computing началось задолго до внезапной золотой лихорадки вокруг генеративных ИИ-чатботов.
В конечном счете, по мере того как подобные сервисы становятся товаром широкого потребления, именно способ человеческого взаимодействия с ними определит следующее поколение оборудования. Для Apple это отличная новость, ведь именно в дизайне продуктов компания особенно сильна. Эпоха sound and vision, похоже, наконец наступает.
Материал — перевод статьи с английского.