Добро пожаловать в жуткую эпоху AI: Google Dreambeans, Gemini Spark и персонализация, которая стала слишком навязчивой

Пора снова спросить себя: это ли будущее мы хотели?

Последние несколько дней я был погружён в новейшее видение будущего от Google — AI-дашборд, который подтягивает данные обо всей вашей активности в приложениях Google и на их основе собирает серию ежедневных «историй», призванных «показывать вам то, что важно».

И — поверьте, я не говорю это легкомысленно — взаимодействие с этой системой заставило меня как никогда тосковать по прошлому.

Приложение называется Dreambeans. Google запустила его как эксперимент в прошлую среду, и мне предложили пропустить стандартный список ожидания и сразу получить доступ для тестирования.

Скажу прямо: использование приложения действительно стало для меня опытом, который открывает глаза. Вот только не так, как, по-видимому, рассчитывала Google.

Google Dreambeans и следующий этап AI

Во многом Dreambeans кажется предельным воплощением того, к чему Google стремилась — и к чему AI в целом шёл — в последние несколько лет.

С вашего разрешения приложение получает доступ к данным о вашей текущей активности в Google Workspace, включая Gmail, Google Calendar и Google Drive, а также к Google Search, Google Photos и YouTube, чтобы строить развивающийся профиль вашей жизни и интересов. Это значит, что всё — от того, кому вы пишете, что у вас в расписании, о чём вы пишете или какие файлы сохраняете, до того, что именно вы ищете, какие видео смотрите и в каких занятиях вы, ваши друзья, семья и другие знакомые фигурируете на фото (и даже как вы все выглядите на этих фото) — постоянно анализируется, обрабатывается и используется как сырьё для персонализированной ленты, которая обновляется несколько раз в день.

На первый взгляд это немного похоже на Google Now — отличную и слишком коротко просуществовавшую функцию проактивного интеллекта, которую Google какое-то время назад добавила в Android, примерно в 2012 году.

На практике же, скажу я вам, ощущения совершенно иные. Google Now казалась почти волшебной в своей способности предугадывать, что вам нужно, ещё до того, как вы попросили об этом: карточки с данными о статусе рейса на основе маршрутов из вашей почты или запросов, связанных с перелётами; предупреждения о пробках на основе ваших обычных маршрутов или встреч в календаре; ссылки на карты с бизнесами, которые вы исследовали. Dreambeans выводит те же базовые идеи на совсем другой уровень — и в итоге это воспринимается как нечто creepy и навязчивое, и по тому, какую информацию оно предлагает, и по тому, как это подаётся.

И, шире говоря, это похоже на то, куда AI движется в целом — не только в этом одном приложении или только у Google, а по всей индустрии, и в таком стиле, который, как мне кажется, всё больше людей считает отталкивающим и со временем будет воспринимать ещё более вторгающимся в личное пространство.

Давайте проясним: я не технофоб. Вовсе нет. Я люблю умные технологические решения и продуманные новые детали, которые делают жизнь проще. Чёрт возьми, я провёл большую часть жизни в поисках таких вещей и в их описании. И именно поэтому моя реакция на Dreambeans кажется мне столь важной: если меня этот концепт так отталкивает, как отреагируют обычные пользователи — большинство из которых куда меньше следят за технологическими трендами и куда меньше интересуются необычными новинками, чем я?

Чуть позже я расскажу больше о том, что успел услышать. Сначала покажу вам, что именно я видел, чтобы вы сами могли оценить это и понять, как оно выглядит для вашего спайдер-сенса.

Вот несколько предложений «историй» Dreambeans, появившихся в приложении в первый день его работы для меня, с несколькими именами и личными деталями, скрытыми ради приватности:

Честно говоря, я даже не уверен, откуда взялись все эти предложения, но первым делом меня зацепили иногда льстивые карикатуры на меня и мою жену и общее ощущение вторжения из-за всего этого чуть-чуть слишком личного материала и слишком знакомого переплетения имён и интересов членов семьи внутри контента.

Для ясности: в какой-то момент в недавнем прошлом я действительно присматривался к теме акустики; выражение «hand-loomed textiles» я ни разу в жизни не печатал, не произносил и даже не рассматривал до этого момента; арт-фестиваль, о котором идёт речь, мы действительно просматривали; я никогда специально не искал и не проявлял интереса к Scary Movie 6; и я не фанат группы Genesis — хотя, справедливости ради, я и правда не умею танцевать.

Я показал весь этот материал жене, а также нескольким друзьям и членам семьи, которых я бы отнёс к типичным пользователям технологий — не к техпрофи и не к упоротым гикам, а к обычным людям, у которых, как и у всех нас, есть и используются разные устройства, на которые мы полагаемся и в личной, и в рабочей жизни с разной степенью тревоги, воодушевления и/или равнодушия. Без исключения и без каких-либо подталкиваний или навязывания моего мнения каждый из них реагировал одинаково: «О. Это creepy». И: «Мне это не нравится». Без промаха.

Дальше лучше не становится. Большая часть последующих предложений приложения продолжала лишь чуть-чуть заходить слишком далеко в сторону «ick», а иногда и вовсе ошибаться довольно озадачивающим образом. Например:

Кроме того, хотя линия роста волос у меня, возможно, уже не та, что раньше, я (кхм) пока ещё не настолько лысый — спасибо, Dreambeans.

Ещё один пример, который я здесь не покажу, — это материал, где меня изобразили в комбинезоне, устанавливающим некую «coated stainless steel wire for [my] gallery canvases» — отсылка к общественной художественной галерее, связанной со смертью моей матери в недавнем прошлом, причём с кучей ошибочных и местами откровенно выдуманных деталей. Там также небрежно упоминали её по имени рядом с этим жутким изображением меня, якобы выполняющего работу, которой я явно не умею заниматься, в моём несуществующем домашнем мастерской. Думаю, не нужно отдельно объяснять, насколько это было тревожно, неприятно и — опять же — навязчиво, когда такое появилось в ленте.

Больше всего, глядя на всё это, я чувствую сочетание двух вещей: во-первых, «чёрт возьми, оно знает слишком много» — особенно когда оно беззаботно называет по именам и показывает карикатурные изображения моей жены, детей и других родственников; во-вторых, при этом выдаваемая информация вовсе не особенно полезна и не особенно проницательна. Это в основном плоско, обобщённо и — ну да — примерно именно так, как вы и ожидаете от чего-то, сгенерированного AI.

Иными словами, это сочетание creepy и не особенно полезного.

И именно часть «creepy» запоминается мне сильнее всего.

Тонкая грань, которую Google забыла не перейти

Возможно, если бы то, что мне здесь показывают, было исключительно полезным, это был бы компромисс, на который я согласился бы хотя бы немного охотнее. Возможно. Но в этой ситуации всё просто кажется странным и слишком навязчивым — и я пришёл к выводу, что это общая тема для многого из того, что выглядит как следующий уровень навязанного нам AI-будущего.

Возьмите, к примеру, Google Gemini Spark — «agentic» AI-ассистента, анонсированного на Google I/O и предназначенного для роли «проактивного» помощника, который выполняет задачи от вашего имени. Дэвид Пирс из The Verge получил ранний доступ к инструменту и назвал его «самым впечатляющим и пугающим AI-опытом», который у него был на сегодняшний день, тоже добавив слово «creepy» в эту картину:

Я не могу избавиться от глубоко creepy-ощущения от всего этого. То, что сделал Spark, кажется чем-то магическим и очень навязчивым. Странно, что Spark так буднично сообщает мне имена и возраст моих детей, напоминает, где я живу, и находит информацию, которую я точно никогда не вводил в Google по собственной воле. Интеллектуально я понимаю, что Google знает обо мне невероятно много — сложите мои письма, календарь, фото и историю поиска, и вы почти полностью меня раскроете. Но когда Spark обращается со всеми этими данными не как с чем-то, что надо защищать, а как с чем-то, что можно добывать, это просто неприятно.

И это, как мне кажется, в точности отражает реакцию, которую вызывает у меня Dreambeans. Мы все и раньше знали, что Google знает о нас очень много, но мы также — по крайней мере на интеллектуальном уровне — понимали, как эти данные используются и как не используются. И нам никогда так в лоб не демонстрировали, насколько много компания может выяснить о нас, если сложить все кусочки вместе и создать неловкое ощущение роботизированной близости.

Я помню, как много лет назад был на брифинге Google для прессы, где кто-то из компании говорил о том, насколько большего их системы и сервисы могли бы добиться, но как они сознательно сдерживались, чтобы не заходить слишком далеко и не перегибать с персонализацией — потому что даже имея все эти данные и возможность связывать все эти элементы, они знали (на тот момент), что люди плохо отреагируют на демонстрацию всей своей личной активности, собранной в такие шокирующие связки. Они знали (на тот момент), что большинство из нас не ищет искусственного BFF, который знает о нас слишком много. Они знали (на тот момент), что такое ощущение перейдёт черту и станет creepy.

Так вот, сообщаю: эта черта официально уничтожена. Мы вступили в жуткую эпоху AI. И, похоже, больше никто уже не беспокоится о том, хотим ли мы этого вообще и сможем ли оценить это.

Теперь кажется, что технологические компании специально тычут нам в лицо тем, сколько они о нас знают, и даже если в том, что они делают, нет ничего по-настоящему зловещего, это всё равно не вызывает хороших чувств. Это вызывает ощущение creepy. И в момент, когда доверие к техногигантам шокирующе низкое, а большинство людей вне пузыря Silicon Valley всё сильнее раздражаются из-за AI и всех последствий, которые он на нас обрушивает, это не лучший образ.

Добавьте к этим ощущениям вызывающий вздохи взрыв AI «content creators», рост безжизненного AI-«писательства» (вы давно заходили в LinkedIn?), тревожно размывающуюся грань между фотореалистичными AI-изображениями и настоящими фотографиями, а также раздражающий опыт общения с ботом техподдержки или столкновения с всё более широкой экосистемой AI-афёр и угроз безопасности и AI-сокращений рабочих мест — и, среди прочих проблемных последствий этого движения, трудно не задаться вопросом, действительно ли весь этот якобы прогресс в итоге приносит нам больше пользы или вреда как живым, дышащим людям в реальном мире.

Несколько месяцев назад, на трёхлетнюю годовщину запуска Gemini, я задал вопрос: а кто вообще это просил? И, если говорить жёстче: это ли будущее мы хотели? Теперь, когда мы входим в очередную эпоху AI-новшеств и видим, как это влияет на нашу жизнь, с каждым днём всё труднее представить, что многие люди вне технологической индустрии ответят на это уверенным «да».

И, к сожалению, вам не нужны никакие fancy-schmancy AI-чатботы, чтобы понять: дальше всё будет только более экстремально — и, да, ещё более creepy.

Материал — перевод статьи с английского.

Оригинал: Welcome to AI’s creepy era