Мы эволюционировали для линейного мира. Если вы идете час, вы проходите определенное расстояние. Если идти два часа, вы пройдете вдвое больше. Эта интуиция хорошо служила нам на саванне. Но она катастрофически не работает, когда речь заходит об ИИ и об экспоненциальных тенденциях, лежащих в его основе.
С тех пор как я начал работать над ИИ в 2010 году и до сегодняшнего дня объем обучающих данных, которые поступают в передовые модели ИИ, вырос ошеломляюще — в 1 триллион раз: от примерно 10¹⁴ флопс (floating-point operations, базовая единица вычислений) для ранних систем до более чем 10²⁶ флопс для крупнейших моделей сегодня. Это взрыв. Из этого факта следует все остальное в ИИ.
Скептики продолжают предсказывать пределы. И снова и снова оказываются неправы перед лицом этого эпического, поколенческого наращивания вычислительных мощностей. Часто они указывают на замедление закона Мура. Они также говорят о нехватке данных или ссылаются на ограничения по энергии.
Но если посмотреть на совокупность сил, которые двигают эту революцию, экспоненциальная траектория кажется вполне предсказуемой. Чтобы понять почему, стоит взглянуть на сложную и быстро меняющуюся реальность под заголовками новостей.
Представьте обучение ИИ как комнату, полную людей, работающих на калькуляторах. Долгие годы наращивание вычислительной мощности означало просто добавлять в эту комнату больше людей с калькуляторами. Большую часть времени эти работники бездействовали, постукивая пальцами по столам, ожидая, когда поступят числа для следующего вычисления. Каждая пауза означала потерянный потенциал. Революция сегодняшнего дня выходит далеко за пределы просто большего числа и более совершенных калькуляторов (хотя она и дает их); на самом деле речь идет о том, чтобы все эти калькуляторы никогда не останавливались и работали вместе как единое целое.
Сейчас для этого сходятся три достижения. Во-первых, сами «калькуляторы» стали быстрее. Чипы Nvidia всего за шесть лет дали более чем семикратный рост пиковой производительности: с 312 терафлопс в 2020 году до 2 250 терафлопс сегодня. Наш собственный чип Maia 200, представленный в январе этого года, обеспечивает на 30% лучшую производительность на доллар, чем любое другое оборудование в нашем парке. Во-вторых, числа поступают быстрее благодаря технологии HBM, или памяти с высокой пропускной способностью, которая складывает чипы вертикально, словно крошечные небоскребы; последнее поколение, HBM3, утроило пропускную способность по сравнению с предшественником, подавая данные процессорам достаточно быстро, чтобы те были заняты постоянно. В-третьих, комната с людьми и калькуляторами превратилась в офис, а затем в целый кампус или город. Такие технологии, как NVLink и InfiniBand, соединяют сотни тысяч GPU в суперкомпьютеры размером со склад, которые работают как единые когнитивные сущности. Еще несколько лет назад это было невозможно.
Все эти улучшения вместе дают резко больше вычислений. Если в 2020 году обучение языковой модели занимало 167 минут на восьми GPU, то теперь на сопоставимом современном оборудовании это занимает менее четырех минут. Для масштаба: закон Мура за этот период предсказал бы лишь примерно пятикратное улучшение. Мы увидели 50-кратное. Мы прошли путь от двух GPU, обучавших AlexNet — модель распознавания изображений, которая в 2012 году запустила современный бум глубокого обучения, — до более чем 100 000 GPU в крупнейших кластерах сегодня, причем каждый из них по отдельности гораздо мощнее своих предшественников.
Есть и революция в программном обеспечении. Исследование Epoch AI показывает, что вычисления, необходимые для достижения фиксированного уровня качества, примерно удваиваются в обратную сторону каждые восемь месяцев — намного быстрее, чем традиционный 18–24-месячный темп, ассоциируемый с законом Мура. Стоимость обслуживания некоторых недавних моделей рухнула в годовом выражении в 900 раз. Развертывание ИИ становится радикально дешевле.
Цифры на ближайшее будущее столь же ошеломляющи. Достаточно учесть, что ведущие лаборатории наращивают мощности почти в четыре раза в год. С 2020 года вычисления, использованные для обучения передовых моделей, растут в 5 раз каждый год. По прогнозу, глобальные вычислительные мощности, релевантные ИИ, достигнут 100 миллионов эквивалентов H100 к 2027 году — это десятикратный рост за три года. Если все это сложить, к концу 2028 года мы увидим еще примерно 1 000-кратный рост эффективных вычислений. Вполне вероятно, что к 2030 году мы будем ежегодно вводить в строй дополнительно 200 гигаватт вычислительных мощностей — это сопоставимо с пиковым энергопотреблением Великобритании, Франции, Германии и Италии вместе взятых.
Что это нам даст? Я считаю, что это ускорит переход от чат-ботов к почти человеческим агентам — полуавтономным системам, способным писать код в течение дней, вести проекты, которые длятся неделями и месяцами, совершать звонки, вести переговоры по контрактам, управлять логистикой. Забудьте о простых ассистентах, которые отвечают на вопросы. Представьте команды ИИ-сотрудников, которые обсуждают, сотрудничают и выполняют задачи. Сейчас мы находимся лишь у подножия этого перехода, и его последствия выходят далеко за пределы технологий. Преобразится каждая отрасль, основанная на когнитивном труде.
Очевидное ограничение здесь — энергия. Один ИИ-стеллаж размером с холодильник потребляет 120 киловатт, что эквивалентно 100 домам. Но этот голод сталкивается с другой экспонентой: стоимость солнечной энергии за 50 лет упала почти в 100 раз; цены на аккумуляторы за три десятилетия снизились на 97%. На горизонте вырисовывается путь к чистому масштабированию.
Капитал уже выделен. Инженерия дает результат. Кластеры за 100 миллиардов долларов, энергопотребление в 10 гигаватт, суперкомпьютеры складского масштаба — это уже не научная фантастика. Строительство этих проектов уже идет по всему США и по всему миру. В результате мы движемся к подлинному когнитивному изобилию. В Microsoft AI именно к такому миру готовится и его строит наша лаборатория суперинтеллекта.
Скептики, привыкшие к линейному миру, и дальше будут предсказывать падение отдачи. И дальше будут удивляться. Взрыв вычислительных мощностей — главная технологическая история нашего времени, без преувеличения. И она все еще только начинается.
Мустафа Сулейман — генеральный директор Microsoft AI.
Deep Dive
Искусственный интеллект
Кампания «QuitGPT» призывает людей отменять подписки на ChatGPT
Реакция против ICE подпитывает более широкое движение против связей ИИ-компаний с президентом Трампом.
Мишель Ким
OpenAI бросает все силы на создание полностью автоматизированного исследователя
Эксклюзивный разговор с главным научным сотрудником OpenAI Якубом Пачоцким о новой большой цели компании и будущем ИИ.
Уилл Дуглас Хевен
Как Pokémon Go помогает роботам-доставщикам видеть мир с точностью до дюйма
Эксклюзив: ИИ-спин-офф Niantic обучает новую мировую модель, используя 30 миллиардов изображений городских достопримечательностей, собранных игроками.
Уилл Дуглас Хевен
Этот стартап хочет изменить то, как математики занимаются математикой
Axiom Math бесплатно раздает мощный новый ИИ-инструмент. Но еще предстоит понять, ускорит ли он исследования так сильно, как надеется компания.
Уилл Дуглас Хевен
Оставайтесь на связи
Получайте последние обновления от MIT Technology Review
Узнавайте о специальных предложениях, главных материалах, предстоящих мероприятиях и многом другом.
Материал — перевод статьи с английского.
Оригинал: Mustafa Suleyman: AI development won’t hit a wall anytime soon—here’s why