Миллиард долларов финансирования для стартапа, в котором работают всего 12 человек, показывает, что инвесторы по-прежнему верят в AI. Но основатель этой компании — Yann LeCun из AMI Labs — считает, что именно тот тип технологий, который сейчас принято называть AI, то есть большие языковые модели, не приведёт к значимым долгосрочным результатам.
В конце прошлого года Yann LeCun ушёл с поста главного научного сотрудника по AI в Meta и основал Advanced Machine Intelligence Labs (AMI Labs), который, по его словам, останется исследовательской организацией и, возможно, не выпустит продаваемый продукт ещё около пяти лет. Команда AMI Labs сосредоточена не на крупных универсальных языковых моделях, а на AI, состоящих из набора модульных компонентов, обученных для работы в конкретных сценариях использования.
Предлагаемая LeCun система artificial intelligence будет включать следующие элементы:
- world model, специфическую для той области, в которой будет работать AI. Это может быть модель, ориентированная на конкретную отрасль или, скорее, на конкретную роль;
- actor, который предлагает следующие шаги на основе классического reinforcement learning;
- critic, который анализирует варианты, полученные из world model, опирается на кратковременную память и оценивает предложенные действия по жёстко заданным правилам;
- perception system, специфическую для задачи AI: видео- или аудиоданные, текст, изображения и так далее, используя, например, алгоритмы deep learning для распознавания изображений;
- short-term memory;
- configurator, который будет координировать передачу информации между всеми перечисленными компонентами.
В отличие от больших языковых моделей, которые обучаются на одном источнике информации — тексте, собранном в интернете, — каждая версия AI LeCun будет получать целевые данные, релевантные только её среде и назначению. В разных версиях значимость каждого модуля может быть различной. Например, модуль critic будет более важен в областях, где обрабатывается чувствительная информация, а perception system — в системах, которым нужно быстро реагировать на события в реальном мире.
Каждый модуль будет обучаться методами, соответствующими конкретной области AI. В прошлом уже были успешные примеры такого подхода, например системы машинного обучения, которые сами учатся играть в видеоигры или настольные игры. Это контрастирует с большими языковыми моделями, на которых основано подавляющее большинство того, что мы сегодня называем AI.
LLM обучаются как универсалы: они формируют наиболее вероятные ответы на основе того, что было загружено в них, а затем эти ответы дорабатываются либо с помощью prompt engineering через программные обёртки (в последнее время наиболее известен Claude Code), либо на более глубоком уровне — с помощью reasoning models, где «thinking out loud» часть базового ответа возвращается в prompt AI ещё до того, как пользователь увидит финальный ответ.
Финансовые последствия появления AI, созданного по методам, которые предлагает AMI Labs, будут интересны нынешней индустрии AI — если идеи Yann LeCun окажутся плодотворными и жизнеспособными. Большие языковые модели от крупных технологических компаний (Anthropic, Meta, OpenAI, Google и других) с каждой итерацией за последние пять лет потребляли всё больше ресурсов. Помимо раннего роста размера моделей, необходимость в recursive prompting для улучшения результатов в более поздних версиях означает, что обучение и эксплуатация больших моделей становятся всё дороже, и лишь огромные корпорации могут позволить себе запускать их в убыток.
Меньшие, специализированные модули внутри предлагаемого AMI Labs решения могут работать на доле GPU-мощностей, которые сегодня нужны гигантским LLM, или даже прямо на устройстве. Вместо сотен миллиардов параметров, характерных для моделей вроде ChatGPT, специализированным моделям, которым не нужно быть универсалами, может хватить лишь нескольких сотен миллионов параметров. Это, а также предположение, что стоимость вычислений в целом будет снижаться, означает, что локальный, дешёвый и изначально более точный AI может быть уже совсем близко.
Стартап с новой идеей, привлекающий огромные объёмы финансирования, — не новость в современной технологической истории. Но по крайней мере часть стратегии LeCun основана на его убеждении, что нынешние большие языковые модели не смогут существенно улучшиться настолько, чтобы реализовать амбициозные обещания их создателей. Похоже, AMI Labs предлагает инвесторам способ сделать AI успешным в обозримом будущем при управляемых затратах, используя архитектуру, отличную от нынешней нормы. Это иная ставка, чем та, что сейчас предлагают сегодняшние AI-гиганты, но посыл о будущем потенциале похож.
(Источник изображения: «Perspective on Modular Construction» by sidehike, лицензия CC BY-NC-SA 2.0.)
Хотите узнать больше об AI и больших данных от лидеров отрасли? Посетите AI & Big Data Expo, которая пройдёт в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие входит в TechEx и проводится совместно с другими ведущими технологическими событиями. Подробнее — по ссылке.
AI News работает на платформе TechForge Media. Другие предстоящие корпоративные технологические мероприятия и вебинары можно посмотреть здесь.
Материал — перевод статьи с английского.
Оригинал: The billion-dollar startup with a different idea for AI