Глоссарий AI: AGI, AI agent, LLM, RLHF, hallucination и другие термины, которые важно знать

Искусственный интеллект меняет мир и одновременно изобретает новый язык, чтобы объяснять, как именно это происходит. Если потратить пять минут на чтение об AI, почти неизбежно столкнешься с LLM, RAG, RLHF и десятками других терминов, которые могут поставить в тупик даже очень опытных людей из технологической среды. Этот глоссарий — попытка это исправить. Мы регулярно обновляем его по мере развития отрасли, так что считайте его живым документом, как и сами AI-системы, которые он описывает.

• * *

AGI

Artificial general intelligence, или AGI, — это расплывчатый термин. Но в целом он относится к AI, который более способен, чем средний человек, во многих, если не в большинстве, задачах. Генеральный директор OpenAI Сэм Альтман однажды описал AGI как «эквивалент среднестатистического человека, которого можно нанять в качестве коллеги». При этом устав OpenAI определяет AGI как «высоко автономные системы, которые превосходят людей в большинстве экономически ценной работы». Понимание Google DeepMind немного отличается от этих двух определений; в лаборатории AGI рассматривают как «AI, который по крайней мере так же способен, как человек, в большинстве когнитивных задач». Запутались? Не переживайте — на переднем крае исследований AI тоже не у всех есть единое мнение.

AI agent

AI agent — это инструмент, который использует технологии AI, чтобы выполнять серию задач от вашего имени, выходя за рамки обычного AI-чатбота, — например, оформлять расходы, бронировать билеты или столик в ресторане или даже писать и сопровождать код. Однако, как мы уже объясняли, в этой зарождающейся области много подвижных частей, поэтому «AI agent» может означать разное для разных людей. Инфраструктура для реализации заявленных возможностей все еще строится. Но базовая идея подразумевает автономную систему, которая может задействовать несколько AI-систем для выполнения многошаговых задач.

API endpoints

Думайте об API endpoints как о «кнопках» на задней стороне программы, которые другие программы могут нажимать, чтобы заставить ее что-то делать. Разработчики используют эти интерфейсы для построения интеграций — например, чтобы одно приложение могло получать данные из другого или чтобы AI agent мог напрямую управлять сторонними сервисами без ручного взаимодействия человека с каждым интерфейсом. У большинства устройств умного дома и подключенных платформ есть такие скрытые кнопки, даже если обычные пользователи их никогда не видят и не используют. По мере того как AI agent становятся более способными, они все чаще могут находить и использовать эти endpoints самостоятельно, открывая мощные — а иногда и неожиданные — возможности для автоматизации.

Chain of thought

На простой вопрос человеческий мозг может ответить почти не задумываясь — например, «какое животное выше: жираф или кошка?». Но во многих случаях для правильного ответа нужен лист бумаги и ручка, потому что есть промежуточные шаги. Например, если у фермера есть куры и коровы, и вместе у них 40 голов и 120 ног, вам, возможно, придется записать простое уравнение, чтобы получить ответ (20 кур и 20 коров).

В контексте AI chain-of-thought reasoning для large language models означает разбиение задачи на меньшие промежуточные шаги, чтобы улучшить качество итогового результата. Ответ обычно получается дольше, но вероятность ошибки ниже, особенно в логических задачах и кодинге. Reasoning models создаются на базе традиционных large language models и оптимизируются под chain-of-thought thinking благодаря reinforcement learning.

(См.: Large language model)

Coding agents

Это более конкретное понятие, чем AI agent: программа, которая может действовать самостоятельно, шаг за шагом, чтобы достичь цели. Coding agent — это специализированная версия, применяемая к разработке ПО. Вместо того чтобы просто предлагать код, который человек потом проверит и вставит, coding agent может автономно писать, тестировать и отлаживать код, выполняя тот самый итеративный, пробный труд, который обычно отнимает у разработчика целый день. Такие агенты могут работать сразу во всей кодовой базе, находить ошибки, запускать тесты и отправлять исправления при минимальном человеческом контроле. Это как нанять очень быструю стажерскую смену, которая никогда не спит и не теряет концентрацию, — хотя, как и в случае с любым стажером, человеку все равно нужно проверять результат.

Compute

Хотя термин и многозначный, compute обычно означает критически важную вычислительную мощность, которая позволяет AI-моделям работать. Именно этот тип обработки питает AI-индустрию, давая ей возможность обучать и запускать мощные модели. Термин часто используют как сокращение для обозначения аппаратного обеспечения, которое обеспечивает эту вычислительную мощность, — GPU, CPU, TPU и другие виды инфраструктуры, лежащие в основе современной AI-индустрии.

Deep learning

Подраздел самосовершенствующегося machine learning, в котором AI-алгоритмы построены на многослойной структуре искусственной нейросети (ANN). Это позволяет им выявлять более сложные взаимосвязи по сравнению с более простыми системами на основе machine learning, такими как линейные модели или деревья решений. Структура алгоритмов deep learning вдохновлена взаимосвязанными путями нейронов в человеческом мозге.

Модели AI на основе deep learning способны сами определять важные характеристики в данных, а не полагаться на инженеров, которые должны заранее задать эти признаки. Такая структура также поддерживает алгоритмы, которые учатся на ошибках и через повторение и корректировку улучшают собственные результаты. Однако системам deep learning требуется очень много данных, чтобы показать хорошие результаты — миллионы точек или больше. Кроме того, они обычно дольше обучаются по сравнению с более простыми алгоритмами machine learning, поэтому затраты на разработку, как правило, выше.

(См.: Neural network)

Diffusion

Diffusion — это технология, лежащая в основе многих AI-моделей, генерирующих изображения, музыку и текст. Вдохновленные физикой, diffusion systems медленно «разрушают» структуру данных — например, фотографий, песен и так далее — добавляя шум, пока от них почти ничего не остается. В физике диффузия самопроизвольна и необратима — сахар, растворившийся в кофе, нельзя вернуть в форму кубика. Но diffusion systems в AI стремятся научиться некоему процессу «обратной диффузии», чтобы восстанавливать разрушенные данные и получать возможность извлекать их из шума.

Distillation

Distillation — это техника извлечения знаний из большой AI-модели с помощью модели «учитель-ученик». Разработчики отправляют запросы модели-учителю и записывают ее ответы. Затем ответы иногда сравнивают с датасетом, чтобы проверить точность. После этого эти выходные данные используют для обучения модели-ученика, которую обучают приближать поведение учителя.

Distillation можно использовать для создания более маленькой и эффективной модели на базе более крупной модели при минимальной distillation loss. Вероятно, именно так OpenAI разработала GPT-4 Turbo — более быструю версию GPT-4.

Fine-tuning

Это дообучение AI-модели для оптимизации ее работы в более конкретной задаче или области, чем та, на которой изначально делался основной акцент, — обычно путем подачи новых специализированных, то есть ориентированных на задачу, данных.

Многие AI-стартапы берут large language models в качестве основы для коммерческого продукта, но стремятся повысить полезность для целевого сектора или задачи, дополняя ранние циклы обучения fine-tuning на основе собственной отраслевой экспертизы и знаний.

(См.: Large language model [LLM])

GAN

GAN, или Generative Adversarial Network, — это тип framework machine learning, который лежит в основе некоторых важных достижений в generative AI, когда речь идет о создании реалистичных данных, включая, но не только, deepfake-инструменты. GAN используют пару нейросетей: одна, опираясь на обучающие данные, генерирует результат, а другая модель оценивает его.

По сути, эти две модели запрограммированы соревноваться друг с другом. Генератор пытается провести свой результат мимо дискриминатора, а дискриминатор старается распознать искусственно сгенерированные данные. Такое структурированное соревнование может оптимизировать результаты AI, делая их более реалистичными, без дополнительного участия человека. При этом GAN лучше всего работают в более узких сценариях, например при создании реалистичных фото или видео, а не в задачах общего назначения.

Hallucination

Hallucination — это предпочитаемый в AI-индустрии термин для моделей AI, которые выдумывают факты, то есть буквально генерируют неверную информацию. Очевидно, это огромная проблема для качества AI.

Hallucinations могут порождать результаты GenAI, которые вводят в заблуждение и даже могут создавать риски в реальной жизни — с потенциально опасными последствиями, например, если на медицинский запрос приходит вредный совет.

Считается, что проблема выдумывания информации AI возникает из-за пробелов в обучающих данных. Hallucinations подталкивают индустрию к созданию все более специализированных и/или вертикальных AI-моделей — то есть доменно-специфичных AI, которым требуется более узкая экспертиза, — чтобы снизить вероятность пробелов в знаниях и уменьшить риски дезинформации.

Inference

Inference — это процесс запуска AI-модели. По сути, это момент, когда модели дают возможность делать прогнозы или выводы на основе ранее увиденных данных. Важно понимать: inference невозможен без training; модель должна сначала выучить закономерности на наборе данных, чтобы затем эффективно экстраполировать их.

Inference может выполняться на разном оборудовании — от процессоров смартфонов до мощных GPU и специально разработанных AI-ускорителей. Но не все они одинаково хорошо запускают модели. Очень большим моделям понадобилось бы слишком много времени, чтобы делать прогнозы, скажем, на ноутбуке по сравнению с облачным сервером с высокопроизводительными AI-чипами.

См.: Training

Large language model (LLM)

Large language models, или LLM, — это AI-модели, которые используют популярные AI-ассистенты, такие как ChatGPT, Claude, Google Gemini, Meta’s AI Llama, Microsoft Copilot или Mistral’s Le Chat. Когда вы общаетесь с AI-ассистентом, вы взаимодействуете с large language model, которая обрабатывает ваш запрос напрямую или с помощью доступных инструментов, например веб-поиска или code interpreters.

LLM — это глубокие нейросети, состоящие из миллиардов числовых параметров (или весов, см. ниже), которые изучают связи между словами и фразами и создают представление языка, своего рода многомерную карту слов.

Эти модели создаются на основе кодирования закономерностей, найденных в миллиардах книг, статей и расшифровок. Когда вы отправляете запрос LLM, модель генерирует наиболее вероятный паттерн, соответствующий prompt.

(См.: Neural network)

Memory cache

Memory cache — это важный процесс, который ускоряет inference, то есть процесс, с помощью которого AI генерирует ответ на запрос пользователя. По сути, caching — это техника оптимизации, призванная сделать inference более эффективным. AI, очевидно, работает за счет высокоинтенсивных математических вычислений, и каждый раз, когда они выполняются, расходуется дополнительная энергия. Caching нужен, чтобы сократить число вычислений, которые модели приходится выполнять, сохраняя определенные вычисления для будущих запросов и операций пользователя. Существуют разные виды memory caching, хотя один из самых известных — KV (или key value) caching. KV caching работает в transformer-based моделях и повышает эффективность, ускоряя результат за счет сокращения времени и алгоритмических затрат на генерацию ответов пользователям.

(См.: Inference)

Neural network

Neural network — это многослойная алгоритмическая структура, лежащая в основе deep learning и, шире, всего бума generative AI-инструментов после появления large language models.

Хотя идея использовать как основу структуры обработки данных плотно взаимосвязанные пути человеческого мозга восходит еще к 1940-м годам, реальную мощь этой теории раскрыла гораздо более поздняя эра графических процессоров (GPU) — через индустрию видеоигр. Эти чипы оказались хорошо приспособлены для обучения алгоритмов с куда большим числом слоев, чем было возможно раньше, — благодаря чему AI-системы на основе neural network смогли добиться гораздо более высокой производительности во многих областях, включая распознавание речи, автономную навигацию и поиск лекарств.

(См.: Large language model [LLM])

Open source

Open source — это программное обеспечение, а все чаще и AI-модели, исходный код которых открыт для любого пользователя: его можно использовать, изучать или модифицировать. В мире AI яркий пример — семейство моделей Meta Llama; историческая параллель в операционных системах — Linux. Подход open source позволяет исследователям, разработчикам и компаниям по всему миру строить работу на результатах друг друга, ускоряя прогресс и обеспечивая независимые проверки безопасности, которые закрытые системы не могут легко предоставить. Closed source означает, что код закрыт: вы можете пользоваться продуктом, но не видите, как он работает, как в случае с моделями GPT от OpenAI. Это различие стало одним из определяющих споров в AI-индустрии.

Parallelization

Parallelization означает выполнение многих задач одновременно, а не по очереди — как если бы 10 сотрудников работали над разными частями проекта параллельно, вместо того чтобы один выполнял все последовательно. В AI parallelization фундаментальна и для training, и для inference: современные GPU специально созданы для выполнения тысяч вычислений параллельно, и это одна из причин, почему именно они стали аппаратной опорой индустрии. По мере того как AI-системы становятся сложнее, а модели — больше, способность распараллеливать работу между множеством чипов и машин становится одним из важнейших факторов, определяющих, как быстро и экономично модели можно создавать и запускать. Исследования более эффективных стратегий parallelization уже стали самостоятельной областью.

RAMageddon

RAMageddon — это забавный новый термин для совсем не веселого тренда, который охватывает технологическую индустрию: все большего дефицита random access memory, или чипов RAM, которые питают практически все технологические продукты, которыми мы пользуемся каждый день. По мере того как AI-индустрия бурно растет, крупнейшие технологические компании и AI-лаборатории, конкурирующие за самые мощные и эффективные AI-системы, скупают столько RAM для своих дата-центров, что для остальных почти ничего не остается. А это узкое место в поставках означает, что оставшееся дорожает все сильнее.

Это затрагивает и gaming-индустрию, где крупным компаниям пришлось повышать цены на консоли, потому что найти memory chips для устройств стало сложнее; и consumer electronics, где дефицит памяти может привести к самому сильному падению поставок смартфонов более чем за десятилетие; и enterprise computing в целом, потому что компаниям не хватает RAM для собственных дата-центров. Ожидается, что рост цен остановится только после окончания дефицита, но, к сожалению, пока почти нет признаков, что это случится скоро.

Recursive self-improvement

Как и AGI, recursive self-improvement — это пороговый ориентир для того, насколько умным может стать AI и насколько сильно он может меньше опираться на людей. В сценарии RSI модели AI начинают улучшать сами себя без вмешательства человека, что приводит к огромному ускорению способностей и автономности. В некоторых трактовках это стало бы катастрофическим моментом, похожим на singularity, когда модели AI становятся невосприимчивыми к внешнему вмешательству. Но RSI также описывает базовую способность — может ли AI-модель спроектировать собственную преемницу? — что делает эту идею намного более практичной для инженеров. Ряд недавних AI-стартапов поставили целью создать модели с recursive self-improvement, но большинство из них отмахивается от апокалиптических последствий, представляя RSI просто как следующий рубеж исследований.

Reinforcement learning

Reinforcement learning — это способ обучения AI, при котором система учится, пробуя разные действия и получая награды за правильные ответы, — как если бы вы дрессировали любимого питомца лакомствами, только в этой роли выступает нейросеть, а «лакомство» — математический сигнал успеха. В отличие от supervised learning, где модель обучается на фиксированном наборе размеченных примеров, reinforcement learning позволяет модели исследовать среду, совершать действия и непрерывно обновлять свое поведение на основе полученной обратной связи. Этот подход особенно хорошо показал себя при обучении AI играть в игры, управлять роботами и, в последнее время, улучшать способность large language models к рассуждению. Методы вроде reinforcement learning from human feedback, или RLHF, сегодня занимают центральное место в том, как ведущие AI-лаборатории донастраивают свои модели, делая их более полезными, точными и безопасными.

Token

Когда речь заходит о взаимодействии человека и машины, возникают очевидные сложности: люди общаются на естественном языке, а AI-программы выполняют задачи через сложные алгоритмические процессы, основанные на данных. Tokens устраняют этот разрыв: это базовые строительные блоки общения человека и AI, представляющие дискретные сегменты данных, обработанные или созданные LLM. Они формируются в процессе tokenization, который разбивает исходный текст на небольшие единицы, понятные language model, примерно так же, как компилятор переводит человеческий язык в двоичный код, понятный компьютеру. В корпоративной среде tokens также определяют стоимость — большинство AI-компаний берут плату за использование LLM по модели оплаты за token, то есть чем больше использует бизнес, тем больше он платит.

Token throughput

Итак, tokens — это небольшие фрагменты текста, часто части слов, а не целые слова, на которые AI language models разбивают язык перед обработкой; для понимания AI-нагрузок они примерно аналогичны «словам». Throughput означает объем, который можно обработать за определенный промежуток времени, поэтому token throughput — это по сути показатель того, сколько AI-работы система может выполнить одновременно. Высокий token throughput — ключевая цель для команд, занимающихся AI-инфраструктурой, потому что он определяет, сколько пользователей модель может обслуживать одновременно и как быстро каждый из них получает ответ. Исследователь AI Андреj Карпати описывал чувство тревоги, когда его AI-подписки простаивают, — это перекликается с тем, что он чувствовал еще в аспирантуре, когда дорогое компьютерное оборудование использовалось не полностью, — и именно это хорошо объясняет, почему максимизация token throughput стала почти навязчивой идеей в отрасли.

Training

Разработка AI на базе machine learning включает процесс, известный как training. Проще говоря, это подача данных в модель, чтобы она могла учиться на закономерностях и выдавать полезные результаты. По сути, это процесс, в котором система реагирует на характеристики данных, позволяя ей подстраивать выходные данные под заданную цель — будь то распознавание изображений кошек или создание хайку по запросу.

Training может быть дорогим, потому что требует очень большого объема входных данных, а нужные объемы продолжают расти — поэтому гибридные подходы, такие как fine-tuning правил-ориентированной AI-модели на целевых данных, помогают контролировать затраты без необходимости начинать с нуля.

См.: Inference

Transfer learning

Это техника, при которой ранее обученная AI-модель используется как отправная точка для разработки новой модели для другой, но обычно связанной задачи, — так знания, полученные в предыдущих циклах training, можно повторно применять.

Transfer learning может дать выигрыш в эффективности, сокращая путь разработки модели. Он также полезен, когда данных для задачи, под которую создается модель, относительно мало. Но важно помнить, что у подхода есть ограничения. Моделям, которые используют transfer learning для получения общих способностей, вероятно, потребуется дополнительное обучение на новых данных, чтобы хорошо работать в своей целевой области.

(См.: Fine tuning)

Validation loss

Validation loss — это показатель того, насколько хорошо AI-модель учится во время training, и чем он ниже, тем лучше. Исследователи внимательно отслеживают его как своего рода оперативный табель успеваемости, используя для определения, когда остановить training, когда скорректировать hyperparameters или нужно ли проверить возможную проблему. Одна из ключевых проблем, на которую он помогает указывать, — это overfitting, состояние, при котором модель запоминает обучающие данные вместо того, чтобы действительно выучить закономерности, которые можно перенести на новые ситуации. Это как разница между учеником, который действительно понимает материал, и тем, кто просто зазубрил прошлогодний экзамен: validation loss помогает понять, к какому из вариантов ваша модель приближается.

Weights

Weights — это основа обучения AI, потому что они определяют, какое значение или «вес» придается разным признакам или входным переменным в данных, используемых для обучения системы, тем самым формируя выход модели AI.

Иными словами, weights — это числовые параметры, которые определяют, что именно в датасете наиболее важно для конкретной учебной задачи. Они работают за счет умножения на входные данные. Обучение модели обычно начинается с randomly assigned weights, но по мере процесса weights корректируются, когда модель стремится прийти к выходу, который точнее соответствует целевому результату.

Например, модель AI для прогнозирования цен на жилье, обученная на исторических данных рынка недвижимости для конкретного региона, может использовать weights для таких признаков, как число спален и ванных комнат, отдельно стоящий дом или таунхаус, наличие парковки, гаража и так далее.

В конечном счете weights, которые модель присваивает каждому из этих входов, отражают, насколько они влияют на стоимость недвижимости, исходя из конкретного набора данных.

Материал регулярно обновляется по мере появления новой информации.

Если вы покупаете что-то по ссылкам в наших материалах, мы можем получить небольшую комиссию. Это не влияет на нашу редакционную независимость.

Материал — перевод статьи с английского.

Оригинал: So you’ve heard these AI terms and nodded along; let’s fix that