Создание AI-приложений и агентов с Microsoft Foundry
На первый взгляд Microsoft Foundry выглядит как большой набор почти всех AI-сервисов, которые Microsoft предлагала в последние десять лет, плюс несколько новых. По словам Microsoft, Foundry объединяет несколько прежних сервисов и инструментов Azure AI в единую платформу и сводит агентов, модели и инструменты под одной системой управления.
Microsoft Foundry помогает разработчикам приложений создавать и разворачивать агентов, которые могут использовать модели и инструменты. Он также помогает ML-инженерам и data scientists дообучать модели, запускать оценки и управлять развертываниями моделей. Наконец, он помогает ИТ-администраторам и platform engineers управлять AI-ресурсами, применять политики и контролировать доступ между командами. Это не совсем «полироль для полов и десертный топпинг» одновременно, но платформа действительно пытается обслуживать три разные аудитории.
Ключевые возможности Microsoft Foundry для создания агентов включают оркестрацию multi-agent, workflows, каталог инструментов, память, интеграцию знаний и публикацию. Ключевые возможности для эксплуатации и управления включают observability в реальном времени, централизованное управление AI-активами и корпоративные controls.
Microsoft Foundry напрямую конкурирует с Google Cloud Agent Development Kit (ADK), Amazon Bedrock AgentCore и Databricks Agent Bricks. Среди дополнительных конкурентов — OpenAI Agents SDK, LangChain/LangGraph, CrewAI и SmythOS.
Microsoft Foundry Agent Service
Microsoft Foundry Agent Service — удобная платформа, которая ведет вас через разработку, развертывание и масштабирование AI-агентов. Эти агенты используют large language models (LLMs), чтобы обрабатывать сложные запросы, подключаться к другим инструментам и выполнять задачи самостоятельно.
Сервис делит агентов на три основные категории: prompt agents, которые легко настраиваются и подходят для быстрого тестирования идей; workflow agents, которые представляют собой визуальные или основанные на YAML инструменты для упрощения автоматизации нескольких шагов; и hosted agents, которые являются контейнерами и позволяют управлять собственным кодом, а также фреймворками вроде LangGraph.
В Microsoft Foundry также есть каталог моделей — как новых, так и известных, — и каталог инструментов, который включает веб-поиск, управление памятью и выполнение кода.
Платформа использует guardrails и controls для безопасности, включая защиту от prompt injection. Кроме того, она поддерживает частные сети, версионирование, управление инфраструктурой и полноценный мониторинг.
Microsoft Foundry Agent Service принимает входные данные из сообщений пользователя, системных событий и сообщений агентов. Агент объединяет large language model с инструкциями и вызовами инструментов. Инструменты могут извлекать данные, выполнять действия и предоставлять память. Агенты могут отправлять сообщения агентам и выдавать структурированный вывод.
Microsoft Foundry Models — это набор AI-архитектур, включая фундаментальные модели, reasoning models и модели, адаптированные под конкретные домены, от Microsoft и других компаний. Эти модели разделены на те, которые можно купить напрямую через Azure, и те, что предоставлены сообществом. Такое разделение помогает понять, насколько сильной будет прямая поддержка Microsoft и насколько хорошо модели впишутся в существующую облачную среду.
Модели Microsoft поставляются с официальными соглашениями об уровне сервиса и хорошо интегрированы, тогда как модели партнеров вроде Anthropic и Meta позволяют изучать инновации по их собственным правилам.
Использовать платформу можно двумя основными способами: managed compute и serverless deployments. Managed compute означает, что вы получаете собственные виртуальные машины, где хранятся веса модели. Это удобно для сложных задач вроде fine-tuning и управления жизненным циклом модели через Azure Machine Learning, но виртуальные машины стоят денег, пока они активны. Serverless deployments дают удобный доступ к моделям Microsoft через API, а оплата обычно зависит от количества использованных токенов, а не от объема аппаратных ресурсов.
Чтобы повысить безопасность, платформа содержит встроенные фильтры content safety, которые отслеживают нежелательный контент, а при необходимости вы можете изолировать данные, отключив публичный доступ к сети и используя private endpoints для всех проектов в hub.
При выборе моделей стоит обратить внимание на Foundry model leaderboard, который находится во вкладке Discover/Models в «новом» Foundry.
Сравнение вариантов managed compute и serverless deployment для моделей в Microsoft Foundry. За managed compute взимается плата по часам работы ядер виртуальных машин; за serverless deployments — по использованию, измеряемому в токенах.
Рейтинг моделей Foundry. Обратите внимание, что модели с самым высоким качеством не обязательно самые безопасные, быстрые или дешевые. Диаграмму можно сортировать по любому столбцу.
Microsoft Foundry Control Plane
Microsoft Foundry Control Plane — это, по сути, панель управления, которая помогает видеть все ваши AI-агенты, модели и инструменты в одном месте. Она собирает административные данные из разных проектов в единый обзор, чтобы было проще отслеживать, как все работает. Кроме того, она позволяет следить за производительностью, затратами и соответствием требованиям из одной точки.
Control Plane разделяет управление на отдельные области, например панель Assets. Эта панель ведет список всех AI-ресурсов, чтобы их было легко находить и оценивать состояние. Она также отслеживает происходящее во время работы и выдает health score, чтобы заранее замечать проблемы. Панель Compliance задает корпоративные правила с помощью Microsoft Defender и Purview. Она собирает security alerts и нарушения политик и помогает устранять их централизованно, чтобы все пользовались агентами безопасно и в рамках правил.
Панели Admin и Quota отслеживают, кто что может делать и сколько ресурсов использует. Это помогает контролировать расходы и не допускать захвата ресурсов отдельными пользователями. Control Plane также поддерживает стабильную работу за счет инструментов, которые автоматически проверяют уязвимости, например prompt injection, и дают рекомендации по улучшению промптов на основе происходящего.
Observability, evaluation и tracing
Observability в Foundry Control Plane — это набор инструментов для наблюдения за системами и их исправления во время работы, при этом он помогает сохранять высокое качество и безопасность вывода. В экосистеме Microsoft Foundry это разделено на три основные области: проверку, наблюдение и отслеживание пути.
Сначала идет evaluation — своего рода работа детектива, где специальные инструменты оценивают, насколько хорошо модель собрана и безопасна ли она, например проверяя вредоносные материалы или скрытые bias. Вы даже можете добавить собственные evaluators, чтобы адаптировать проверку под свои требования. Также есть встроенные инструменты, которые дают представление о текущем качестве работы.
Затем идет production monitoring, то есть наблюдение за приложениями в реальном времени. Оно интегрируется с Azure Monitor, чтобы следить за тем, сколько ресурсов используется, насколько система медленная и насколько хорошо она работает. Если что-то идет не так, вы получаете оповещения, чтобы команда могла быстро исправить проблему.
Наконец, distributed tracing использует OpenTelemetry, чтобы показать, как именно работают ваши AI-агенты. Это дает ясную картину, которая помогает понять сложные рассуждения или увидеть, где приложение тормозит. Эти инструменты можно применять с самого начала: проверять модели, убеждаться, что все хорошо до запуска, и отслеживать изменения после развертывания.
Developer experience
Microsoft Foundry позволяет разрабатывать агентные приложения на четырех языках программирования: Python, C#, TypeScript/JavaScript и Java. При этом подавляющее большинство примеров и solution templates написаны на Python, обычно с использованием файлов настройки Microsoft Bison для Azure. Вы можете использовать Visual Studio Code или любой другой IDE по выбору. Для работы нужны права на проект и AI в Azure. Также для многих solution templates понадобятся Azure CLI (az) и Azure Developer CLI (azd). Если вы используете Visual Studio Code, понадобится расширение Foundry. Если в вашей среде еще не установлен Git, его стоит установить сразу, потому что он понадобится для клонирования sample repos SDK Foundry.
При желании можно настроить Claude Code для Microsoft Foundry. Это позволяет запускать coding agent на инфраструктуре Azure, сохраняя данные внутри границ compliance. Однако в такой конфигурации Claude models все равно нужно запускать через их Azure API и платить по токенам, даже если у вас оформлена подписка Claude с фиксированной ценой.
Сейчас доступно более десятка AI-шаблонов (или 18, если войти в «новый» Foundry и открыть Solution templates в разделе Discover), которые помогают начать работу с Microsoft Foundry. Хорошим первым проектом будет шаблон Get Started with Chat.
Для быстрого прототипирования, изучения API и технической валидации можно использовать on-demand Foundry playgrounds, экспериментировать с моделями и проверять идеи. Рекомендуется использовать playgrounds до написания production code. Доступны четыре отдельные площадки: для моделей, агентов, видео и изображений.
LangChain — это фреймворк для разработки приложений на основе языковых моделей. Он позволяет моделям подключаться к источникам данных и взаимодействовать со своей средой. LangGraph расширяет возможности LangChain для построения multi-actor или agentic-приложений за счет оркестрации агентов. Вы можете совмещать LangChain и LangGraph с моделями Microsoft Foundry и другими возможностями с помощью Python-пакета langchain-azure-ai.
У Foundry есть два типа agent workflows: declarative и hosted. Declarative agent workflows задают заранее определенные последовательности действий для агентов с помощью YAML-конфигураций вместо явной логики программирования; после тестирования из YAML можно сгенерировать код. Hosted workflows позволяют нескольким агентам работать последовательно, у каждого из них свои модели, инструменты и инструкции.
Foundry MCP Server (preview) — это облачная версия Model Context Protocol (MCP). Он предоставляет набор инструментов, которые позволяют агентам взаимодействовать с сервисами Foundry, читая и записывая данные, без прямого подключения к back-end API.
Fireworks AI в режиме preview интегрирован с Microsoft Foundry. Это дает возможность использовать новейшие open-source модели и переносить собственные модели на инфраструктуру Fireworks с GPU.
Это решение Get started with AI chat разворачивает веб-приложение для чата с AI-возможностями, работающее в Azure Container App. Оно использует проекты Microsoft Foundry и Foundry Tools для интеллектуального чат-функционала и поддерживает retrieval-augmented generation (RAG) через Azure AI Search. Значимых механизмов безопасности в нем нет.
Microsoft Foundry SDKs
Сейчас Microsoft Foundry предлагает четыре SDK, каждый из которых реализован на четырех языках программирования: Python, C#, TypeScript/JavaScript и Java. Выбирая путь разработки, используйте Microsoft Foundry SDK, если создаете приложения, которые работают с агентами, evaluations или уникальными возможностями Foundry. Если приоритет — максимальная совместимость с OpenAI API или доступ к direct models Foundry через Chat Completions, лучше подойдет OpenAI SDK. Для специализированных задач с AI-сервисами вроде Azure Vision, Azure Speech или Azure Language используйте Foundry Tools SDKs. Agent Framework стоит внедрять, когда цель — оркестрация multi-agent systems через локальный код.
Guardrails and Responsible AI
Внедрение guardrails повышает безопасность моделей и агентов, обнаруживая вредоносный контент, улучшая взаимодействие с пользователями и снижая риски AI-вывода. В Microsoft Foundry guardrails можно применять к одной или нескольким моделям и к одному или нескольким агентам в проекте. Как и раньше, обрабатываемые риски относятся к категориям hate, sexual, violence и другим, а пороги severity для content risks могут быть от off до high. Guardrails можно применять в четырех точках вмешательства: user input, tool call, tool response и output.
Чтобы соответствовать политике Microsoft Responsible AI, Microsoft рекомендует разработчикам Foundry выявлять риски качества, безопасности и security до и после развертывания; защищать модельный вывод и runtime агента от security-рисков, нежелательных результатов и небезопасных действий; а также управлять агентами через tracing, monitoring и compliance-интеграции.
Тестирование Foundry Agents Playground
Предшественником Microsoft Foundry в 2024 году был Azure AI Studio. Одной из самых полезных частей AI Studio для меня был Playground, где можно было найти десятки примеров удачных сочетаний инструкций, prompt, model, а также сам Playground для тестирования собственных вариантов. Я писал об этом в своем руководстве по разработке generative AI. С тех пор Playground эволюционировал для агентов, но примеры, похоже, ушли на второй план при переходе к Microsoft Foundry. Новый playground находится в разделе Build/Agents/Playground.
На скриншоте Foundry Agents Playground ниже я задал системную инструкцию: «Ты — аккуратный исследователь, который никогда не выдумывает ответы и всегда приводит источники», а в запросе попросил его пересказать объемный текст Кьеркегора «Заключительное ненаучное послесловие», который я изучал в колледже. Такие системные инструкции обычно помогают моделям держаться в рамках, но не всегда предотвращают выдумывание цитат. Сгенерированные цитаты могут выглядеть правдоподобно, хотя по сути являются фальшивками, как уже выяснили несколько юристов, к сожалению для своей карьеры. Если вы используете generative AI, вы по-прежнему отвечаете за любые ответы, которыми пользуетесь, поэтому все нужно тщательно проверять, даже если это звучит убедительно.
Кстати, в документации Microsoft Foundry есть неплохой обзор prompt engineering techniques. Но он, конечно, не такой занимательный, как прежние примеры.
Agents playground Microsoft Foundry, доступный в разделе Build, — удобное место для проверки моделей, инструментов, guardrails, инструкций и prompts. Здесь я попросил агента пересказать «Заключительное ненаучное послесловие» Кьеркегора, задав системную инструкцию «Ты — аккуратный исследователь, который никогда не выдумывает ответы и всегда приводит источники», и используя open-weight mixture-of-experts (MoE) модель gpt-oss-120b от OpenAI. По памяти текста сводка выглядит довольно хорошо, хотя я не проверял точность сгенерированных ссылок.
Тестирование решения Foundry
Я попробовал один из 18 шаблонов Microsoft Foundry — «Get started with AI agents». Весь процесс занял у меня около часа, почти полностью выполнялся в облаке и обошелся в $0.02. Да, два цента. Код можно найти на GitHub в репозитории Azure-Samples.
README-документ для «Getting started with agents using Microsoft Foundry» — базового sample solution для развертывания AI-агентов и веб-приложения с Azure AI Foundry и SDK. Обратите внимание на схему архитектуры решения примерно на двух третях документа.
Начиная с GitHub-репозитория, можно нажать кнопку «Open in GitHub Codespaces» или кнопку «Dev Containers» в разделе Getting Started. Я использовал первый вариант, который по сути открывает VM-based среду Visual Studio Code в облаке Azure. Второй вариант открывает среду VS Code на локальной машине и подключает ее к development container в облаке Azure.
Решение «Getting started with agents using Microsoft Foundry» открыто и запущено в GitHub Codespaces. На этом этапе команда azd up уже завершилась и выдала endpoint для веб-интерфейса.
В этом решении агент использует Azure AI Search для поиска знаний по векторной базе данных и включает встроенный мониторинг для устранения неполадок и оптимизации производительности. По сути, это retrieval-augmented generation (RAG) в форме веб-агента.
Запущенный агент отвечает на вопросы о загруженном каталоге продуктов. Этот AI-ассистент может выполнять часть задач, которые в противном случае пришлось бы делать человеку — по телефону или в переписке с потенциальным клиентом.
Итог
В целом Microsoft Foundry хорошо показал себя в моем тесте одного из ключевых сценариев — помощи разработчикам приложений в создании и развертывании агентов, использующих модели и инструменты. Удобство работы я оценил как хорошее, выбор моделей — как сильный, Agents Playground — как отличный, а поддержку типов агентов и фреймворков — как очень хорошую.
Мне понравился Microsoft Foundry примерно так же, как понравился Google ADK (обзор здесь), и лучше, чем Amazon Bedrock AgentCore (обзор здесь). Я не тестировал fine-tuning моделей и возможности ИТ-администрирования Microsoft Foundry.
Стоимость
Платформа бесплатна; оплата взимается на уровне развертывания.
Платформа
Microsoft Azure
Плюсы:
- Microsoft Foundry предлагает множество возможностей, которые разработчики приложений могут использовать для создания и развертывания агентов.
- Agents playground Microsoft Foundry — удобный интерактивный способ разработки и тестирования агентов.
- Microsoft Foundry предлагает около 18 шаблонов решений, чтобы вы могли быстрее начать работу.
- Цены выглядят вполне разумными.
Минусы
- Документация Microsoft Foundry настолько обширна, что может отпугнуть.
- Чтобы освоиться в среде разработки, требуется время.
Материал — перевод статьи с английского.
Оригинал: Building AI apps and agents with Microsoft Foundry