Débutez avec l’agent d’ingénierie des données Fabric (Project Osmos) - aperçu

Dans ce démarrage rapide, vous installez la compétence de l’agent d’ingénierie des données Fabric (Project Osmos) pour GitHub Copilot CLI, Claude Code ou Codex, créez une tâche pour un lakehouse Fabric, puis ouvrez la tâche dans Fabric.

Dans ce guide de démarrage rapide, vous :

  • Vérifiez les prérequis de Fabric et les prérequis locaux
  • Installez le plug-in Skills for Fabric, qui inclut la compétence agent d’ingénierie des données (Project Osmos)
  • Créez une tâche qui met en œuvre une architecture en médaillon pour le commerce de détail
  • Examinez les paramètres d’exploitation
  • Surveillez la tâche dans votre maison au bord du lac Fabric

Important

L’agent d’ingénierie des données (Project Osmos) est en aperçu. Les fonctionnalités de prévisualisation sont publiées avec des capacités limitées et sont soumises à des conditions supplémentaires distinctes pour les prévisualisations. Ils ne sont pas destinés à la production, ne sont pas soumis à des accords de niveau de service, et peuvent être disponibles uniquement dans certaines régions. Pour plus d’informations, consultez les informations d’aperçu de Microsoft Fabric.

Prerequisites

Confirmez ces exigences avant de commencer :

  • Un espace de travail Fabric attribué à une capacité Fabric éligible. Les SKU d'essai Fabric ne sont pas pris en charge.
  • Une maison au bord du lac dans cet espace de travail
  • Autorisation de niveau Contributeur ou supérieur sur l’espace de travail
  • Activez les paramètres du locataire suivants pour votre compte et votre capacité :
    • Les utilisateurs peuvent utiliser Copilot et d’autres fonctionnalités optimisées par Azure OpenAI
    • Les utilisateurs peuvent utiliser Copilot, AI Agents et d’autres expériences IA propulsées par OpenAI comme sous-processeur Microsoft (fortement recommandé pour les meilleures performances, mais pas obligatoire)
  • Les paramètres du locataire suivants s’appliquent uniquement si votre capacité se trouve dans une région où OpenAI n’est pas disponible :
    • Les données envoyées à OpenAI en tant que sous-processeur Microsoft peuvent être traitées en dehors de la région géographique de votre capacité, de la limite de conformité ou de l'instance cloud nationale de votre capacité
    • Les données envoyées à Azure OpenAI peuvent être stockées en dehors de la région géographique de votre capacité, de la limite de conformité ou de l’instance de cloud nationale
  • Dans vos paramètres de capacité, activer la transformation des données par IA est recommandée mais pas obligatoire
  • Service de contrôle d’accès Azure (CLI)
  • Un agent local soutenu :

Pour des conseils de configuration, voir Activer et configurer Copilot dans Microsoft Fabric.

Comprendre le réglage du sous-traitant ultérieur OpenAI

Le paramètre Les utilisateurs peuvent utiliser Copilot, AI Agents et d’autres expériences IA propulsées par OpenAI en tant que sous-traitant de Microsoft contrôle l’accès aux modèles exploités par OpenAI. Ces modèles sont distincts des modèles Azure OpenAI, que Microsoft exploite.

Pour Project Osmos, le cadre a l’effet suivant :

Setting Effet sur le Project Osmos
Activé pour votre compte et la capacité Permet l’utilisation de modèles opérés par OpenAI, sous réserve de la disponibilité du modèle, de la région et des autres paramètres requis.
Disabled Project Osmos peut toujours être utilisé avec le paramètre Azure OpenAI requis activé, mais les modèles gérés par OpenAI ne sont pas disponibles via ce paramètre.

Ce paramètre optionnel ne remplace pas Les utilisateurs peuvent utiliser Copilot et d'autres fonctionnalités basées sur Azure OpenAI, ni les paramètres applicables de traitement et de stockage régionaux. Son nom affiché ne signifie pas que le désactiver désactive toutes les expériences Copilot ou IA.

Avant de l'activer, examinez les exigences de traitement des données de votre organisation et consultez OpenAI en tant que sous-traitant dans Microsoft Fabric. Pour la configuration du locataire et de la capacité déléguée, voir Paramètres du locataire pour Copilot et Agent.

Installez la compétence de l’agent d’ingénierie des données (Project Osmos)

La compétence agent d’ingénierie des données (Project Osmos) est incluse dans la collection Skills for Fabric.

  1. Connectez-vous à Azure avec une identité qui peut accéder à l’espace de travail cible et au lakehouse :

    az login

    Si vous avez accès à plusieurs locataires Microsoft Entra, connectez-vous au locataire qui contient votre espace de travail Fabric.

  2. Ensuite, utilisez les commandes de votre agent local pour ajouter le marché Skills for Fabric et installer la collection Fabric.

    Démarrez la CLI de GitHub Copilot :

    copilot

    Exécutez ces commandes dans la CLI de GitHub Copilot :

    /plugin marketplace add microsoft/skills-for-fabric
/plugin install fabric-skills@fabric-collection

  1. Redémarrez GitHub Copilot CLI pour que les nouvelles compétences soient prises en compte.

    /quit

  2. Vérifiez l’installation. Démarre à nouveau GitHub Copilot CLI et exécute :

    /skills

Confirmez que le Project Osmos, affiché en project-osmos, est disponible.

Utilisez l’agent d’ingénierie des données (Project Osmos)

Décrivez le résultat complet de l’ingénierie des données que vous souhaitez que l’agent d’ingénierie des données (Project Osmos) fournisse. Incluez l’espace de travail, le lakehouse, les données sources, les transformations, les résultats attendus et les exigences de validation :

Décrivez la tâche complète d’ingénierie des données de bout en bout. L’agent d’ingénierie des données (Project Osmos) le reçoit comme un seul project.

Incluez ce qui suit :

  • Sources : Tableaux, dossiers, fichiers, carnets ou ressources OneLake
  • Transformations : Nettoyage, jointures, filtres, calculs ou modifications de schéma
  • Résultats : Tableaux, carnets, fichiers ou résumés
  • Validation : Nombre de lignes, vérifications nulles, unicité, rapprochement ou règles métier

Les sources et les sorties ne sont pas limitées à l’espace de travail où vous avez créé la tâche. Si vous avez la permission d’accéder à une ressource, la tâche peut y accéder en votre nom.

Par exemple:

Use Project Osmos in the Fabric workspace Sales Analytics and the lakehouse
SalesLakehouse.

Load the Orders and Customers tables, remove orders without a customer ID,
join the tables on customer ID, and calculate monthly revenue by customer
segment. Save the result as a Delta table named monthly_segment_revenue.
Validate row counts, null customer IDs, and negative revenue values.

Votre agent local résout l’espace de travail et la maison du lac, collecte les choix de sécurité et de sortie nécessaires, et crée une tâche Project Osmos à distance. Il fournit un lien de tâche Fabric pour suivre l’avancement.

Vous n’avez pas besoin de trouver les identifiants de l’espace de travail ou de la maison du lac, ni de décomposer le travail en étapes plus simples. Spécifiez leurs noms ou fournissez l’URL d’un lakehouse Fabric, puis soumettez le résultat complet sous la forme d’une seule tâche. Project Osmos s’occupe de la planification, du séquençage et de la validation.

Révisez les paramètres de la tâche

Avant le début de la course, l’agent d’ingénierie des données (Project Osmos) classe la tâche et recommande les paramètres.

Setting Question de révision
Limite d’autorisation Quelles ressources nommées la tâche doit-elle considérer comme accessibles en lecture seule ou en écriture ?
Schéma de sécurité Les écritures doivent-elles utiliser le staging, le clone-and-promote, ou l’itération directe ?
Promouvoir l’étape Comment une sortie échelonnée vérifiée devrait-elle devenir la sortie finale ?
Sémantique de rediffusion En cas d’échec d’une nouvelle exécution, faut-il ajouter aux données existantes, les dédupliquer ou les remplacer ?
Évolution du schéma Le schéma de sortie peut-il changer, et sous quelles contraintes ?
Format d’artefact Le Project Osmos doit-il sauvegarder un carnet ou un autre artefact ?
Destination des artefacts Où faut-il stocker les artefacts générés ?
Effort de raisonnement Dans quelle mesure le Project Osmos devrait-il explorer les options de mise en œuvre ?

Vous pouvez modifier n’importe lequel des réglages recommandés.

Important

La limite des permissions guide la tâche, mais les autorisations Fabric et OneLake restent la limite d’application. Protégez les ressources sensibles avec les autorisations de la plateforme.

Surveillez la tâche

Après avoir accepté les paramètres, l’agent d’ingénierie de données Fabric (Project Osmos) exécute la tâche avec des agents spécialisés dans SparkCore, renvoie un identifiant de tâche, puis ouvre une page Fabric lakehouse qui comprend :

  • Détails du questionnaire d’admission
  • Spécification
  • État actuel
  • Activité de l’agent

Comme la tâche s’exécute dans Fabric sur SparkCore au lieu de votre machine locale, elle continue lorsque votre ordinateur est éteint. Pour suivre la progression, sélectionnez votre maison au lac dans Fabric, puis sélectionnez la tâche dans l’explorateur de la maison du lac. Vous pouvez aussi demander à votre agent local le statut de la mission.

L’exécution de tâches utilise à la fois des jetons de modèles de langage et le calcul Spark, incluant les tests et les exécutions de validation. Avant de lancer plusieurs tâches sur une capacité partagée, examinez la consommation de capacité du Project Osmos et Planification de l’utilisation de la capacité partagée.

Conseils d’utilisation

  • Utilisez Project Osmos via un agent local tel que GitHub Copilot CLI, Claude Code ou Codex. L'interaction directe avec Project Osmos depuis Copilot via le portail Fabric n'est pas actuellement prise en charge.
  • Spécifiez l’espace de travail et le lakehouse souhaités en indiquant leur nom, ou fournissez l’URL Fabric d’un lakehouse. Tu n’as pas besoin de trouver les pièces d’identité toi-même.
  • Utilisez Project Osmos pour l’ingénierie des données de bout en bout impliquant des maisons lacustres, OneLake, Spark, des carnets et des tables.
  • Demandez à votre agent local de vérifier le statut d’une tâche à distance, d’envoyer des instructions de suivi, d’annuler la tâche ou de la supprimer.
  • Pour continuer à travailler avec une tâche existante, fournissez son identifiant de tâche ou son lien de tâche Fabric.
  • Examinez les choix proposés d’exécution et de sécurité avant d’autoriser des modifications des données importantes ou de production.

Créez votre première tâche

Cet exemple ne nécessite qu’une maison de lac vide. Project Osmos crée les données d’exemple et tous les artefacts nécessaires ; vous pouvez donc utiliser le produit sans avoir à préparer le lakehouse au préalable.

Utilisez Project Osmos pour créer une petite architecture en médaillon pour le commerce de détail. Demandez d’abord à votre agent local d’utiliser Project Osmos :

Create a Project Osmos task

Après avoir identifié votre lakehouse par son nom ou son URL, il vous est demandé de définir un objectif pour votre projet. Entrez les informations suivantes :

Use Project Osmos to set up a simple retail medallion architecture in this
empty lakehouse. Create small sample CSV files for customers, products, and
sales under Files/landing. Build bronze tables that preserve the source data,
silver tables that clean and standardize it, and gold tables named
gold_daily_sales and gold_customer_sales.
Create three notebooks named 01_load_bronze, 02_transform_silver, and
03_build_gold that move the data through the layers. Run the notebooks in
order, and validate row counts, key uniqueness, referential integrity, and
revenue totals at each layer.

Soumettez l’ensemble du prompt comme une seule tâche. Project Osmos planifie et séquence le travail, crée les données d’exemple, les tableaux et les carnets, exécute les carnets dans SparkCore, et vérifie les résultats.

Lorsque la tâche est terminée, examinez ces artefacts :

  • Des tableaux en bronze des clients, produits et ventes qui conservent les données sources de l’échantillon
  • Tables argentées avec types de données standardisés, clés valides et enregistrements nettoyés
  • Tables en or avec des résumés quotidiens des ventes et des ventes au niveau des clients
  • Trois notebooks qui documentent et permettent d’exécuter le passage entre les couches
  • Résultats de validation pour le nombre de lignes, les clés, les relations et les totaux de revenus

Exemples supplémentaires de résultats de projets pour des cas d’utilisation complexes

Le projet Osmos est conçu pour couvrir l’ensemble des besoins en ingénierie des données, y compris des travaux exigeant une connaissance des applications d’entreprise, l’exploration d’architectures lakehouse, des expérimentations de mise en œuvre ainsi que la validation. Une demande envoyée à GitHub Copilot sans Project Osmos peut produire un carnet ou un plan de code plausible, mais elle n'utilise pas le flux de travail Project Osmos pour inspecter le lakehouse en ligne, comparer les options d'implémentation, exécuter le code dans Fabric SparkCore, et continuer à affiner la solution à partir des résultats réels.

Créer un modèle de cycle de vie client Dynamics 365

Ce résultat concis du project invite Project Osmos à découvrir les données d’application disponibles :

Use Project Osmos to create a trusted customer lifecycle model from the Microsoft Dynamics 365 data in this lakehouse.

Comment Project Osmos pourrait l’aborder : Project Osmos explore le lakehouse pour déterminer quelles applications Dynamics 365 et quelles tables Dataverse sont disponibles. Il identifie des structures telles que les comptes, contacts, prospects, opportunités, activités, cas, commandes et factures ; cartographie leurs relations et valeurs de statut ; et évalue comment représenter le parcours client depuis l’acquisition jusqu’aux ventes et au service. Il exécute le code SparkCore pour valider la couverture des relations, les clients en double, les activités orphelines, les totaux du pipeline, le rapprochement des commandes et des factures, ainsi que les calculs liés aux étapes du cycle de vie.

Pourquoi Project Osmos est mieux adapté : Sans Project Osmos, GitHub Copilot dépend de vous pour identifier les tables Dynamics 365 et Dataverse pertinentes, expliquer leurs relations et valeurs d’options, et exécuter chaque version. Le Project Osmos peut partir du résultat, étudier la maison du lac et affiner la mise en œuvre en fonction des résultats mesurés.

Modèle de données SAP de la commande à l’encaissement

Cet objectif concis du projet demande à Project Osmos de déterminer comment les données SAP sont représentées dans votre lakehouse et de créer un modèle order-to-cash utile :

Use Project Osmos to build an order-to-cash model from the SAP data in this lakehouse.

Comment Project Osmos pourrait l’aborder : Project Osmos explore le lakehouse afin d’identifier les données SAP disponibles sur les commandes client, les livraisons, la facturation, les clients et le flux de documents. Il recherche des structures telles que VBAK/VBAP, LIKP/LIPS, VBRK/VBRP, KNA1 et VBFA, ou des vues extraites équivalentes. Il examine les schémas et les valeurs d’échantillonnage, détermine si l’extraction ressemble aux structures SAP S/4HANA ou SAP ECC, et teste les jointures alternatives et la logique de flux documentaire. Il construit ensuite des tables et des carnets sélectionnés et effectue des vérifications SparkCore pour détecter les clés métier en double, les liens manquants de documents, les incompatibilités de quantités et la rapprochement entre les commandes et les factures.

Pourquoi Project Osmos est mieux adapté : GitHub Copilot utilisé sans Project Osmos nécessiterait que vous localisiez les tables pertinentes, expliquiez les relations SAP, fournissiez des schémas, exécutiez le code généré et renvoyiez des erreurs ou résultats pour chaque révision. Project Osmos effectue cette découverte et cette exécution dans le cadre d’une tâche Fabric persistante qui s’exécute de manière autonome sur SparkCore.

Concilier les finances de NetSuite

Ce résultat détaillé du project fournit les règles métier tout en laissant les détails de la mise en œuvre au Project Osmos :

Use Project Osmos to create a financial reconciliation model from the NetSuite
data already loaded in this lakehouse. Preserve subsidiary, accounting period,
transaction, transaction line, account, accounting book, department, class,
location, transaction currency, and base currency. Build a monthly trial
balance with debit, credit, and net balances by subsidiary and account. Account
for intercompany transactions, elimination subsidiaries, and exchange rates.
Identify unbalanced entries, unmapped accounts, and periods that don't reconcile
to the source. Save the transformation and validation notebooks, and don't
modify the source tables.

Comment Project Osmos pourrait l’aborder : Project Osmos examine comment les transactions NetSuite, les lignes de transaction, les comptes, les filiales, les périodes comptables, les devises et les livres comptables sont représentés dans le lakehouse. Il évalue les options de comptabilisation, de consolidation, d’élimination et de conversion de devise, et utilise des sorties intermédiaires pour comparer les résultats. Il exécute les carnets dans SparkCore et valide l’équilibre des journaux, l’exhaustivité des documents, la couverture cartographique et les totaux source-output avant de produire les tableaux finaux.

Pourquoi Project Osmos est mieux adapté : La génération de code seule peut encoder les jointures et les calculs, mais elle ne peut pas déduire de manière fiable comment une extraction NetSuite spécifique représente les publications, les livres comptables, les éliminations et les taux de change, ni prouver que le résultat se concilie sans boucle d'exécution et de validation itératif.

Créez un pipeline Salesforce et des indicateurs de prévision

Use Project Osmos to build a trusted sales pipeline and forecast model from the
Salesforce data in this lakehouse. Preserve account, opportunity, owner,
product, stage, amount, probability, close date, forecast category, creation
date, and stage-history details. Produce current pipeline, stage conversion,
sales-cycle duration, pipeline coverage, forecast accuracy, and slipped-deal
metrics by region, segment, product, and owner. Handle deleted records, currency
conversion, changing opportunity ownership, and historical stage snapshots.
Save the notebooks, and validate the metrics against available Salesforce
totals and prior-period snapshots.

Comment Project Osmos pourrait l’aborder : Project Osmos cartographie les objets Salesforce disponibles et extrait les données Account, Opportunity, OpportunityHistory, OpportunityLineItem, Product2, User et de prévision. Il compare les approches de l’état actuel, basées sur l’historique et les instantanés périodiques, et teste comment l’extraction représente la monnaie, les suppressions, les changements de propriétaire et les transitions d’étape. Il exécute des implémentations candidates dans SparkCore et compare les totaux de pipelines, les taux de conversion, les résultats de prévision et les instantanés historiques.

Pourquoi Project Osmos est mieux adapté : Ce résultat nécessite plus qu’un Spark syntaxiquement correct. Project Osmos combine le raisonnement du domaine Salesforce avec l'inspection en temps réel, l'exécution répétée et la réconciliation pour trouver une implémentation qui correspond à la stratégie réelle d'extraction et d'historique du client.

Moderniser un pipeline lakehouse existant

Use Project Osmos to assess the existing sales ingestion and transformation
notebooks in this lakehouse. Replace full reloads with an idempotent incremental
design, preserve late-arriving updates, prevent duplicate business keys, add
quarantine handling for invalid records, and create validation tables that
compare each run with the source. Keep existing downstream table names and
schemas unless a change is required. Test the new design against representative
data, compare it with the current implementation, and document the migration
and rollback steps.

Comment Project Osmos pourrait l’aborder : Project Osmos inspecte les notebooks, les tables, les schémas et les modèles de données actuels, compare les options de watermark, de fusion et de suivi des modifications, et teste le comportement en cas d’échec et lors des réexécutions. Il exécute les deux implémentations dans SparkCore contre des cibles à étages et compare le nombre de lignes, les clés dupliquées, la gestion des mises à jour tardives, la compatibilité des schémas et les totaux de sortie.

Pourquoi Project Osmos est mieux adapté : Les agents de codage utilisés seuls peuvent suggérer un schéma incrémental, mais vous devez fournir le contexte d’implémentation et exécuter chaque test. Le Project Osmos évalue la maison lacustre existante et valide les conceptions concurrentes avant de recommander et de mettre en œuvre l’approche plus sûre.

Mise à jour des compétences pour Fabric

Dans GitHub Copilot CLI ou Claude Code, mettez à jour la collection Fabric installée :

/plugin update fabric-skills@fabric-collection

Pour le Codex, exécuter codex plugin marketplace upgrade fabric-collection, puis exécuter codex plugin add fabric-skills@fabric-collection.

Limitations actuelles

  • L'agent d'ingénierie des données (Project Osmos) n'est actuellement pas disponible pour les espaces de travail disposant de la protection d'accès sortant activée.

Contenu connexe

  • Dernière mise à jour :