Aloita Fabric data engineering agentin (Project Osmos) kanssa – esikatselu

Tässä pikakäynnistyksessä asennat Fabric data engineering agent (Project Osmos) -taidon GitHub Copilot CLI:lle, Claude Codelle tai Codexille, luot tehtävän Fabric-järvenrakennukseen ja avaat tehtävän Fabric-tilassa.

Tässä pikaaloituksessa sinä:

• Vahvista Fabric ja paikalliset edellytykset
• Asenna Skills for Fabric -lisäosa, joka sisältää data engineering agent (Project Osmos) -taidon
• Luo tehtävä, joka toteuttaa vähittäiskaupan medallion-arkkitehtuurin
• Käy läpi käyttöasetukset
• Seuraa tehtävää Fabric-järven mökissä

Edellytykset

Varmista nämä vaatimukset ennen kuin aloitat:

• Fabric-työtila, joka on osoitettu kelvollisille Fabric-kapasiteeteille. Fabric Trial -SKU:t eivät ole tuettuja.
• Järvimajja siinä työtilassa
• Osallistujan tai korkeamman käyttöoikeuden työtilassa
• Ota seuraavat vuokralaisasetukset käyttöön tilillesi ja kapasiteetillesi:
  • Käyttäjät voivat käyttää Azure OpenAI:n mahdollistamia Copilot ja muita ominaisuuksia
  • Käyttäjät voivat käyttää Copilot-, AI-agentteja ja muita OpenAI:n pohjaisia tekoälykokemuksia Microsoft-aliprosessorina (erittäin suositeltavaa parhaan suorituskyvyn vuoksi, mutta ei pakollista)
• Seuraavat vuokralaisasetukset koskevat vain, jos kapasiteettisi on alueella, jossa OpenAI ei ole saatavilla:
  • OpenAI:lle Microsoft-aliprosessorina lähetetty data voidaan käsitellä kapasiteettisi maantieteellisen alueen, vaatimustenmukaisuuden tai kansallisen pilvi-instanssin ulkopuolella
  • Azure OpenAI:iin lähetetyt tiedot voidaan tallentaa kapasiteettisi maantieteellisen alueen, yhteensopivuusrajan tai kansallisen pilvipalveluesiintymän ulkopuolelle.
• Kapasiteettiasetuksistasitekoälydatan muunnoksen käyttöönotto on suositeltavaa, mutta ei pakollista
• Azure CLI
• Tuettu paikallinen edustaja:
  • GitHub Copilot CLI asennettu ja todennettu
  • Claude-koodi
  • Codex ja Git

Konfiguraation ohjeita varten katso Ota käyttöön ja konfiguroi Copilot Microsoft Fabric -ohjelmassa.

Ymmärrä OpenAI-aliprosessorin asetus

Asetus Käyttäjät voivat käyttää Copilot-, AI-agentteja ja muita OpenAI:n tukemia tekoälykokemuksia, kun Microsoft-aliprosessori ohjaa pääsyä OpenAI:n käyttämiin malleihin. Nämä mallit eroavat Azure OpenAI -malleista, joita Microsoft käyttää.

Project Osmosissa asetelmalla on seuraava vaikutus:

Tämä valinnainen asetus ei korvaa Käyttäjät voivat käyttää Copilot- ja muita Azure OpenAI:n tai soveltuvia alueellisia prosessointi- ja tallennusasetuksia. Sen näyttönimi ei tarkoita, että sen poistaminen käytöstä estäisi kaikki Copilot- tai tekoälykokemukset.

Ennen sen käyttöönottoa tarkista organisaatiosi datankäsittelyvaatimukset ja OpenAI aliprosessorina Microsoft Fabric. Vuokralaisen ja delegoidun kapasiteetin konfiguraatioista katso Copilot- ja Agentti-vuokralaisasetukset.

Asenna data engineering agent (Project Osmos) -taito

Data engineering agent (Project Osmos) -taito sisältyy Skills for Fabric -kokoelmaan.

1. Kirjaudu Azure-palveluun henkilöllisyydellä, jolla pääsee käsiksi kohdetyötilaan ja järvenrakennukseen:

   az login
   

   Jos sinulla on pääsy useisiin Microsoft Entra -vuokralaisiin, kirjaudu sisään vuokralaiseen, joka sisältää Fabric-työtilan.

2. Käytä sitten paikallisen agenttisi komentoja lisätäksesi Skills for Fabric -markkinapaikan ja asentaaksesi Fabric-kokoelman.

   • GitHub Copilot CLI
   • Claude-koodi
   • Codex

   Aloita GitHub Copilot CLI:

   copilot
   

   Suorita nämä komennot GitHub Copilot CLI:ssä:

   /plugin marketplace add microsoft/skills-for-fabric
   /plugin install fabric-skills@fabric-collection
   

1. Käynnistä GitHub Copilot CLI uudelleen, jotta uudet taidot latautuvat.

   /quit
   

2. Varmista asennus. Käynnistä GitHub Copilot CLI uudelleen ja suorita:

   /skills
   

Vahvista, että Project Osmos, joka näkyy muodossa project-osmos, on saatavilla.

Käytä data-insinööriagenttia (Project Osmos)

Kuvaile täydellinen data-insinöörin lopputulos, jonka haluat data-insinööriagentin (Project Osmos) tuottavan. Sisällytä työtila, järvitalo, lähdedata, muunnokset, odotetut tulokset ja validointivaatimukset:

Kuvaile koko kokonaisvaltainen data-insinöörityö. Data-insinööriagentti (Project Osmos) vastaanottaa sen yhtenä projektina.

Sisällyttää:

• Lähteet: Taulukot, kansiot, tiedostot, muistikirjat tai OneLake-resurssit
• Muunnokset: Puhdistus, liitokset, suodattimet, laskelmat tai skeeman muutokset
• Tulokset: Taulukot, muistikirjat, tiedostot tai yhteenvedot
• Validointi: Rivimäärät, null-tarkistukset, yksilöllisyys, täsmäytys tai liiketoimintasäännöt

Lähteet ja tulokset eivät rajoitu vain siihen työtilaan, jossa tehtävä on luotu. Jos sinulla on lupa käyttää resurssia, tehtävä voi käyttää resurssia puolestasi.

Esimerkiksi:

Use Project Osmos in the Fabric workspace Sales Analytics and the lakehouse
SalesLakehouse.

Load the Orders and Customers tables, remove orders without a customer ID,
join the tables on customer ID, and calculate monthly revenue by customer
segment. Save the result as a Delta table named monthly_segment_revenue.
Validate row counts, null customer IDs, and negative revenue values.

Paikallinen agenttisi ratkaisee työtilan ja järvenrakennuksen, kerää tarvittavat turvallisuus- ja tulostusvaihtoehdot sekä luo yhden etätehtävän Project Osmos -tehtävästä. Se tarjoaa Fabric-tehtävälinkin edistymisen seurantaan.

Sinun ei tarvitse etsiä työtilan tai järvenmökin tunnisteita tai pilkkoa työtä yksinkertaisempiin vaiheisiin. Määritä heidän nimensä tai anna Fabric Lakehouse -osoite ja lähetä koko lopputulos yhtenä tehtävänä. Project Osmos hoitaa suunnittelun, sekvensoinnin ja validoinnin.

Tarkista tehtävien asetukset

Ennen suorituksen alkua data-insinööriagentti (Project Osmos) luokittelee tehtävän ja suosittelee asetuksia.

Voit muuttaa mitä tahansa suositelluista asetuksista.

Seuraa tehtävää

Kun olet hyväksynyt asetukset, Fabric data engineering -agentti (Project Osmos) suorittaa tehtävän erikoistuneiden agenttien kanssa SparkCoressa, palauttaa tehtävä-ID:n ja avaa Fabric-järvenrakennussivun, joka sisältää:

• Tiedot aloituskyselystä
• Tekniset tiedot
• Nykyinen tila
• Agentin tehtävä

Koska tehtävä toimii Fabric-tilassa SparkCorella eikä paikallisessa koneessa, se jatkuu, kun tietokone on pois päältä. Seuraa edistymistä valitsemalla järvimajasi Fabric-laitteesta ja valitse tehtävä Lakehouse Explorerista. Voit myös kysyä paikalliselta edustajaltasi tehtävän tilan.

Tehtävien suoritus käyttää sekä kielimallitokeneita että Spark-laskentaa, mukaan lukien testaus- ja validointisuoritukset. Ennen useiden tehtävien käynnistämistä jaetulla kapasiteetilla, tarkastele Project Osmosin kapasiteetin kulutusta ja Plan jaetun kapasiteetin käyttöä varten.

Käyttöohjeet

• Käytä Project Osmosia paikallisen agentin, kuten GitHub Copilot CLI:n, Claude Coden tai Codexin kautta. Suora vuorovaikutus Project Osmosin kanssa Copilot-sivustolta Fabric-portaalissa ei tällä hetkellä ole tuettua.
• Määritä tarkoitettu työtila ja järvenrakennus nimellä tai anna Fabric-järvimajan URL-osoite. Sinun ei tarvitse etsiä henkilöllisyystodistuksia itse.
• Käytä Project Osmosia kokonaisvaltaiseen data-insinöörityöhön, joka sisältää lakehouseja, OneLakea, Sparkia, muistikirjoja ja pöytiä.
• Pyydä paikallista työntekijääsi tarkistamaan etätehtävän tila, lähettämään jatkoohjeita, peruuttamaan tehtävä tai poistamaan sen.
• Jatkaaksesi työskentelyä olemassa olevan tehtävän kanssa, anna sen tehtävätunnus tai Fabric-tehtävälinkki.
• Käy läpi ehdotetut toteutus- ja turvallisuusvalinnat ennen kuin sallit muutokset tärkeisiin tai tuotantotietoihin.

Luo ensimmäinen tehtäväsi

Tämä esimerkki vaatii vain tyhjän järvenrakennuksen. Project Osmos luo näytedatan ja kaikki tarvittavat artefaktit, joten voit käyttää tuotetta ilman, että sinun tarvitsee valmistella järvenrakennusta ensin.

Käytä Project Osmosia luodaksesi pienen vähittäiskaupan medallion-arkkitehtuurin. Pyydä ensin paikallista välittäjääsi käyttämään Project Osmosia:

Create a Project Osmos task

Kun olet tunnistanut järvimajasi nimen tai URL-osoitteen perusteella, sinua pyydetään määrittelemään projektisi lopputulos. Kirjoita seuraava teksti:

Use Project Osmos to set up a simple retail medallion architecture in this
empty lakehouse. Create small sample CSV files for customers, products, and
sales under Files/landing. Build bronze tables that preserve the source data,
silver tables that clean and standardize it, and gold tables named
gold_daily_sales and gold_customer_sales.
Create three notebooks named 01_load_bronze, 02_transform_silver, and
03_build_gold that move the data through the layers. Run the notebooks in
order, and validate row counts, key uniqueness, referential integrity, and
revenue totals at each layer.

Lähetä koko kehote yhtenä tehtävänä. Project Osmos suunnittelee ja sekvensoi työn, luo näytedatan, taulukot ja muistikirjat, ajaa muistikirjat SparkCoressa ja tarkistaa tulokset.

Kun tehtävä on valmis, tarkista nämä artefaktit:

• Pronssi-asiakas-, tuote- ja myyntitaulukot, jotka säilyttävät esimerkkilähdetiedot
• Hopeiset taulukot, joissa on standardoidut tietotyypit, kelvolliset avaimet ja puhdistetut tietueet
• Kultaiset taulukot, joissa on päivittäiset myynnit ja asiakastason myyntiyhteenvedot
• Kolme muistikirjaa, jotka dokumentoivat ja ohjaavat liikkumista kerrosten välillä
• Validointitulokset rivimäärille, avaimille, suhteille ja liikevaihdoille

Lisäesimerkkejä projektin lopputuloksesta monimutkaisiin käyttötapauksiin

Project Osmos on suunniteltu kattaviin data-insinöörin tuloksiin, mukaan lukien työt, jotka vaativat yrityssovellusten tuntemusta, lakehousen löytämistä, toteutuskokeita ja validointia. Pyyntö, joka lähetetään GitHub Copilot -ohjelmaan ilman Project Osmosia, saattaa tuottaa uskottavan muistikirjan tai koodirakenteen, mutta se ei käytä Project Osmosin työnkulkua tarkastaakseen live-lakehousea, vertaillakseen toteutusvaihtoehtoja, ajaakseen koodin Fabric SparkCoressa ja jatkaakseen ratkaisun hiomista todellisten tulosten perusteella.

Luo Dynamics 365 -asiakkaan elinkaaren malli

Tämä tiivis project-tulos pyytää Project Osmosia löytämään saatavilla olevat sovellustiedot:

Use Project Osmos to create a trusted customer lifecycle model from the Microsoft Dynamics 365 data in this lakehouse.

Miten Project Osmos voisi lähestyä asiaa: Project Osmos tutkii järvenrakennusta selvittääkseen, mitkä Dynamics 365 -sovellukset ja Dataverse-taulukot ovat saatavilla. Se tunnistaa rakenteet, kuten tilit, kontaktit, liidit, mahdollisuudet, aktiviteetit, tapaukset, tilaukset ja laskut; kartoittaa niiden suhteet ja tila-arvot; ja arvioi, miten asiakaspolku kuvataan hankinnasta myyntiin ja palveluun. Se käyttää SparkCore-koodia validoidakseen suhdekattavuuden, päällekkäiset asiakkaat, orvoksi jääneet toiminnot, putkiston summat, tilausten ja laskujen täsmäytyksen sekä elinkaaren vaiheen laskelmat.

Miksi Project Osmos sopii paremmin: Ilman Project Osmosia GitHub Copilot on riippuvainen siitä, että tunnistat olennaiset Dynamics 365- ja Dataverse-taulukot, selität niiden suhteet ja vaihtoehtojen arvot sekä suoritat jokaisen päivityksen. Project Osmos voi aloittaa lopputuloksesta, tutkia järvenrakennusta ja kehittää toteutusta mitattujen tulosten perusteella.

Malli SAP order-to-cash data

Tämä tiivis project-tulos pyytää Project Osmosia selvittämään, miten SAP-data esitetään järvenrakennuksessasi ja rakentamaan hyödyllisen order-to-cash-mallin:

Use Project Osmos to build an order-to-cash model from the SAP data in this lakehouse.

Miten Project Osmos voisi lähestyä asiaa: Project Osmos tutkii järvenrakennusta tunnistaakseen saatavilla olevat SAP-myyntitilaukset, toimitus-, laskutus-, asiakas- ja asiakirjavirtatiedot. Se etsii rakenteita kuten VBAK/VBAP, LIKP/LIPS, VBRK/VBRP, KNA1 ja VBFA tai vastaavat poimitut näkymät. Se tarkastelee skeemoja ja näytearvoja, selvittää, muistuttaako poiminta SAP S/4HANA- vai SAP ECC -rakenteita, sekä testaa vaihtoehtoisia liitoksia ja dokumenttivirtalogiikkaa. Sen jälkeen se rakentaa kuratoituja taulukoita ja muistikirjoja sekä suorittaa SparkCore-tarkistuksia päällekkäisistä liiketoimintaavaimista, puuttuvista dokumenttilinkeistä, määrä-epäsopivuudesta sekä tilaus-laskujen täsmäytyksestä.

Miksi Project Osmos sopii paremmin: GitHub Copilot, jota käytetään ilman Project Osmosia, sinun täytyy löytää asiaankuuluvat taulut, selittää SAP-suhteet, tarjota skeemat, suorittaa generoitu koodi ja palauttaa virheitä tai tuloksia jokaisesta versiosta. Project Osmos suorittaa tämän löydön ja suorituksen osana yhtä pysyvää Fabric-tehtävää, joka suoritetaan itsenäisesti SparkCorella.

Sovita NetSuiten taloustiedot yhteen

Tämä yksityiskohtainen project-tulos antaa liiketoimintasäännöt ja jättää toteutusyksityiskohdat Project Osmosille:

Use Project Osmos to create a financial reconciliation model from the NetSuite
data already loaded in this lakehouse. Preserve subsidiary, accounting period,
transaction, transaction line, account, accounting book, department, class,
location, transaction currency, and base currency. Build a monthly trial
balance with debit, credit, and net balances by subsidiary and account. Account
for intercompany transactions, elimination subsidiaries, and exchange rates.
Identify unbalanced entries, unmapped accounts, and periods that don't reconcile
to the source. Save the transformation and validation notebooks, and don't
modify the source tables.

Miten Project Osmos voisi lähestyä asiaa: Project Osmos tarkastelee, miten NetSuite-tapahtumat, transaktiolinjat, tilit, tytäryhtiöt, kirjanpitokaudet, valuutat ja kirjanpitokirjanpidot ovat edustettuina järvenrakennuksessa. Se arvioi myynti-, konsolidointi-, eliminointi- ja valuutanvaihtovaihtoehtoja sekä käyttää vaiheittaisia tuloksia tulosten vertailuun. Se ajaa muistikirjat SparkCoressa ja validoi päiväkirjasaldon, asiakirjan täydellisyyden, kartoituskattavuuden ja lähteestä lähtöön -kokonaismäärät ennen lopullisten taulukoiden tuottamista.

Miksi Project Osmos sopii paremmin: Pelkkä koodin generointi voi koodata liitoksia ja laskelmia, mutta se ei voi luotettavasti päätellä, miten tietty NetSuite-poiminta edustaa ilmoituksia, kirjanpitokirjoja, eliminaatioita ja valuuttakursseja, tai todistaa, että tulos täsmäytyy ilman iteratiivista suoritus- ja validointisilmukkaa.

Rakenna Salesforce-putkistoa ja ennustemittareita

Use Project Osmos to build a trusted sales pipeline and forecast model from the
Salesforce data in this lakehouse. Preserve account, opportunity, owner,
product, stage, amount, probability, close date, forecast category, creation
date, and stage-history details. Produce current pipeline, stage conversion,
sales-cycle duration, pipeline coverage, forecast accuracy, and slipped-deal
metrics by region, segment, product, and owner. Handle deleted records, currency
conversion, changing opportunity ownership, and historical stage snapshots.
Save the notebooks, and validate the metrics against available Salesforce
totals and prior-period snapshots.

Miten Project Osmos lähestyy asiaa: Project Osmos kartoittaa saatavilla olevat Salesforce-objektit ja poimii Account-, Opportunity-, OpportunityHistory-, OpportunityLineItem-, Product2-, User- ja ennustetiedot. Se vertaa nykytilannetta, historiaan perustuvia ja jaksollisia snapshot-menetelmiä ja testaa, miten louhinta edustaa valuuttaa, poistoja, omistajan muutoksia ja vaiheiden siirtymiä. Se suorittaa ehdokastoteutuksia SparkCoressa ja vertaa putkiston kokonaismääriä, konversioprosentteja, ennustetuloksia ja historiallisia tilannekuvia.

Miksi Project Osmos sopii paremmin: Tämä lopputulos vaatii enemmän kuin syntaktisesti oikean Sparkin. Project Osmos yhdistää Salesforce-toimialueen päättelyn reaaliaikaiseen datan tarkasteluun, toistuvaan suoritukseen ja täsmäytykseen löytääkseen toteutuksen, joka toimii asiakkaan todellisen poiminta- ja historiastrategian kanssa.

Modernisoi olemassa oleva järvitaloputki

Use Project Osmos to assess the existing sales ingestion and transformation
notebooks in this lakehouse. Replace full reloads with an idempotent incremental
design, preserve late-arriving updates, prevent duplicate business keys, add
quarantine handling for invalid records, and create validation tables that
compare each run with the source. Keep existing downstream table names and
schemas unless a change is required. Test the new design against representative
data, compare it with the current implementation, and document the migration
and rollback steps.

Miten Project Osmos lähestyy asiaa: Project Osmos tarkastaa nykyiset muistikirjat, taulukot, skeemat ja tietokuviot; vertaa vesileima-, yhdistämis- ja muutosseurantavaihtoehtoja; ja testaa epäonnistumis- ja uudelleensuorituskäyttäytymistä. Se ajaa molemmat toteutukset SparkCoressa vaiheiteltuja kohteita vastaan ja vertaa rivimääriä, kaksoisnäppäimiä, myöhäispäivityksiä, skeeman yhteensopivuutta ja tulosten kokonaismääriä.

Miksi Project Osmos sopii paremmin: Koodausagentit yksinään voivat viitata inkrementaaliseen kuvioon, mutta sinun täytyy antaa toteutuskonteksti ja suorittaa jokainen testi. Project Osmos arvioi olemassa olevan järvimajan ja validoi kilpailevat suunnitelmat ennen turvallisemman lähestymistavan suosittelemista ja käyttöönottoa.

Päivitä taitoja Fabric -sivustolle

Päivitä asennettu Fabric-kokoelma GitHub Copilot CLI:ssä tai Claude Codessa:

/plugin update fabric-skills@fabric-collection

Codexissa suorita codex plugin marketplace upgrade fabric-collection, ja sitten suorita codex plugin add fabric-skills@fabric-collection.

Nykyiset rajoitukset

• Data engineering agent (Project Osmos) ei ole tällä hetkellä saatavilla työtiloissa, joissa on ulospäin suuntautuvan pääsyn suojaus käytössä.

Liittyvä sisältö

• Fabric data engineering -agentti (Project Osmos) yleiskatsaus
• Parhaat käytännöt Fabric-data-insinööriagentille (Project Osmos)
• Fabric data engineering agent (Project Osmos) kapasiteetin kulutus
• Fabric data engineering agent (Project Osmos) -repositorio
• Kirjaudu sisään Azure CLI:llä