Ota käyttöön toistuva prosessi tietoagenttisi parantamiseksi

Dataagentin viritys ei ole kertaluonteinen ratkaisu—se on jatkuva, iteratiivinen prosessi, joka sisältää kokeilua, havainnointia ja hiomista.

Tässä artikkelissa esitellään parhaat käytännöt, jotka auttavat sinua aloittamaan dataagenttisi kehittämisen, mutta on tärkeää tunnistaa, että jokainen dataympäristö ja käyttötapaus on ainutlaatuinen. Saatat huomata, että tietyntyyppiset ohjeet, esimerkit tai muotoilu toimivat paremmin tietojoukoillesi tai että tarvitsemme lisäkontekstia, jotta agentti voi tulkita käyttäjien kysymyksiä tarkemmin. Arvioidessasi vastauksia odotat käyväsi läpi kokeilujaksoja ja virheilmoituksia – tarkistat edustajien ohjeita, laajennat vertailujoukkoasi tai muokkaat esimerkkikyselyitä sekaannusten ratkaisemiseksi tai tarkkuuden parantamiseksi. Ajan mittaan tämä prosessi auttaa selvittämään logiikan, rakenteen tasauksen tai kyselymuotoilun aukot, jotka eivät ehkä ole heti ilmeisiä. Tärkeintä on käsitellä tietoagenttia kehittyvänä järjestelmänä, joka paranee tavallisen testauksen, palautteen ja iteraation avulla – ei staattisena kokoonpanona, joka on kerran asetettu ja unohdettu.

Vaihe 1: Aloita vertailujoukosta

Aloita esimerkkien alkuvertailulla, joka ohjaa agenttisi määritystä ja arvioi suorituskykyä. Käytä seuraavaa muotoa:

Kysymys Odotettu kysely Odotettu vastaus
Kuinka moni työntekijä työskentelee henkilöstöhallintotiimissä? VALITSE COUNT(*) EmployeeDim MISSÄ Osastonimi = 'HR' 25
Mikä on keskimääräinen palkka kohteessa Markkinointi? VALITSE AVG(Palkka) TYÖNTEKIJÄPALKOISTA MISSÄ osasto = 'Markkinointi' 85 000 dollaria.
Millä tuotteilla oli myynti viime kuussa? VALITSE Tuotenimi myynnistä, jossa Myyntipäivämäärä >= '2024-05-01' [Tuote A, Tuote B]

Lisätietoja agentin arvioimisesta on artikkelissa: Tietoagenttisi arvioiminen

Voit jatkaa vertailujoukon laajentamista ajan mittaan, jotta saat enemmän kattavuutta käyttäjäkysymyksille, joita odotat agentin käsittelevän.

Vaihe 2: virheellisten vastausten vianmääritys

Kun tietoagentti palauttaa virheellisen tai epäoptimaalisen tuloksen, käytä aikaa syyn analysointiin. Oikean vikaantumispisteen tunnistaminen auttaa sinua tekemään kohdistettuja parannuksia ohjeisiin, esimerkkeihin tai kyselylogiikkaan.

Esitä seuraavat kysymykset osana arvostelua:

  • Puuttuuko tarpeellinen selitys tai ohjeet?
  • Ovatko ohjeet liian epämääräisiä, epäselviä tai harhaanjohtavia?
  • Onko esimerkin kysely epätarkka vai ei käyttäjäkysymyksen edustaja?
  • Onko käyttäjäkysymyksessä moniselitteistä, kun otetaan huomioon rakenteen rakenne tai nimeäminen?
  • Onko arvot muotoiltu epäyhtenäisesti (esim. "ca" vs. "CA""Ca"), jolloin agentin on vaikeampi käyttää suodattimia oikein?

Jokainen näistä ongelmista voi vaikuttaa agentin kykyyn tulkita aikomusta ja tuottaa tarkkoja kyselyitä. Niiden tunnistaminen aikaisessa vaiheessa auttaa tehostamaan hienosäätöä myöhemmässä vaiheessa.

Vaihe 3: Ohjaa parempaa järkelyä selkeämpien agenttiohjeiden avulla

Jos agentti valitsee johdonmukaisesti väärät tietolähteet, tulkitsee käyttäjäaikeet väärin tai palauttaa huonosti muotoiltuja vastauksia, se on merkki siitä, että agenttitason ohjeet tarvitsevat tarkennuksia. Näiden ohjeiden avulla voit ohjata, miten agenttisyistä on kysymyksiä, valitsee tietolähteitä ja muotoilee vastauksia.

Kun iteroit agenttiohjeiden mukaisesti:

  • Selvitä tietolähteen käyttö: Määritä, mitä tietolähteitä käytetään tietyntyyppisissä kysymyksissä ja missä prioriteettijärjestyksessä. Jos tiettyjä lähteitä tulisi käyttää vain tietyissä konteksteissa, tee se selväksi.
  • Määritä odotetun vastauksen toiminta: Määritä odotukset sävystä, rakenteesta ja yksityiskohtatasosta. Ilmaise, onko vastausten oltava ytimekkäitä yhteenvetoja, sisällytettävä taulukkotulosteita vai annettava rivitason tietoja.
  • Ohjaa agentin päättelyvaiheita: Tarjoa looginen viitekehys, jota agentin tulisi noudattaa kysymystä tulkittaessa—kuten muotoilemalla uudelleen, tunnistamalla asiaankuuluvia termejä tai valitsemalla työkaluja aiheen perusteella.
  • Terminologia: Sisällytä määritelmät tai yhdistämismääritykset moniselitteisille, liiketoimintakohtaisille tai yleisesti väärinymmärretyille termeille, jotta agentti pystyy tulkitsemaan käyttäjäkysymyksiä tarkemmin.

Näiden ohjeiden parantaminen ajan kuluessa auttaa agenttia tekemään parempia päätöksiä joka vaiheessa – kysymyksen tulkinnasta kyselyn suorittamiseen ja lopullisen vastauksen muotoiluun.

Vaihe 4: paranna rakenteen ymmärtämistä parempien tietolähdeohjeiden avulla

Paranna tietolähteen ohjeita jatkuvasti käyttämällä virheanalyysin merkityksellisiä tietoja. Etsi kuvioita useista virheellisistä vastauksista tunnistaaksesi, missä agentti saattaa tulkita aikeensa väärin, kamppailla rakenteen ymmärtämisen kanssa tai olla soveltamatta oikeaa kyselylogiikkaa.

Päivitä määritykset keskittymällä seuraaviin alueisiin:

  • Selvitä suodattimen käyttö: Kuvaa eksplisiittisesti, milloin ja miten suodattimia tulee käyttää ohjeissasi. Määritä esimerkiksi, käytetäänkö suodattimissa tarkkoja vastaavuuksia, alueita vai kuvioiden vastaavuutta.
  • Lisää tyypillisiä arvoesimerkkejä: Auta agenttia ymmärtämään, miten suodattaa oikein antamalla malliarvot ja odotetut muodot (esimerkiksi , "CA""MA", "NY" osavaltioiden lyhenteet tai "Q1 FY25" tilikauden lyhenteet).
  • Vahvistaa yhtenäisyyttä: Varmista, että terminologiaa, muotoilua ja muotoilua käytetään johdonmukaisesti kaikissa ohjeissa ja esimerkeissä. Vältä lyhenteiden, johdannaisten tai vaihtoehtoisten otsikoiden sekoittamista samalle käsitteelle.
  • Päivitä kehittyvän rakenteen tai liiketoimintasääntöjen perusteella: Jos tietolähteisiin lisätään uusia taulukoita, sarakkeita tai logiikkaa, muokkaa ohjeita ja esimerkkejä kyseisten muutosten mukaisesti.

Näitä tietoja noudattamalla varmistat, että agentti pysyy linjassa kehittyvän tietosi ja liiketoimintakontekstisi kanssa ja tuottaa tarkempia ja luotettavampia vastauksia ajan mittaan.

Vaihe 5: Kohdennettujen esimerkkien käyttäminen tarkan kyselyn luonnin ohjaamiseen

Esimerkkikyselyillä on tärkeä rooli, kun autetaan agenttia yleistämään ja luomaan tarkkoja vastauksia – erityisesti liittymiseen, suodatukseen ja monimutkaiseen logiikkaan liittyvissä kysymyksissä. Jos tietoagentti palauttaa virheellisiä kyselyitä, palaa esimerkkeihin ja tarkenna niitä niin, että ne kuvaavat paremmin odotettua rakennetta ja logiikkaa.

Keskity seuraaviin parannuksiin:

  • Selvitä liittymislogiikka: Jos agentti luo virheellisiä liitoksia, sisällytä esimerkkikyselyt, jotka nimenomaisesti osoittavat, miten liittyvät taulukot tulisi liittää (esimerkiksi liitosavaimet, liitostyyppi).
  • Oikeat suodatinmallit: Näytä, miten suodattimia tulee käyttää tietyissä sarakkeissa, mukaan lukien muotoilutiedot (kuten, LIKE '%keyword%', päivämääräalueet tai johdannaisvaatimukset).
  • Määritä odotettu tuloste: Tee selväksi, mitä sarakkeita agentin tulisi palauttaa erityyppisille kysymyksille. Tämä auttaa sekä luodun kyselyn rakenteessa että painopisteessä.
  • Tarkenna epämääräisiä tai ylikuormitettuja esimerkkejä: Jaa yleisiä tai hyvin laajoja esimerkkejä kohdennetumpiin kyselyihin, jotka kuvastavat tiettyjä käyttäjäaikeita.
  • Varmista tasaus nykyisten ohjeiden ja rakenteen kanssa: Pidä esimerkit ajan tasalla rakenteen, liiketoimintasääntöjen tai ohjemuotojen äskettäisillä muutoksilla.

Parantamalla ja laajentamalla esimerkkikyselyitä havaittujen ongelmien perusteella annat agentille vahvemmat viitepisteet tarkkojen ja kontekstitietoisten vastausten luomiseksi.

Vaihe 6: Liity ongelmien korjaaminen

Liitoslogiikka on yleinen epäonnistumisen lähde kyselyn luonnissa. Kun dataagentti palauttaa virheellisiä tai puutteellisia tuloksia liittymisvirheiden vuoksi, sinun tulee antaa selkeämpiä rakenteellisia ohjeita ja esimerkkejä, jotka auttavat agenttia ymmärtämään, miten datasi liittyvät toisiinsa.

Liitostarkkuuden parantaminen:

  • Asiakirjan yhdistäminen on selkeää: Määritä liittyvät taulukot, yhdistämiseen käytetyt avaimet (esim. , EmployeeID, ProductKey) ja suhteen suunta (esimerkiksi yksi moneen). Sisällytä nämä ohjeet asiaankuuluviin tietolähdeohjeisiin.
  • Sisällytä liitosesimerkkejä kyselyihin: Lisää esimerkkikyselyitä, jotka nimenomaisesti osoittavat oikean liitoskäyttäytymisen yleisimmille tai monimutkaisimmille suhteille.
  • Selvitä pakolliset sarakkeet liitettyjen taulukoiden välillä: Ilmaise, mitkä kentät noudetaan mistäkin taulukosta, erityisesti silloin, kun samanlaisia sarakkeiden nimiä on olemassa useissa lähteissä.
  • Yksinkertaista tarvittaessa: Jos pakolliset liitokset ovat liian monimutkaisia tai virhealtisia, harkitse rakenteen tasoittamista yhdeksi denormaloiduksi taulukoksi moniselitteisyyden vähentämiseksi ja luotettavuuden parantamiseksi.

Liitoslogiikan määrittäminen oikein – sekä ohjeissa että esimerkeissä – auttaa agenttia ymmärtämään, miten tietorakenteessa liikkuminen ja täysien ja tarkkojen vastausten palauttaminen toimii.

Seuraavat vaiheet