Genie Code 透過協調解析、分類、擷取與驗證,建立文件處理流程的端到端。 指向非結構化的 PDF、合約或發票,它會根據標示資料評估品質並不斷改進,讓你能判斷管線是否已準備好生產。
要求
使用 Genie Code 進行文件處理:
- 符合 Genie Code 代理功能的要求。
- 符合 AI 功能的需求。 文件處理函數(
ai_parse_document、ai_extract、ai_classify和 )可在無伺服器運算或支援區域的 SQL 倉庫上執行。 - 讓 Unity Catalog 能存取你的原始文件卷和結果的結構。
用 Genie Code 建立文件處理流程
- 在工作與管線頁面或 SQL 編輯器中開啟 Genie Code。
- 說明你的目標並指向你的資料來源。 參照您的磁碟區、資料表和檔案。
- 讓它自行建置。 當 Genie Code 有足夠的資源可用後,它會用最佳實務來建置 Lakeflow 工作。
- 檢閱並執行。 檢查產生的 SQL 和任務,編輯任何你想編輯的內容,準備好後再執行工作。
- 從小處開始,然後逐步擴大。 先對樣本進行測試,檢視輸出,評估品質,並在處理完整資料前反覆進行。
Genie Code 能幫助什麼?
建立端到端的文件處理工作
描述您想要的結果,Genie Code 就會建立完整的 Lakeflow 作業,且只使用您的目標所需的階段:
- 在磁碟區中探索來源檔案,並追蹤其識別資訊及變更。
-
將文件拆解 成結構
ai_parse_document化內容(文字、表格、圖表和頁面佈局)。 - 將每份文件依照你自訂的標籤分類
ai_classify(例如聯盟行銷、行銷或顧問合約)。 -
擷取符合綱要的結構化欄位,並使用
ai_extract包含引用和信心分數。 - 發佈乾淨且結構化的輸出至 Unity Catalog 資料表。
每個 AI 功能都是獨立任務,工作保持模組化,之後可以重新執行、補填或編輯。
透過評估與爬坡提升萃取品質
Genie Code 將品質視為可衡量的事物,而不是靠猜測。 給定一張標註的預期輸出表,執行現場層級評估,然後閉合迴圈:
- 測量。 逐場評分目前的萃取場,這樣你才能精確判斷哪些場較弱。
- 改進。 Genie Code 會提出修正建議,通常是更精確的欄位描述,並以可供審閱的差異形式呈現,經你核准後才會套用。
- 重新評估。 每一次被接受的變更都會重跑評估集,並顯示前後對比結果,因此改善與迴歸都能看見。
這個循環會一直重複,直到品質達到你的標準,所以你判斷準備度是根據分數和信心,而不是看起來合理的產出。
驗證結果並將異常情況轉送出去
Genie Code 將品質關卡納入流程中。 它結合了確定性檢查(架構、必需欄位、總計)、模型信心度與商業規則,來決定哪些能通過,並保持失敗的列為可見性。
以視覺化方式為文件除錯
Genie Code 會開啟 文件解析介面 ,顯示渲染頁面與解析內容及擷取欄位並列。 用它來找出異常結果:如果解析輸出內容中的文字遺失或變成亂碼,問題就在解析程序或來源檔案。 如果文字已成功解析,但某個欄位的內容有誤,問題就出在擷取。 無論如何,在擴大規模之前,先用真實文件驗證。
檢查並排除現有管線問題
Genie Code 適用於你已有的管道,而不只是新的。 它可以解釋工作、檢視設計與成本而不改變任何內容,找出失敗或緩慢階段的根本原因,並在保留可用零件的同時進行最小的修正。
範例提示
建立端到端的管線
- 合約會顯示在
@my_catalog.raw.contracts。 建立一份每日工作,將每一項分類為聯盟行銷、行銷、顧問、主機和託管;提取每種合約類型中重要的欄位;並撰寫金色表格。」 - 「我有一大批掃描的發票。
@my_catalog.raw.invoices建立一個能解析這些資料、擷取供應商、發票號碼、項目和總計,並將結果寫入表格的工作。」
透過評估與爬山提升品質
- 「我怎麼知道這夠好,能用上百萬行? 用我標示的表格
@my_catalog.default.eval_table來評估提取結果,告訴我哪些場最弱。」 -
invoice_total欄位的準確度可以更高。 反覆改進結構和指令,重做評估,並展示前後的變化。」 - 根據評估結果設定每個欄位的信賴度門檻,並將信賴度低的資料列送交審查。
驗證結果並將異常情況轉送出去
- 新增驗證,檢查必填欄位以及明細項目加總是否等於發票總額,並保留未通過驗證的資料列。
- 將未通過商業規則的文件(例如已繳稅額高於薪資)隔離到另一個資料表中,以供人工審查。
以視覺化方式為文件除錯
- 「把這些PDF的解析結果放在原始頁面旁邊,讓我檢查解析結果。」
- 「有些顧問合約的生效日期有誤。 打開解析檢視,讓我判斷是解析問題還是擷取問題。」
檢查並排除現有管線問題
- 「請說明這份文件處理工作的每個任務內容,以及結果寫在哪裡。」
- 「這個解析任務開始失敗。 從最近一次執行的輸出中找出原因,並建議最小幅度的修正。
- 「請根據最佳實務檢視這個文件處理流程設計,告訴我是否準備好在完整資料集上運行。」