使用 Genie Code 進行智慧文件處理

Genie Code 透過協調解析、分類、擷取與驗證,建立文件處理流程的端到端。 指向非結構化的 PDF、合約或發票,它會根據標示資料評估品質並不斷改進,讓你能判斷管線是否已準備好生產。

要求

使用 Genie Code 進行文件處理:

  • 符合 Genie Code 代理功能的要求。
  • 符合 AI 功能的需求。 文件處理函數(ai_parse_document、 ai_extract、 ai_classify和 )可在無伺服器運算或支援區域的 SQL 倉庫上執行。
  • 讓 Unity Catalog 能存取你的原始文件卷和結果的結構。

用 Genie Code 建立文件處理流程

  1. 在工作與管線頁面或 SQL 編輯器中開啟 Genie Code。
  2. 說明你的目標並指向你的資料來源。 參照您的磁碟區、資料表和檔案。
  3. 讓它自行建置。 當 Genie Code 有足夠的資源可用後,它會用最佳實務來建置 Lakeflow 工作。
  4. 檢閱並執行。 檢查產生的 SQL 和任務,編輯任何你想編輯的內容,準備好後再執行工作。
  5. 從小處開始,然後逐步擴大。 先對樣本進行測試,檢視輸出,評估品質,並在處理完整資料前反覆進行。

Genie Code 能幫助什麼?

建立端到端的文件處理工作

描述您想要的結果,Genie Code 就會建立完整的 Lakeflow 作業,且只使用您的目標所需的階段:

  • 在磁碟區中探索來源檔案,並追蹤其識別資訊及變更。
  • 將文件拆解 成結構 ai_parse_document 化內容(文字、表格、圖表和頁面佈局)。
  • 將每份文件依照你自訂的標籤分類ai_classify(例如聯盟行銷、行銷或顧問合約)。
  • 擷取符合綱要的結構化欄位,並使用 ai_extract 包含引用和信心分數。
  • 發佈乾淨且結構化的輸出至 Unity Catalog 資料表。

每個 AI 功能都是獨立任務,工作保持模組化,之後可以重新執行、補填或編輯。

透過評估與爬坡提升萃取品質

Genie Code 將品質視為可衡量的事物,而不是靠猜測。 給定一張標註的預期輸出表,執行現場層級評估,然後閉合迴圈:

  • 測量。 逐場評分目前的萃取場,這樣你才能精確判斷哪些場較弱。
  • 改進。 Genie Code 會提出修正建議,通常是更精確的欄位描述,並以可供審閱的差異形式呈現,經你核准後才會套用。
  • 重新評估。 每一次被接受的變更都會重跑評估集,並顯示前後對比結果,因此改善與迴歸都能看見。

這個循環會一直重複,直到品質達到你的標準,所以你判斷準備度是根據分數和信心,而不是看起來合理的產出。

驗證結果並將異常情況轉送出去

Genie Code 將品質關卡納入流程中。 它結合了確定性檢查(架構、必需欄位、總計)、模型信心度與商業規則,來決定哪些能通過,並保持失敗的列為可見性。

以視覺化方式為文件除錯

Genie Code 會開啟 文件解析介面 ,顯示渲染頁面與解析內容及擷取欄位並列。 用它來找出異常結果:如果解析輸出內容中的文字遺失或變成亂碼,問題就在解析程序或來源檔案。 如果文字已成功解析,但某個欄位的內容有誤,問題就出在擷取。 無論如何,在擴大規模之前,先用真實文件驗證。

檢查並排除現有管線問題

Genie Code 適用於你已有的管道,而不只是新的。 它可以解釋工作、檢視設計與成本而不改變任何內容,找出失敗或緩慢階段的根本原因,並在保留可用零件的同時進行最小的修正。

範例提示

建立端到端的管線

  • 合約會顯示在@my_catalog.raw.contracts。 建立一份每日工作,將每一項分類為聯盟行銷、行銷、顧問、主機和託管;提取每種合約類型中重要的欄位;並撰寫金色表格。」
  • 「我有一大批掃描的發票。@my_catalog.raw.invoices 建立一個能解析這些資料、擷取供應商、發票號碼、項目和總計,並將結果寫入表格的工作。」

透過評估與爬山提升品質

  • 「我怎麼知道這夠好,能用上百萬行? 用我標示的表格 @my_catalog.default.eval_table 來評估提取結果,告訴我哪些場最弱。」
  • invoice_total 欄位的準確度可以更高。 反覆改進結構和指令,重做評估,並展示前後的變化。」
  • 根據評估結果設定每個欄位的信賴度門檻,並將信賴度低的資料列送交審查。

驗證結果並將異常情況轉送出去

  • 新增驗證,檢查必填欄位以及明細項目加總是否等於發票總額,並保留未通過驗證的資料列。
  • 將未通過商業規則的文件(例如已繳稅額高於薪資)隔離到另一個資料表中,以供人工審查。

以視覺化方式為文件除錯

  • 「把這些PDF的解析結果放在原始頁面旁邊,讓我檢查解析結果。」
  • 「有些顧問合約的生效日期有誤。 打開解析檢視,讓我判斷是解析問題還是擷取問題。」

檢查並排除現有管線問題

  • 「請說明這份文件處理工作的每個任務內容,以及結果寫在哪裡。」
  • 「這個解析任務開始失敗。 從最近一次執行的輸出中找出原因,並建議最小幅度的修正。
  • 「請根據最佳實務檢視這個文件處理流程設計,告訴我是否準備好在完整資料集上運行。」

其他資源