Inhaltsverständnisklassifizierung/Segmentierung

Mithilfe von Inhaltsverständnis können Sie die Klassifizierung und Aufteilung als Teil der Analysevorgangsanforderung implementieren. Sie können die Inhaltsklassifizierung und inhaltsextraktion als Teil eines einzelnen API-Aufrufs ausführen.

Das globale Konzept analyzer umfasst nun das Konzept von contentCategories und enableSegment, um das Klassifizieren und Teilen der Eingabedaten, die Sie innerhalb Ihrer Anwendung verarbeiten, zu ermöglichen. Dieses Analysefeature kann die Klassifizierung einer Eingabedatei als Ganzes ausführen. Sie kann auch mehrere Dokumente oder mehrere Instanzen eines einzelnen Dokuments innerhalb einer Eingabedatei identifizieren.

Beginnend mit der GA-Version sind Dokumentklassifizierung und Videosegmentierungsdesign vereinheitlicht, sodass unabhängig von ihrer Modalität ein kohärenter Ansatz zum Verarbeiten von Eingabedaten möglich ist. In der Dokumentation bezieht sich "Inhaltsverständnisklassifizierung" auf die analysevorgänge, die zum Klassifizieren und Aufteilen von Eingabedaten erforderlich sind (contentCategories und enableSegment).

Anwendungsfälle für Unternehmen

Mit der Klassifizierung von Inhalten können Sie komplexe Dokumente und Videos in verschiedenen Formaten und Vorlagen verarbeiten:

• Rechnungen: Kategorisieren Sie Rechnungen von mehreren Anbietern, um jede Kategorie mit einem anderen Inhaltsverständnisanalysetool zu verarbeiten, falls erforderlich.
• Steuerdokumente: Kategorisieren Sie mehrere Steuerdokumente in verschiedene Arten von Steuerformularen, z. B. 1040 und 1099.
• Verträge: Kategorisieren Sie lange, unstrukturierte Verträge, um Vorgänge zu optimieren, um verschiedene Arten von Vereinbarungen und ihre spezifischen rechtlichen Auswirkungen zu verstehen.
• Sportvideo: Segmentieren Sie die Szenen automatisch, um das Video in logische Blöcke wie Anzeigen und die tatsächlichen Sportinhalte zu unterteilen.

Klassifizierungs-/Segmentierungsfunktionen

Inhaltsverständnis kann einzelne oder dateiübergreifende Dokumente analysieren, um zu ermitteln, ob eine Eingabedatei in eine definierte Kategorie klassifiziert werden kann. Folgende Szenarios werden unterstützt:

Dokumentszenarien:

• Nur klassifizieren: Klassifiziert die Eingabedatei als Ganzes. Beispielsweise eine einzelne Datei, die einen Dokumenttyp enthält, z. B. ein Kreditantragsformular.
• Klassifizieren und analysieren: Klassifiziert und analysiert die Eingabedatei, indem die Eingabe an den gewünschten Extraktionsanalysator weitergeleitet wird.
• Klassifizieren und Segmentieren: Klassifiziert und segmentiert eine einzelne Eingabedatei, die möglicherweise mehrere Typen oder Instanzen von Dokumenten verkettet hat. Beispielsweise ein Kreditantragspaket, das ein Kreditantragsformular, einen Zahlungsschein und einen Bankauszug enthält. Ein weiteres Beispiel ist eine Sammlung gescannter Rechnungen in einer einzelnen Datei.
• Klassifizieren, Segmentieren und Analysieren: Sobald die Segmente klassifiziert wurden, leiten Sie jedes Segment zur gewünschten Extraktionsanalyse für die weitere Feldextraktion weiter.
• Hierarchischer Klassifizierer: Optionale zusätzliche Analyse abhängig von der Kategorie kann auch ein Klassifiziereranalysator sein.

Videoszenarien:

• Nur Segment: Teilen Sie das Video in Segmente basierend auf den im description-Feld von contentCategories definierten Inhaltseigenschaften. So teilen Sie beispielsweise eine Sportübertragung in Spiele-, Werbe- und Kommentarsegmente auf.
• Segmentieren und analysieren: Teilen Sie Video in Segmente auf, und leiten Sie jedes Segment an einen Analyseanalysator für die Feldextraktion weiter.

Erstellen von Klassifizierungskategorien

Die Inhaltsverständnisklassifizierung erfordert kein Schulungsdatensatz. Sie können bis zu 200 Kategorienamen und Beschreibungen innerhalb des Analysevorgangs definieren. Standardmäßig wird die gesamte Datei als einzelnes Inhaltsobjekt behandelt, was bedeutet, dass die Datei einer einzelnen Kategorie zugeordnet ist.

Beginnend mit der GA-Version müssen Sie die other Kategorie innerhalb der contentCategories einschließen, um sicherzustellen, dass Inhalte keiner Ihrer definierten Kategorien zugeordnet werden. Wenn die other Kategorie nicht enthalten ist, werden alle Dateien in eine Ihrer definierten Kategorien unterteilt. Jeder von Ihnen definierte Kategorienname innerhalb von contentCategories kann auch zusätzliche Informationen in Form von description enthalten, um weitere Details zu der von Ihnen definierten Kategorie zu geben.

Teilen der Eingabedatei

Wenn Sie mehr als ein Dokument in einer Datei haben, kann der Klassifizierer die verschiedenen Dokumenttypen identifizieren, die mit der Aufteilungsfunktion in der Eingabedatei enthalten sind. Die Antwort des Klassifizierers enthält die Seitenbereiche für jeden der identifizierten Dokumenttyp, die in einer Datei enthalten sind. Diese Antwort kann mehrere Instanzen desselben Dokumenttyps enthalten.

Wenn Sie den analyze Vorgang ausführen, enthält sie eine enableSegment Eigenschaft, die Ihnen eine präzise Kontrolle über das Aufteilungsverhalten bietet. Sie können auch die Seitenzahlen angeben, wenn Sie nur bestimmte Seiten des Eingabedokuments analysieren wollen:

• Wenn Sie die gesamte Eingabedatei als mehrere Dokumente zusammen für die Klassifizierung behandeln möchten, stellen Sie enableSegment auf true ein. Wenn Sie dies tun, gibt der Dienst Kategorien für die Segmente innerhalb der Eingabedatei automatisch zurück.
• Um die gesamte Eingabedatei als einzelnes Dokument zu behandeln, setzen Sie enableSegment auf false.

Standardmäßig beginnen Segmente an Seitengrenzen. Die 2026-06-01-preview API-Version fügt eine In-Page-Segmentierung hinzu, die eine einzelne Seite in mehrere Segmente aufteilen kann, wenn sie Inhalte aus verschiedenen Dokumenttypen enthält. Die In-Page-Segmentierung wird durch ein separates allowInPageSegments Feld gesteuert, sodass Sie sich für Teilseitenteilungen entscheiden können, ohne vorhandenes enableSegment Verhalten zu ändern. Weitere Informationen finden Sie unter Klassifizierungsverbesserungen (Vorschau 2026-06-01).

Optionale Analyse

Für einen vollständigen End-to-End-Ablauf können Sie Klassifiziererkategorien mit bestehenden benutzerdefinierten Analyzern und vorgefertigten Analyzern verknüpfen. Für jedes Inhaltsobjekt, das in Kategorien mit verknüpften Analyzern klassifiziert ist, ruft der Dienst automatisch eine Analyse des Inhaltsobjekts unter Verwendung des entsprechenden Analyzers auf.

Sie können diese Verknüpfung beispielsweise verwenden, um Klassifizierer zu erstellen, die nur Rechnungen aus einer PDF-Datei identifizieren und analysieren, die mehrere Formulartypen enthält. Setzen Sie analyzerId auf einen vorgefertigten Analyzer oder einen benutzerdefinierten Analyzer, um die Feldextraktion aus den klassifizierten Dokumenten oder Seiten zu steuern und durchzuführen.

Sie können das Festlegen von analyzerId zur Kategorisierung auch weglassen, dürfen jedoch keine Inhaltsanalyse für die kategorisierte Datei oder das kategorisierte Segment durchführen.

Auf der oberen Ebene können Sie auch festlegen omitContenttrue , dass das ursprüngliche Inhaltsobjekt weggelassen und nur Inhaltsobjekte aus der Analyse zurückgegeben werden, die für die klassifizierten Segmente oder Dateien ausgeführt wurde.

Hierarchischer Klassifizierer

Der Analysevorgang unterstützt hierarchische Aufteilung und Klassifizierung. Legen analyzerId Sie im Basisanalysevorgang für jede Inhaltskategorie eine benutzerdefinierte Analyse fest, die zusätzliche Klassifizierung oder Aufteilung durchführt. Dieser Ansatz unterstützt Szenarien wie Rechnungen, Verträge und Quittungen, bei denen die einzelnen Kategorien analyzerId auf einen anderen Analysevorgang verweisen können, der verschiedene Dokumentuntertypen klassifiziert.

Dokumenteingaben unterstützen fünf Schachtelungsebenen, und Videoeingaben unterstützen zwei.

Klassifizierungsverbesserungen (Vorschau 2026-06-01)

In den vorherigen Abschnitten wird das GA-Verhalten beschrieben. In diesem Abschnitt werden nur Vorschaufunktionen beschrieben, für die API-Version 2026-06-01-previewerforderlich ist.

Die 2026-06-01-preview API-Version enthält zwei Verbesserungen an der Dokumentklassifizierung und -aufteilung. Um diese Verbesserungen zu verwenden, richten Sie sich an die Vorschau-API-Version, wenn Sie eine Analyseanforderung übermitteln.

Layoutbasierte Featureextraktion (Vorschau)

In der 2026-06-01-preview API fügt der Klassifizierer umfangreiche Klassifizierungssignale wie layoutbasierte Dokumentfeatures hinzu – Abschnittsmarkierungen, Tabellenüberschriften, Abbildungsbeschreibungen und vieles mehr.

Layoutfähiges Sampling verbessert die Klassifizierungsgenauigkeit in Szenarien, in denen die Unterscheidung von Inhalten hoch unstrukturiert oder auf einer Seite verteilt ist. Beispiele:

• Seiten, die im Text spärlich sind, z. B. Röntgenbilder oder gescannte Diagnoseberichte.
• Abbildungsintensive Seiten, bei denen eine Abbildungsbeschreibung den größten Teil des Klassifizierungssignals enthält.
• Seiten, auf denen Schlüsselabschnittsüberschriften oder Tabellenüberschriften in der Mitte der Seite angezeigt werden.

Es ist keine Konfigurationsänderung erforderlich. Wenn Sie die Vorschau-API aufrufen, verwendet der Klassifizierer automatisch die layoutbasierten Features.

In-Page-Segmentierung (Vorschau)

Die 2026-06-01-preview API fügt eine In-Page-Segmentierung hinzu, die eine einzelne Seite in mehrere Segmente aufteilen kann, wenn die Seite Inhalte enthält, die zu verschiedenen Dokumenttypen gehören.

In-Page-Segmentierung ist für Szenarien hilfreich, z. B.:

• Medizinische Datensätze , bei denen eine einzelne Seite Inhaltstypen kombiniert, z. B. einen Patientendemografieabschnitt gefolgt von einer Empfehlungsreihenfolge auf derselben Seite.
• Steuerpakete , bei denen mehrere Zeitpläne oder Formulare auf derselben Seite gestapelt werden, z. B. K-1-Zeitpläne.
• Mehrformularpakete , bei denen aufeinander folgende Formulare nicht immer auf einer neuen Seite beginnen.

Um die In-Page-Segmentierung zu true aktivieren, legen Sie diesen festallowInPageSegments, wenn Sie einen benutzerdefinierten Analyzer erstellen oder aktualisieren (Sie können dieses Feld nicht in einer Analyseanforderung festlegen). Die Antwort der Analyse umfasst Seitenbereiche pro Segment, die Kategorie jedes Segments, eine Konfidenzbewertung und einen Quellausdruck, der die Begrenzungsposition des Segments auf der Seite identifiziert.

Das folgende Beispiel zeigt das segments Array in einer Analyseantwort, bei der eine einzelne Seite in ein Kreditkartensegment und ein Identitätskartensegment aufgeteilt wird:

"segments": [
    {
        "span": {
            "offset": 0,
            "length": 301
        },
        "segmentId": "segment1",
        "startPageNumber": 1,
        "endPageNumber": 1,
        "category": "Credit_card",
        "confidence": 0.98,
        "source": "D(1,1.32,1.49,3.13,1.49,3.13,3.86,1.32,3.86)"
    },
    {
        "span": {
            "offset": 301,
            "length": 798
        },
        "segmentId": "segment2",
        "startPageNumber": 1,
        "endPageNumber": 1,
        "category": "Identity_card",
        "confidence": 0.99,
        "source": "D(1,1.16,4.95,3.82,4.95,3.82,8.52,1.16,8.52)"
    }
]

API-Felder

Die folgenden API-Felder unterstützen die In-Page-Segmentierung:

Klassifizierungsgrenzwerte

Weitere Informationen zu unterstützten Eingabedokumentformaten und Klassifiziererlimits finden Sie unter Dienstkontingente und Limits.

Bewährte Methoden

Um die Klassifizierungs- und Aufteilungsqualität zu verbessern, verwenden Sie einen aussagekräftigen Kategorienamen und eine aussagekräftige Beschreibung, damit das Modell die Kategorien mit einem gewissen Kontext verstehen kann. Weitere Informationen zu Kategorienamen und Beschreibungen finden Sie unter Bewährte Methoden.

Hauptvorteile

• Genauigkeit und Zuverlässigkeit: Stellen Sie eine präzise Dokumentklassifizierung sicher, um Fehler zu reduzieren und die Effizienz zu steigern.
• Skalierbarkeit: Skalieren Sie die Dokumentenverarbeitung, um den geschäftlichen Anforderungen gerecht zu werden.
• Anpassbar: Passen Sie den Dokumentklassifzierer an bestimmte Workflows an.

Unterstützte Sprachen und Regionen

Eine Liste der unterstützten Sprachen und Regionen finden Sie unter Sprach- und Regionsunterstützung.

Datenschutz und Sicherheit

Wenn Sie Inhaltsverständnis verwenden, überprüfen Sie Microsoft-Richtlinien für Kundendaten. Weitere Informationen finden Sie unter Daten, Schutz und Privatsphäre.

Verwandte Inhalte

• Versuchen Sie, Den Dokumentinhalt in Content Understanding Studio zu verarbeiten.
• Erfahren Sie, wie Sie Dokumentinhalte mithilfe von Analysevorlagen verarbeiten.