Habilidad para dividir texto

La habilidad División de Texto divide el texto en fragmentos. Puedes especificar si quieres dividir el texto en frases o en páginas de una longitud determinada. Metadatos posicionales como desplazamiento y posición ordinal también están disponibles como salidas. Esta habilidad es útil si existen requisitos de longitud máxima de texto en otras habilidades posteriores, como incrustar habilidades que pasan fragmentos de datos a modelos incrustados en Azure OpenAI y otros proveedores de modelos. Para más información sobre este escenario, véase documentos Chunk para búsqueda vectorial.

Varios parámetros son específicos de cada versión. La tabla de parámetros de habilidades indica la versión de la API en la que se introdujo un parámetro para que sepas si se requiere una actualización de versión . Para usar funciones específicas de una versión como token chunking en 2024-09-01-preview, puedes usar el portal de Azure, o dirigirte a una versión de la API REST, o consultar un registro de cambios de SDK de Azure para ver si soporta esta función.

El portal de Azure soporta la mayoría de las funciones de vista previa y puede utilizarse para crear o actualizar un conjunto de habilidades. Para actualizaciones de la habilidad División de Texto, edita la definición de JSON del conjunto de habilidades para añadir nuevos parámetros de previsualización.

@odata.type

Microsoft.Skills.Text.SplitSkill

Parámetros de la aptitud

Los parámetros son sensibles a mayúsculas y mayúsculas.

Entradas de la aptitud

Salidas de la aptitud

Definición de ejemplo

{
    "name": "SplitSkill", 
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill", 
    "description": "A skill that splits text into chunks", 
    "context": "/document", 
    "defaultLanguageCode": "en", 
    "textSplitMode": "pages", 
    "unit": "azureOpenAITokens", 
    "azureOpenAITokenizerParameters":{ 
        "encoderModelName":"cl100k_base", 
        "allowedSpecialTokens": [ 
            "[START]", 
            "[END]" 
        ] 
    },
    "maximumPageLength": 512,
    "inputs": [
        {
            "name": "text",
            "source": "/document/text"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "pages"
        }
    ]
}

Entrada de ejemplo

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several pages...",
                "languageCode": "en"
            }
        }
    ]
}

Salida de ejemplo

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "pages": [
                    "This is the loan...",
                    "In the next section, we continue..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    }
                ],
                "lengths": [
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    },
                    {
                        "utf8": 211,
                        "utf16": 211,
                        "codePoint": 211
                    }
                ],
                "ordinalPositions" : [
                    1,
                    2
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "pages": [
                    "This is the second document...",
                    "In the next section of the second doc..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    }
                ],
                "lengths": [
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    },
                    {
                        "utf8": 209,
                        "utf16": 209,
                        "codePoint": 209
                    }
                ],
                 "ordinalPositions" : [
                    1,
                    2
                ]
            }
        }
    ]
}

Ejemplo de fragmentación y vectorización

Este ejemplo es para vectorización integrada.

• pageOverlapLength: El texto superpuesto es útil en escenarios de fragmentación de datos porque preserva la continuidad entre fragmentos generados a partir del mismo documento.

• maximumPagesToTake: Los límites en la entrada de páginas son útiles en escenarios de vectorización porque ayudan a mantenerte por debajo de los límites máximos de entrada de los modelos de incrustación que proporcionan la vectorización.

Definición de ejemplo

Esta definición suma pageOverlapLength 100 caracteres y maximumPagesToTake de uno.

Asumiendo que maximumPageLength son 5.000 caracteres (el valor por defecto), entonces "maximumPagesToTake": 1 procesa los primeros 5.000 caracteres de cada documento fuente.

Este ejemplo establece textItems a myPages través de targetName. Como targetName está activado, myPages es el valor que debes usar para seleccionar la salida de la habilidad División de Texto. Úsalo /document/myPages/* en habilidades posteriores, mapeo de campos de salida del indexador, proyecciones de almacenamiento de conocimiento y proyecciones de índices.

{
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
    "textSplitMode" : "pages", 
    "maximumPageLength": 1000,
    "pageOverlapLength": 100,
    "maximumPagesToTake": 1,
    "defaultLanguageCode": "en",
    "inputs": [
        {
            "name": "text",
            "source": "/document/content"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "myPages"
        }
    ]
}

Entrada de muestra (igual que en el ejemplo anterior)

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several sections...",
                "languageCode": "en"
            }
        }
    ]
}

Salida de muestra (fíjate en la superposición)

Dentro de cada matriz "textItems", el texto que sigue desde el primer elemento se copia al principio del segundo.

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "myPages": [
                    "This is the loan...Here is the overlap part",
                    "Here is the overlap part...In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "myPages": [
                    "This is the second document...Here is the overlap part...",
                    "Here is the overlap part...In the next section of the second doc..."
                ]
            }
        }
    ]
}

Casos de error

Si un lenguaje no está soportado, se genera una advertencia.

Consulte también

• Aptitudes integradas
• Cómo definir un conjunto de habilidades