Enriquecimiento de datos mediante AI Functions

Las funciones de IA son funciones integradas que puede usar para aplicar modelos de lenguaje de gran tamaño o técnicas de vanguardia sobre los datos almacenados en Azure Databricks para la transformación y el enriquecimiento de datos. Se pueden ejecutar desde Databricks SQL, cuadernos, canalizaciones de Lakeflow y flujos de trabajo.

Las funciones de IA son fáciles de usar, rápidas y escalables. Los analistas pueden usarlos para aplicar la inteligencia de datos a sus datos propietarios, mientras que los ingenieros de datos, los científicos de datos y los ingenieros de aprendizaje automático pueden usarlos para crear canalizaciones por lotes de nivel de producción.

Cuando llamas a una Función de IA, tu consulta se ejecuta sobre el cómputo desde el que la envías, como un almacén SQL, un cuaderno, un clúster o un pipeline. Dependiendo de la función, la inferencia del modelo puede ejecutarse en infraestructuras gestionadas por Databricks separadas que se facturan además de ese cálculo. Consulte Costes de las cargas de trabajo de AI Function.

Requisitos

• Las funciones de IA no están disponibles en los almacenes SQL clásicos.
• Se requiere Databricks Runtime 15.4 LTS o superior. Se recomienda Databricks Runtime 18.2 o superior para el mejor rendimiento y acceso a las últimas funciones.

Tarea específica y de uso general

Ai Functions tiene funciones específicas de tareas y de uso general:

• Funciones de IA específicas de tareas: funciones diseñadas específicamente optimizadas para una tarea específica, como el análisis de documentos, la extracción de entidades, la clasificación y el análisis de sentimiento. Estas funciones están respaldadas por sistemas gestionados por Azure Databricks y basados en investigación. Algunas funciones incluyen experiencias de interfaz de usuario. Consulte Funciones de IA específicas de la tarea para conocer las funciones y modelos admitidos.
• ai_query — Función de uso general para la flexibilidad de tareas y modelos. Proporcione un mensaje y elija cualquier API de Foundation Model compatible. Vea Usar ai_query.

Para restringir a qué funciones de IA específicas para cada tarea puede acceder su organización, consulte los permisos de Unity Catalog para AI Functions.

Funciones de IA específicas de la tarea

Las funciones específicas de la tarea se limitan a una determinada tarea para que pueda automatizar transformaciones rutinarias, como la extracción de entidades, la traducción y la clasificación. Databricks recomienda estas funciones para empezar porque invocan técnicas de investigación de última generación mantenidas por Databricks y no requieren ninguna personalización.

Consulte Análisis de opiniones de clientes con AI Functions para obtener un ejemplo.

Las siguientes funciones se agrupan por tarea.

Procesamiento inteligente de documentos:

Transformar texto:

Analizar texto:

Generar contenido. Para obtener indicaciones personalizadas o un modelo específico, consulte Usar ai_query:

Serie temporal de previsión:

Análisis de los cambios de métricas:

Búsqueda con incrustaciones de búsqueda de IA:

Uso de funciones de IA en flujos de trabajo de producción

Para la inferencia por lotes a gran escala, puedes integrar funciones de IA específicas para cada tarea, o la función de uso general ai_query, en tus flujos de trabajo de producción, como los pipelines de Lakeflow, los flujos de trabajo de Databricks y Structured Streaming. Esto permite el procesamiento de nivel de producción a escala.

Procedimientos recomendados para las funciones de inteligencia artificial en producción:

Permitir que AI Functions controle la carga de trabajo a escala: Ai Functions administra automáticamente la paralelización, los reintentos y el escalado. Se recomienda enviar el conjunto de datos completo en una sola consulta en lugar de dividirlo manualmente en lotes pequeños. Es posible que el rendimiento no se escale linealmente de cargas de trabajo muy pequeñas a cargas de trabajo a gran escala.

Use modelos de base hospedados en Databricks: Al usar la función de ia de ai_query, use modelos de base hospedados en Databricks (prefijo con databricks-), no con rendimiento aprovisionado. Estos puntos de conexión sin aprovisionamiento están totalmente administrados y funcionan mejor para el procesamiento por lotes.

Consulte Implementación de canalizaciones de inferencia por lotes para obtener ejemplos y detalles.

Supervisión del progreso de las funciones de IA

Para comprender cuántas inferencias se han completado o producido errores y solucionar problemas de rendimiento, puede supervisar el progreso de las funciones de IA mediante la característica de perfil de consulta.

En Databricks Runtime 16.1 ML y versiones posteriores, desde la ventana de consulta del editor de SQL del área de trabajo:

1. Seleccione el vínculo En ejecución--- en la parte inferior de la ventana Resultados sin procesar. La ventana de rendimiento aparece a la derecha.
2. Haga clic en Ver perfil de consulta para ver los detalles del rendimiento.
3. Haga clic en Consulta de IA para ver las métricas de esa consulta concreta, incluido el número de inferencias completadas y con errores y el tiempo total que tardó la solicitud en completarse.

Visualización de los costos de las cargas de trabajo de la función de IA

El cómputo que ejecuta tu consulta siempre se factura, por ejemplo un almacén SQL o un clúster de trabajos. Si existe un coste adicional de inferencia del modelo depende de la función:

• Las funciones específicas de la tarea (por ejemplo, ai_classify, ai_summarize, ai_translate) ejecutan inferencia en infraestructura de GPU serverless gestionada por Databricks a través de Model Serving. No provisionas esta infraestructura, pero se factura además de tu cálculo de consultas.
• ai_query se te factura según el endpoint de Model Serving que especifiques. Los extremos del modelo de fundación alojados en Databricks se facturan como las funciones específicas de la tarea; los extremos de modelo personalizado y de rendimiento provisionado se ejecutan en su propio computo dedicado de servicio y se facturan en consecuencia.
• ai_forecast y ai_top_drivers funcionan completamente con el cálculo desde el que los envías, sin coste de inferencia separado.
• vector_search consulta tu índice de búsqueda de IA a través del servicio de búsqueda de IA gestionado por Databricks.

Los costos de la función de IA quedan registrados como parte del MODEL_SERVING producto bajo el BATCH_INFERENCE tipo de oferta. Consulte Visualización de los costos de las cargas de trabajo de inferencia por lotes para obtener una consulta de ejemplo.

Visualización de los costos de las cargas de trabajo de inferencia por lotes

En los ejemplos siguientes se muestra cómo filtrar las cargas de trabajo de inferencia por lotes en función de las canalizaciones de trabajo, proceso, almacenamiento de SQL y Lakeflow.

Consulte Supervisión de los costos de servicio del modelo para obtener ejemplos generales sobre cómo ver los costos de las cargas de trabajo de inferencia por lotes que usan AI Functions.

Jobs

En la consulta siguiente se muestran los trabajos que se utilizan para la inferencia por lotes mediante una tabla de sistemas system.workflow.jobs. Consulte Supervisión de costos y rendimiento de trabajos con tablas del sistema.

SELECT *
FROM system.billing.usage u
  JOIN system.workflow.jobs x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.job_id = x.job_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Compute

A continuación se muestran los clústeres que se están utilizando para la inferencia por lotes con la tabla de sistemas system.compute.clusters.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Canalizaciones declarativas de Spark de Lakeflow

A continuación se muestra qué canalizaciones de Lakeflow se están utilizando para la inferencia por lotes mediante la tabla del sistema system.lakeflow.pipelines.

SELECT *
FROM system.billing.usage u
  JOIN system.lakeflow.pipelines x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.dlt_pipeline_id = x.pipeline_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Almacén de SQL

A continuación se muestran los almacenes de SQL que se usan para la inferencia en lotes mediante la tabla de sistemas system.compute.warehouses.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Visualización de los costos de ai_parse_document ejecuciones

En el ejemplo siguiente se muestra cómo consultar las tablas del sistema de facturación para ver los costos de las ai_parse_document ejecuciones.

SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "AI_FUNCTIONS"
  AND u.product_features.ai_functions.ai_function = "AI_PARSE_DOCUMENT";