Utiliser des fonctionnalités dans les workflows en ligne

Databricks Feature Service rend les données de la plateforme Databricks disponibles pour les modèles ou les applications déployés en dehors de Azure Databricks. Vous pouvez synchroniser les données vers un magasin de fonctionnalités en ligne en utilisant soit des affichages de fonctionnalités, soit des tables de fonctionnalités, puis regrouper les fonctionnalités dans une FeatureSpec que vous pouvez mettre en service via un point de terminaison de mise en service de fonctionnalités.

La même infrastructure alimente à la fois les points de terminaison de service de fonctionnalités et de service de modèles, partageant ainsi des capacités telles que l’autoscaling, la haute disponibilité, l’observabilité et l’optimisation du routage.

Databricks propose trois options pour mettre en service les fonctionnalités :

1. Les points de terminaison de mise en service de modèles sont équipés d’une recherche automatique de fonctionnalités intégrée pour les modèles enregistrés via le client d’ingénierie de caractéristiques. Lorsque vous formez et enregistrez le modèle, Databricks capture la traçabilité des fonctionnalités et effectue automatiquement la recherche dans le cadre de service de modèles.
2. Les points de terminaison de mise en service de fonctionnalités sont meilleurs lorsque vous consommez des fonctionnalités en dehors de Databricks, comme dans un modèle hébergé en externe ou un moteur de règles. Le point de terminaison renvoie directement les fonctionnalités et peut associer les recherches de caractéristiques au calcul de fonctionnalités à la demande en une seule requête.
3. Les requêtes Direct Lakebase peuvent être le bon choix pour les recherches de features sensibles à la latence où chaque milliseconde compte et où vous consommez des features en dehors du service de modèles Databricks. Créez votre magasin en ligne et configurez la bonne synchronisation (matérialisation pour les affichages de fonctionnalités, publication pour les tables de fonctionnalités), puis interrogez Lakebase comme n’importe quelle autre base de données. Ce patron ne prend pas en charge les Sawtooth Feature Views, les fonctionnalités à la demande, ni les noms de fonctionnalités supérieurs à 64 caractères.

Recherche automatique de caractéristiques

Lorsque vous entraînez un modèle à l’aide du Magasin de fonctionnalités Databricks et que vous le servez avec Databricks Model Serving, le modèle recherche automatiquement les valeurs des fonctionnalités à partir d’un Magasin de fonctionnalités Databricks Online ou d’un magasin en ligne tiers. Cela se produit automatiquement sans configuration requise.

Lorsqu’une demande de scoring arrive dans le modèle, Model Serving récupère automatiquement les valeurs de caractéristique publiées dont le modèle a besoin. De cette façon, les valeurs de caractéristique les plus récentes sont toujours utilisées pour les prédictions. Pour plus d’informations et pour obtenir des exemples de notebooks, consultez Service de modèles avec recherche automatique de fonctionnalités.

Le diagramme suivant illustre la relation entre les composants de la plateforme pour le service en temps réel.

Fonctionnalité Points de terminaison de service

Pour les clients qui utilisent des modèles en dehors de Databricks, servir les données de feature offre une interface unique qui fournit des données de feature prématérialisées de votre Lakehouse, parallèlement aux features à la demande. Il offre également les avantages suivants :

• Simplicité. Databricks gère l’infrastructure. Avec un seul appel d’API, Databricks crée un environnement de mise en service prêt pour la production.
• Haute disponibilité et scalabilité. Les points de terminaison Feature Serving effectuent automatiquement un scale-up et un scale-down pour s’adapter au volume des requêtes de mise en service.
• Sécurité. Les points de terminaison sont déployés dans une limite réseau sécurisée et utilisent un calcul dédié qui se termine à la suppression du point de terminaison ou sa mise à l’échelle vers zéro.

Caractéristiques à la demande

Les modèles Machine Learning pour les applications en temps réel nécessitent souvent les valeurs des caractéristiques les plus récentes. Dans l’exemple présenté dans le diagramme, une fonctionnalité pour un modèle de recommandation de restaurant est la distance actuelle de l’utilisateur d’un restaurant. Cette fonctionnalité doit être calculée « à la demande », c’est-à-dire au moment de la demande de scoring. Lors de la réception d’une demande de scoring, le modèle recherche l’emplacement du restaurant, puis applique une fonction prédéfinie pour calculer la distance entre l’emplacement actuel de l’utilisateur et le restaurant. Cette distance est transmise en tant qu’entrée au modèle, ainsi que d’autres fonctionnalités précalculées du magasin de fonctionnalités.

Pour plus d’informations, consultez Calculer des caractéristiques à la demande.