Installer une autre version de SynapseML sur Fabric

SynapseML (Synapse Machine Learning) est préinstallé sur Microsoft Fabric. Si vous avez besoin d’une version spécifique, vous pouvez la remplacer à l’aide de la %%configure commande magic dans un bloc-notes Fabric.

Démarrage rapide

Prerequisites

Avant de commencer, vérifiez que vous disposez des ressources suivantes :

Compatibilité de SynapseML avec le runtime Fabric

Choisissez la version SynapseML et Spark Avro JAR qui correspondent à votre version spark Fabric runtime :

Vous trouverez des versions SynapseML disponibles sur Maven Central.

Installer SynapseML avec %%configure

La %%configure -f commande configure les propriétés de session Spark, y compris les coordonnées du package Maven. L’indicateur -f force un redémarrage de la session existante.

Exemple pour Fabric Runtime 1.2 (Spark 3.4)

Collez ce code dans la première cellule d’un nouveau bloc-notes Fabric et exécutez la cellule :

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

Pour installer une autre version, remplacez les numéros de version dans spark.jars.packages:

• synapseml_2.12:<version>: la version SynapseML souhaitée (par exemple). 1.0.4
• spark-avro_2.12:<spark-version>: doit correspondre à votre version Fabric runtime Spark (voir la table de compatibilité).

Exemple pour Fabric Runtime 1.1 (Spark 3.3)

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:0.11.4,org.apache.spark:spark-avro_2.12:3.3.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

Vérifier la configuration Spark

Une fois la cellule exécutée, vérifiez que la session Spark a accepté la configuration. Exécutez ce code dans une nouvelle cellule :

print(spark.conf.get("spark.jars.packages"))

Sortie attendue (pour l’exemple Runtime 1.2) :

com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1

Vérifier la version de SynapseML

Pour vérifier l’installation, exécutez le code suivant dans une nouvelle cellule. Le numéro de version doit correspondre à la version que vous avez installée.

import synapse.ml.lightgbm
print(f"SynapseML version: {synapse.ml.lightgbm.__version__}")

Sortie attendue (pour l’exemple Runtime 1.2) :

SynapseML version: 1.0.8

Rétablir la version par défaut

Pour revenir à la version préinstallée de SynapseML, supprimez la %%configure cellule et redémarrez la session de notebook :

1. Supprimez ou commentez la %%configure cellule.
2. Sélectionnez Session> dans la barre d’outils du bloc-notes.
3. Exécutez n’importe quelle cellule pour démarrer une nouvelle session avec la configuration par défaut.

Référence de configuration

Le %%configure bloc inclut ces propriétés Spark :

Troubleshooting

%%configure cellule ne prend pas effet

Cause : la %%configure cellule n’était pas la première cellule à exécuter, ou une session Spark était déjà active.

Correction : Sélectionnez Session>Arrêter la session, puis exécutez d’abord la cellule %%configure.

Échec ou expiration du téléchargement JAR

Cause : Le référentiel Maven est inaccessible ou les coordonnées de version sont incorrectes.

Correctif : Vérifiez que la version synapseML existe sur Maven Central. Vérifiez que la spark-avro version correspond à votre version du runtime Spark.

ClassNotFoundException ou NoSuchMethodError au moment de l’exécution

Cause : La version synapseML n'est pas compatible avec la version Fabric runtime Spark.

Correctif : Utilisez la table de compatibilité pour sélectionner la combinaison de versions correcte.

ImportError : aucun module nommé « synapse.ml »

Cause : Le package wrapper Python SynapseML n'est pas installé dans l'environnement de notebook.

Correctif : Dans une nouvelle cellule, exécutez :

%pip install synapseml==1.0.8

Remplacez 1.0.8 par la version qui correspond au fichier JAR que vous avez installé.

Le numéro de version ne correspond pas à la version installée

Cause : l’attribut __version__ Python provient du synapseml package pip, qui peut différer de la version JAR installée par %%configure.

Correctif : vérifiez à la fois la configuration Spark et la version du package pip :

# Check the JAR version from Spark config
print("JAR packages:", spark.conf.get("spark.jars.packages"))

# Check the pip package version
import synapse.ml.lightgbm
print("Pip package version:", synapse.ml.lightgbm.__version__)

Si les versions ne correspondent pas, installez le package pip correspondant :

%pip install synapseml==1.0.8

Contenu connexe

• Comment utiliser LightGBM avec SynapseML
• Utilisation des services IA avec SynapseML
• Comment effectuer la même tâche de classification avec et sans SynapseML
• Gérer les bibliothèques Apache Spark dans Fabric