Erreurs de données Azure Stream Analytics

Des erreurs de données surviennent lorsque Azure Stream Analytics traite vos données en streaming. Ces erreurs surviennent le plus souvent lors de la désérialisation, de la sérialisation et des opérations d’écriture des données. Lorsque des erreurs de données se produisent, Stream Analytics écrit des informations détaillées et des exemples d’événements dans les journaux de ressources. Activez les journaux de diagnostic dans votre poste pour obtenir ces informations supplémentaires. Dans certains cas, les notifications du portail fournissent également un résumé de ces informations.

Cet article présente les différents types d’erreurs, leurs causes et les détails du journal des ressources concernant les erreurs de données d’entrée et de sortie.

Schéma des journaux des ressources

Pour voir le schéma des journaux de ressources, consultez Résoudre les problèmes d’Azure Stream Analytics à l’aide des journaux de diagnostic. Le code JSON suivant est un exemple de valeur pour le champ Propriétés d’un journal de ressources en cas d’erreur de données.

{
    "Source": "InputTelemetryData",
    "Type": "DataError",
    "DataErrorType": "InputDeserializerError.InvalidData",
    "BriefMessage": "JSON input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "Message": "Input Message Id: https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt Error: JSON input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "ExampleEvents": "[\"1,2\\\\u000d\\\\u000a3,4\\\\u000d\\\\u000a5,6\"]",
    "FromTimestamp": "2019-03-22T22:34:18.5664937Z",
    "ToTimestamp": "2019-03-22T22:34:18.5965248Z",
    "EventCount": 1
}

Erreurs de données d’entrée

InputDeserializerError.InvalidCompressionType

  • Cause : Le type de compression d’entrée que vous avez sélectionné ne correspond pas aux données.
  • Notification de portail fournie : Oui
  • Niveau de journalisation du journal des ressources : Avertissement
  • Impact : Stream Analytics élimine les messages contenant des erreurs de désérialisation, y compris un type de compression invalide, depuis l’entrée.
  • Détails du journal :
    • Identificateur de message d’entrée. Pour Azure Event Hubs, l’identifiant est l’PartitionId, le décalage et le numéro de séquence.

Message d’erreur

"BriefMessage": "Unable to decompress events from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please ensure compression setting fits the data being processed."

InputDeserializerError.InvalidHeader

  • Cause : L’en-tête de données d’entrée n’est pas valide. Par exemple, un fichier CSV comporte des colonnes avec des noms en double.
  • Notification de portail fournie : Oui
  • Niveau de journalisation de la ressource : Avertissement
  • Impact : Les messages contenant des erreurs de désérialisation, y compris un en-tête invalide, sont supprimés de l’entrée.
  • Détails du journal :
    • Identificateur de message d’entrée.
    • Charge utile réelle jusqu’à quelques kilo-octets.

Message d’erreur

"BriefMessage": "Invalid CSV Header for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please make sure there are no duplicate field names."

InputDeserializerError.MissingColumns

  • Cause : Les colonnes d’entrée que vous définissez avec CREATE TABLE ou à travers TIMESTAMP BY n’existent pas.
  • Notification de portail fournie : Oui
  • Niveau du journal des ressources : Avertissement
  • Impact : les événements avec des colonnes manquantes sont supprimés de l’entrée.
  • Détails du journal :
    • Identificateur de message d’entrée.
    • Noms des colonnes manquantes.
    • Charge utile réelle jusqu’à quelques kilo-octets.

Messages d’erreur

"BriefMessage": "Could not deserialize the input event(s) from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Missing fields specified in query or in create table. Fields expected:ColumnA Fields found:ColumnB"

InputDeserializerError.TypeConversionError

  • Cause : Stream Analytics ne peut pas convertir l’entrée au type que vous avez spécifié dans la CREATE TABLE déclaration.
  • Notification de portail fournie : Oui
  • Niveau de journalisation des ressources : Avertissement
  • Impact : Stream Analytics ignore les événements présentant une erreur de conversion de type en entrée.
  • Détails du journal :
    • Identificateur de message d’entrée.
    • Nom de la colonne et type attendu.

Messages d’erreur

"BriefMessage": "Could not deserialize the input event(s) from resource '''https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Unable to convert column: dateColumn to expected type."

InputDeserializerError.InvalidData

  • Cause : Les données d’entrée ne sont pas dans le bon format. Par exemple, l’entrée n’est pas un JSON valide.
  • Notification de portail fournie : Oui
  • Niveau de journalisation de la ressource : Avertissement
  • Impact : Stream Analytics coupe tous les événements du message après avoir rencontré une erreur de données invalide.
  • Détails du journal :
    • Identificateur de message d’entrée.
    • Charge utile réelle jusqu’à quelques kilo-octets.

Messages d’erreur

"BriefMessage": "JSON input stream should either be an array of objects or line separated objects. Found token type: String"

"Message": "JSON input stream should either be an array of objects or line separated objects. Found token type: String"

InvalidInputTimeStamp

  • Cause : La valeur de l’expression TIMESTAMP BY ne peut pas être convertie en DateHeure.
  • Notification de portail fournie : Oui
  • Niveau de journalisation de la ressource : Avertissement
  • Impact : les événements avec un horodatage d’entrée non valide sont supprimés de l’entrée.
  • Détails du journal :
    • Identificateur de message d’entrée.
    • Message d’erreur.
    • Charge utile réelle jusqu’à quelques kilo-octets.

Message d’erreur

"BriefMessage": "Unable to get timestamp for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' due to error 'Cannot convert string to datetime'"

InvalidInputTimeStampKey

  • Cause : La valeur de TIMESTAMP BY OVER timestampColumn est NULL.
  • Notification de portail fournie : Oui
  • Niveau de journalisation de la ressource : Avertissement
  • Impact : les événements dont la clé d’horodatage d’entrée est invalide sont supprimés des données d’entrée.
  • Détails du journal :
    • La charge utile réelle jusqu’à quelques kilo-octets.

Message d’erreur

"BriefMessage": "Unable to get value of TIMESTAMP BY OVER COLUMN"

LateInputEvent

  • Cause : La différence entre le temps d’application et le temps d’arrivée est plus grande que la fenêtre de tolérance d’arrivée tardive.
  • Notification de portail fournie : Non
  • Niveau de journalisation de ressource : Information
  • Impact : les événements d’entrée tardifs sont traités en fonction du paramètre « Gérer les autres événements » de la section Ordre des événements dans la configuration du travail. Pour plus d’informations, voir Politiques de gestion du temps.
  • Détails des logs :
    • Heure de l’application et heure d’arrivée.
    • Charge utile réelle jusqu’à quelques kilo-octets.

Message d’erreur

"BriefMessage": "Input event with application timestamp '2019-01-01' and arrival time '2019-01-02' was sent later than configured tolerance."

EarlyInputEvent

  • Cause : La différence entre le temps d’application et l’heure d’arrivée est supérieure à cinq minutes.
  • Notification de portail fournie : Non
  • Niveau de journalisation de ressource : Information
  • Impact : les événements d’entrée précoces sont traités en fonction du paramètre « Gérer les autres événements » de la section Ordre des événements dans la configuration du travail. Pour plus d’informations, voir Politiques de gestion du temps.
  • Détails du journal :
    • Heure de l’application et heure d’arrivée.
    • Charge utile réelle jusqu’à quelques kilo-octets.

Message d’erreur

"BriefMessage": "Input event arrival time '2019-01-01' is earlier than input event application timestamp '2019-01-02' by more than 5 minutes."

OutOfOrderEvent

  • Cause : L’événement est hors séquence d’après la fenêtre de tolérance pour les événements hors séquence définie.
  • Notification de portail fournie : Non
  • Niveau de journalisation de ressource : Information
  • Impact : Le travail gère les événements hors ordre selon le paramètre Gérer d’autres événements dans la section Ordre des événements de la configuration du travail. Pour plus d’informations, voir Politiques de gestion du temps.
  • Détails du journal :
    • Charge utile réelle jusqu’à quelques kilo-octets.

Message d’erreur

"Message": "Out of order event(s) received."

Erreurs de données de sortie

Selon la configuration, Azure Stream Analytics peut identifier les erreurs de données de sortie avec ou sans requête d’E/S adressée au récepteur de sortie. Par exemple, Stream Analytics peut identifier une colonne requise manquante, comme PartitionKey, lorsque vous utilisez la sortie Azure Table, sans requête d’E/S. Toutefois, les violations de contrainte dans la sortie SQL requièrent une requête d’E/S.

L’analyse de flux ne peut détecter plusieurs erreurs de données qu’après avoir appelé le puits de sortie, ce qui peut ralentir le traitement. Pour résoudre ce problème, modifiez la configuration de votre poste ou la requête qui cause l’erreur de données.

OutputDataConversionError.RequiredColumnMissing

  • Cause : La colonne obligatoire pour la sortie n’existe pas. Par exemple, une colonne définie comme Azure Table PartitionKey n’existe pas.
  • Notification de portail fournie : Oui
  • Niveau de journalisation de la ressource : Avertissement
  • Impact : Le paramètre Politique de données de sortie gère toutes les erreurs de conversion de données de sortie, y compris les colonnes manquantes requises.
  • Détails du journal :
    • Nom de la colonne, et identificateur d’enregistrement ou partie de l’enregistrement.

Message d’erreur

"Message": "The output record does not contain primary key property: [deviceId] Ensure the query output contains the column [deviceId] with a unique non-empty string less than '255' characters."

Erreur de conversion des données de sortie.Nom de colonne non valide

  • Cause : La valeur de colonne n’est pas conforme à la sortie. Par exemple, le nom de colonne n’est pas une colonne de table Azure valide.
  • Notification de portail fournie : Oui
  • Niveau de journalisation de la ressource : Avertissement
  • Impact : toutes les erreurs de conversion des données de sortie, y compris le nom de colonne non valide, sont gérées conformément au paramètre Stratégie des données de sortie.
  • Détails du journal :
    • Nom de la colonne, et identificateur d’enregistrement ou partie de l’enregistrement.

Message d’erreur

"Message": "Invalid property name #deviceIdValue. Please refer MSDN for Azure table property naming convention."

OutputDataConversionError.TypeConversionError

  • Cause : Une colonne ne peut pas être convertie en un type valide dans la sortie. Par exemple, la valeur de colonne est incompatible avec les contraintes ou le type définis dans la table SQL.
  • Notification de portail fournie : Oui
  • Niveau de journalisation de la ressource : Avertissement
  • Impact : toutes les erreurs de conversion des données de sortie, y compris l’erreur de conversion du type, sont gérées conformément au paramètre Stratégie des données de sortie.
  • Détails du journal :
    • Nom de la colonne.
    • Identificateur d’enregistrement ou partie de l’enregistrement.

Message d’erreur

"Message": "The column [id] value null or its type is invalid. Ensure to provide a unique non-empty string less than '255' characters."

ErreurDeConversionDesDonnéesDeSortie.EnregistrementAExédéLaLimiteDeTaille

  • Cause : La valeur du message est supérieure à la taille de sortie prise en charge. Par exemple, un enregistrement dépasse 1 Mo pour une sortie Event Hubs.
  • Notification de portail fournie : Oui
  • Niveau de journalisation de la ressource : Avertissement
  • Impact : toutes les erreurs de conversion des données de sortie, y compris l’enregistrement qui a dépassé la taille limite, sont gérées conformément au paramètre Stratégie des données de sortie.
  • Détails du journal :
    • Identificateur d’enregistrement ou partie de l’enregistrement.

Message d’erreur

"BriefMessage": "Single output event exceeds the maximum message size limit allowed (262144 bytes) by Event Hub."

OutputDataConversionError.DuplicateKey

  • Cause : Un enregistrement contient déjà une colonne portant le même nom qu’une colonne système. Par exemple, Azure Cosmos DB génère en sortie une colonne nommée ID lorsque la colonne ID est mappée à une autre colonne.
  • Notification de portail fournie : Oui
  • Niveau de journalisation de la ressource : Avertissement
  • Impact : toutes les erreurs de conversion des données de sortie, y compris la clé en double, sont gérées conformément au paramètre Stratégie des données de sortie.
  • Détails du journal :
    • Nom de la colonne.
    • Identificateur d’enregistrement ou partie de l’enregistrement.

Message d’erreur

"BriefMessage": "Column 'devicePartitionKey' is being mapped to multiple columns."

Étapes suivantes

  • Last updated on