Erros de dados do Azure Stream Analytics

Erros de dados ocorrem quando o Azure Stream Analytics processa seus dados de streaming. Esses erros ocorrem com mais frequência durante operações de desserialização, serialização e escrita. Quando ocorrem erros de dados, o Stream Analytics grava informações detalhadas e eventos de exemplo nos logs de recursos. Ative os logs de diagnóstico no seu trabalho para obter esses detalhes extras. Em alguns casos, as notificações do portal também fornecem um resumo dessas informações.

Este artigo descreve os diferentes tipos de erro, as causas e os detalhes do log de recursos para erros de dados de entrada e saída.

Esquema dos logs de recursos

Para ver o esquema dos logs de recursos, consulte Solucionar problemas do Azure Stream Analytics usando logs de diagnóstico. O JSON a seguir é um valor de exemplo para o campo Propriedades de um log de recursos para um erro de dados.

{
    "Source": "InputTelemetryData",
    "Type": "DataError",
    "DataErrorType": "InputDeserializerError.InvalidData",
    "BriefMessage": "JSON input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "Message": "Input Message Id: https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt Error: JSON input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "ExampleEvents": "[\"1,2\\\\u000d\\\\u000a3,4\\\\u000d\\\\u000a5,6\"]",
    "FromTimestamp": "2019-03-22T22:34:18.5664937Z",
    "ToTimestamp": "2019-03-22T22:34:18.5965248Z",
    "EventCount": 1
}

Erros de dados de entrada

Erro de Desserializador de Entrada: Tipo de Compressão Inválido

  • Causa: O tipo de compressão de entrada que você selecionou não bate com os dados.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: O Stream Analytics elimina mensagens com quaisquer erros de desserialização, incluindo um tipo de compressão inválido, da entrada.
  • Detalhes do registro:
    • Identificador de mensagem de entrada. Para Hubs de Eventos do Azure, o identificador é o PartitionId, o Offset e o Número de Sequência.

Mensagem de erro

"BriefMessage": "Unable to decompress events from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please ensure compression setting fits the data being processed."

ErroDoDesserializadorDeEntrada.CabeçalhoInválido

  • Causa: o cabeçalho dos dados de entrada é inválido. Por exemplo, um CSV tem colunas com nomes duplicados.
  • Notificação do portal fornecida: Sim
  • Nível de log do recurso: Advertência
  • Impacto: Mensagens com quaisquer erros de desserialização, incluindo cabeçalho inválido, são eliminadas da entrada.
  • Detalhes do registro:
    • Identificador de mensagem de entrada.
    • Carga útil real de alguns quilobytes.

Mensagem de erro

"BriefMessage": "Invalid CSV Header for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please make sure there are no duplicate field names."

InputDeserializerError.MissingColumns

  • Causa: As colunas de entrada que você define com CREATE TABLE ou através TIMESTAMP BY não existem.
  • Notificação do portal fornecida: Sim
  • Nível de log do recurso: Advertência
  • Impacto: os eventos com colunas ausentes são removidos da entrada.
  • Detalhes do registro:
    • Identificador de mensagem de entrada.
    • Nomes das colunas que estão ausentes.
    • Carga útil real de alguns quilobytes.

Mensagens de erro

"BriefMessage": "Could not deserialize the input event(s) from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Missing fields specified in query or in create table. Fields expected:ColumnA Fields found:ColumnB"

InputDeserializerError.TypeConversionError

  • Causa: O Stream Analytics não consegue converter a entrada para o tipo que você especificou na CREATE TABLE declaração.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: O Stream Analytics elimina eventos com um erro de conversão de tipo na entrada.
  • Detalhes do registro:
    • Identificador de mensagem de entrada.
    • Nome da coluna e tipo esperado.

Mensagens de erro

"BriefMessage": "Could not deserialize the input event(s) from resource '''https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Unable to convert column: dateColumn to expected type."

InputDeserializerError.InvalidData

  • Causa: Os dados de entrada não estão no formato correto. Por exemplo, a entrada não é um JSON válido.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: O Stream Analytics descarta todos os eventos da mensagem após encontrar um erro de dados inválido.
  • Detalhes do registro:
    • Identificador de mensagem de entrada.
    • Carga útil real de alguns quilobytes, no máximo.

Mensagens de erro

"BriefMessage": "JSON input stream should either be an array of objects or line separated objects. Found token type: String"

"Message": "JSON input stream should either be an array of objects or line separated objects. Found token type: String"

InvalidInputTimeStamp

  • Causa: o valor da expressão TIMESTAMP BY não pode ser convertido em datetime.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: eventos com carimbo de data/hora de entrada inválido são removidos da entrada.
  • Detalhes do registro:
    • Identificador de mensagem de entrada.
    • Mensagem de erro.
    • Carga útil real de até alguns quilobytes.

Mensagem de erro

"BriefMessage": "Unable to get timestamp for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' due to error 'Cannot convert string to datetime'"

InvalidInputTimeStampKey

  • Causa: o valor de TIMESTAMP BY OVER timestampColumn é NULL.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: Aviso
  • Impacto: eventos com chave inválida de timestamp de entrada são descartados da entrada.
  • Detalhes do registro:
    • A carga útil real pode chegar a alguns kilobytes.

Mensagem de erro

"BriefMessage": "Unable to get value of TIMESTAMP BY OVER COLUMN"

LateInputEvent

  • Causa: A diferença entre o tempo de aplicação e o tempo de chegada é maior do que a janela de tolerância de chegada tardia.
  • Notificação do portal fornecida: não
  • Nível de log de recursos: informações
  • Impacto: os eventos de entrada tardia são tratados de acordo com a configuração "Manipular outros eventos" na seção Ordenação de eventos da configuração do trabalho. Para mais informações, veja Políticas de Gerenciamento de Tempo.
  • Detalhes do registro:
    • Horário da solicitação e horário de chegada.
    • Carga útil real de alguns quilobytes.

Mensagem de erro

"BriefMessage": "Input event with application timestamp '2019-01-01' and arrival time '2019-01-02' was sent later than configured tolerance."

EarlyInputEvent

  • Causa: A diferença entre o tempo de aplicação e o tempo de chegada é maior que cinco minutos.
  • Notificação do portal fornecida: não
  • Nível de log de recursos: informações
  • Impacto: os eventos de entrada antecipada são tratados de acordo com a configuração "Manipular outros eventos" na seção Ordenação de eventos da configuração do trabalho. Para mais informações, veja Políticas de Gerenciamento de Tempo.
  • Detalhes do registro:
    • Hora da solicitação e hora de chegada.
    • Carga útil real de até alguns quilobytes.

Mensagem de erro

"BriefMessage": "Input event arrival time '2019-01-01' is earlier than input event application timestamp '2019-01-02' by more than 5 minutes."

OutOfOrderEvent

  • Causa: O evento está fora de ordem de acordo com a janela de tolerância definida para eventos fora de ordem.
  • Notificação do portal fornecida: não
  • Nível de log de recursos: informações
  • Impacto: O trabalho lida com eventos fora de ordem de acordo com a configuração Gerenciar outros eventos na seção de Ordem de Eventos da configuração do trabalho. Para mais informações, veja Políticas de Gerenciamento de Tempo.
  • Detalhes do registro:
    • Carga útil real de até alguns quilobytes.

Mensagem de erro

"Message": "Out of order event(s) received."

Erros de dados de saída

O Azure Stream Analytics pode identificar erros de dados de saída com ou sem uma solicitação de E/S para o coletor de saída, dependendo da configuração. Por exemplo, o Stream Analytics pode identificar uma coluna necessária faltante, como PartitionKey, quando você usa a saída do Azure Table sem uma solicitação de I/O. No entanto, as violações de restrição na saída do SQL exigem uma solicitação de E/S.

O Stream Analytics só pode detectar vários erros de dados após chamar o sumidouro de saída, o que pode desacelerar o processamento. Para resolver esse problema, mude a configuração do seu trabalho ou a consulta que causa o erro de dados.

Erro de conversão de dados de saída.Coluna obrigatória ausente

  • Causa: a coluna necessária para a saída não existe. Por exemplo, uma coluna definida como Chave de Partição de Tabela do Azure não existe.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: A configuração Política de Dados de Saída lida com todos os erros de conversão de dados de saída, incluindo colunas obrigatórias que faltam.
  • Detalhes do registro:
    • Nome da coluna e o identificador de registro ou parte do registro.

Mensagem de erro

"Message": "The output record does not contain primary key property: [deviceId] Ensure the query output contains the column [deviceId] with a unique non-empty string less than '255' characters."

ErroDeConversãoDeDadosDeSaída.NomeDaColunaInválido

  • Causa: o valor da coluna não está de acordo com a saída. Por exemplo, o nome da coluna não é uma coluna de tabela do Azure válida.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo nome de coluna inválido, são tratados de acordo com a configuração Política de Dados de Saída.
  • Detalhes do registro:
    • Nome da coluna e o identificador de registro ou parte do registro.

Mensagem de erro

"Message": "Invalid property name #deviceIdValue. Please refer MSDN for Azure table property naming convention."

OutputDataConversionError.TypeConversionError

  • Causa: uma coluna não pode ser convertida em um tipo válido na saída. Por exemplo, o valor da coluna é incompatível com restrições ou tipo definido na tabela SQL.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo erro de conversão de tipo, são tratados de acordo com a configuração Política de Dados de Saída.
  • Detalhes do registro:
    • Nome da coluna.
    • Identificador do registro ou parte dele.

Mensagem de erro

"Message": "The column [id] value null or its type is invalid. Ensure to provide a unique non-empty string less than '255' characters."

ErroDeConversãoDeDadosDeSaída.RegistroExcedeuLimiteDeTamanho.

  • Causa: o valor da mensagem é maior que o tamanho de saída com suporte. Por exemplo, um registro é maior que 1 MB para a saída de um hub de eventos.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo o limite de tamanho excedido do registro, são tratados de acordo com a configuração Política de Dados de Saída.
  • Detalhes do registro:
    • Identificador do registro ou parte dele.

Mensagem de erro

"BriefMessage": "Single output event exceeds the maximum message size limit allowed (262144 bytes) by Event Hub."

OutputDataConversionError.DuplicateKey

  • Causa: Um registro já contém uma coluna com o mesmo nome de uma coluna do sistema. Por exemplo, a saída do Azure Cosmos DB tem uma coluna chamada ID, mesmo quando a coluna ID está mapeada para uma coluna diferente.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo chave duplicada, são tratados de acordo com a configuração Política de Dados de Saída.
  • Detalhes do registro:
    • Nome da coluna.
    • Identificador do registro ou parte dele.

Mensagem de erro

"BriefMessage": "Column 'devicePartitionKey' is being mapped to multiple columns."

Próximas etapas

  • Last updated on