Erros de dados do Azure Stream Analytics

Erros de dados ocorrem quando o Azure Stream Analytics processa os seus dados em streaming. Estes erros ocorrem mais frequentemente durante a desserialização, serialização e operações de escrita. Quando ocorrem erros de dados, o Stream Analytics grava informações detalhadas e eventos de exemplo nos logs de recursos. Ative os registos de diagnóstico no seu trabalho para obter estes detalhes adicionais. Em alguns casos, as notificações do portal também fornecem um resumo desta informação.

Este artigo descreve os diferentes tipos de erro, causas e detalhes do log de recursos para erros de dados de entrada e saída.

Esquema de registos de recursos

Para ver o esquema dos registos de recursos, consulte Resolver problemas do Azure Stream Analytics utilizando os registos de diagnóstico. O JSON seguinte é um valor de exemplo para o campo Properties de um registo de recurso relativo a um erro de dados.

{
    "Source": "InputTelemetryData",
    "Type": "DataError",
    "DataErrorType": "InputDeserializerError.InvalidData",
    "BriefMessage": "JSON input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "Message": "Input Message Id: https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt Error: JSON input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "ExampleEvents": "[\"1,2\\\\u000d\\\\u000a3,4\\\\u000d\\\\u000a5,6\"]",
    "FromTimestamp": "2019-03-22T22:34:18.5664937Z",
    "ToTimestamp": "2019-03-22T22:34:18.5965248Z",
    "EventCount": 1
}

Erros de dados de entrada

ErroDeDesserializadorDeEntrada.TipoDeCompressãoInválido

  • Causa: O tipo de compressão de entrada que selecionaste não corresponde aos dados.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: O Stream Analytics elimina mensagens com quaisquer erros de desserialização, incluindo um tipo de compressão inválido, da entrada.
  • Detalhes do registo:
    • Identificador da mensagem de entrada. Para Hubs de Eventos do Azure, o identificador é o PartitionId, o Offset e o Número de Sequência.

Mensagem de Erro

"BriefMessage": "Unable to decompress events from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please ensure compression setting fits the data being processed."

ErroDeDesserializadorDeEntrada.CabeçalhoInválido

  • Causa: O cabeçalho dos dados de entrada é inválido. Por exemplo, um CSV tem colunas com nomes duplicados.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: Mensagens com quaisquer erros de desserialização, incluindo um cabeçalho inválido, são eliminadas da entrada.
  • Detalhes do registo:
    • Identificador da mensagem de entrada.
    • Carga útil efetiva até alguns quilobytes.

Mensagem de Erro

"BriefMessage": "Invalid CSV Header for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please make sure there are no duplicate field names."

ErroDeserializacaoEntrada.ColunasEmFalta

  • Causa: As colunas de entrada que defines com CREATE TABLE ou através TIMESTAMP BY não existem.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: eventos com colunas ausentes são descartados da entrada.
  • Detalhes do registo:
    • Identificador da mensagem de entrada.
    • Nomes das colunas que estão faltando.
    • Carga útil real até alguns kilobytes.

Mensagens de erro

"BriefMessage": "Could not deserialize the input event(s) from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Missing fields specified in query or in create table. Fields expected:ColumnA Fields found:ColumnB"

InputDeserializerError.TypeConversionError

  • Causa: O Stream Analytics não consegue converter a entrada para o tipo especificado na CREATE TABLE declaração.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: O Stream Analytics elimina eventos com um erro de conversão de tipo a partir da entrada.
  • Detalhes do registo:
    • Identificador da mensagem de entrada.
    • Nome da coluna e tipo esperado.

Mensagens de erro

"BriefMessage": "Could not deserialize the input event(s) from resource '''https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Unable to convert column: dateColumn to expected type."

ErroDeserializadorDeEntrada.DadosInválidos

  • Causa: Os dados de entrada não estão no formato correto. Por exemplo, a entrada não é JSON válida.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: O Stream Analytics elimina todos os eventos da mensagem após encontrar um erro de dados inválido.
  • Detalhes do registo:
    • Identificador da mensagem de entrada.
    • Carga útil real até alguns kilobytes.

Mensagens de erro

"BriefMessage": "JSON input stream should either be an array of objects or line separated objects. Found token type: String"

"Message": "JSON input stream should either be an array of objects or line separated objects. Found token type: String"

CarimboDeTempoDeEntradaInválido

  • Causa: O valor da expressão TIMESTAMP BY não pode ser convertido em datetime.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: eventos com carimbo de data/hora de entrada inválido são descartados da entrada.
  • Detalhes do registo:
    • Identificador da mensagem de entrada.
    • Mensagem de erro.
    • Carga útil real até alguns kilobytes.

Mensagem de Erro

"BriefMessage": "Unable to get timestamp for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' due to error 'Cannot convert string to datetime'"

InvalidInputTimeStampKey

  • Causa: O valor de TIMESTAMP BY OVER timestampColumn é NULL.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: eventos com chave de carimbo de data/hora de entrada inválida são descartados da entrada.
  • Detalhes do registo:
    • A carga útil real até alguns quilobytes.

Mensagem de Erro

"BriefMessage": "Unable to get value of TIMESTAMP BY OVER COLUMN"

EventoDeEntradaTardio

  • Causa: A diferença entre o tempo de aplicação e o tempo de chegada é maior do que a janela de tolerância de chegada tardia.
  • Notificação do portal fornecida: Não
  • Nível de registo do recurso: Informação
  • Impacto: os eventos de entrada tardia são tratados de acordo com a configuração "Manipular outros eventos" na seção Ordenação de eventos da configuração do trabalho. Para mais informações, consulte Políticas de Gestão de Tempo.
  • Detalhes do registo:
    • Hora de aplicação e hora de chegada.
    • Carga útil real até alguns kilobytes.

Mensagem de Erro

"BriefMessage": "Input event with application timestamp '2019-01-01' and arrival time '2019-01-02' was sent later than configured tolerance."

Evento de Entrada Antecipada

  • Causa: A diferença entre o tempo de aplicação e o tempo de chegada é superior a cinco minutos.
  • Notificação do portal fornecida: Não
  • Nível de registo do recurso: Informação
  • Impacto: os eventos de entrada antecipada são tratados de acordo com a configuração "Manipular outros eventos" na seção Ordenação de eventos da configuração do trabalho. Para mais informações, consulte Políticas de Gestão de Tempo.
  • Detalhes do registo:
    • Hora de aplicação e hora de chegada.
    • Carga útil real até alguns kilobytes.

Mensagem de Erro

"BriefMessage": "Input event arrival time '2019-01-01' is earlier than input event application timestamp '2019-01-02' by more than 5 minutes."

OutOfOrderEvent

  • Causa: O evento está fora de ordem, de acordo com a janela de tolerância para eventos fora de ordem definida.
  • Notificação do portal fornecida: Não
  • Nível de registo do recurso: Informação
  • Impacto: O trabalho trata eventos fora de ordem de acordo com a definição Tratar de outros eventos na secção de Ordem de Eventos da configuração do trabalho. Para mais informações, consulte Políticas de Gestão de Tempo.
  • Detalhes do registo:
    • Carga útil efetiva até alguns quilobytes.

Mensagem de Erro

"Message": "Out of order event(s) received."

Erros de dados de saída

O Azure Stream Analytics pode identificar erros de dados de saída com ou sem uma solicitação de E/S para o coletor de saída, dependendo da configuração. Por exemplo, o Stream Analytics pode identificar uma coluna obrigatória em falta, como PartitionKey, quando utiliza a saída da Tabela do Azure, sem um pedido de E/S. No entanto, violações de restrição na saída SQL exigem uma solicitação de E/S.

O Stream Analytics só consegue detetar vários erros de dados depois de chamar o sumidouro de saída, o que pode atrasar o processamento. Para resolver este problema, altere a configuração do seu trabalho ou a consulta que causa o erro de dados.

Erro de Conversão de Dados de Saída.Coluna Necessária em Falta

  • Causa: a coluna necessária para a saída não existe. Por exemplo, uma coluna definida como Azure Table PartitionKey não existe.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: A definição de Política de Dados de Saída trata todos os erros de conversão de dados de saída, incluindo as colunas obrigatórias em falta.
  • Detalhes do registo:
    • Nome da coluna e o identificador do registo ou uma parte do registo.

Mensagem de Erro

"Message": "The output record does not contain primary key property: [deviceId] Ensure the query output contains the column [deviceId] with a unique non-empty string less than '255' characters."

ErroDeConversãoDeDadosDeSaída.NomeDaColunaInválido

  • Causa: o valor da coluna não está de acordo com a saída. Por exemplo, o nome da coluna não é uma coluna de tabela válida do Azure.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo nomes de colunas inválidos, são tratados de acordo com a configuração da Política de Dados de Saída.
  • Detalhes do registo:
    • Nome da coluna e identificador do registo ou parte do registo.

Mensagem de Erro

"Message": "Invalid property name #deviceIdValue. Please refer MSDN for Azure table property naming convention."

ErroDeConversãoDeDadosDeSaída.ErroDeConversãoDeTipo

  • Causa: uma coluna não pode ser convertida em um tipo válido na saída. Por exemplo, o valor da coluna é incompatível com restrições ou tipo definido na tabela SQL.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: Todos os erros de conversão de dados de saída, incluindo os erros de conversão de tipos, são tratados de acordo com a definição de Política de Dados de Saída.
  • Detalhes do registo:
    • Nome da coluna.
    • Identificador de registo ou parte do registo.

Mensagem de Erro

"Message": "The column [id] value null or its type is invalid. Ensure to provide a unique non-empty string less than '255' characters."

ErroDeConversãoDeDadosDeSaída.RegistoExcedeuLimiteDeTamanho

  • Causa: O valor da mensagem é maior do que o tamanho de saída suportado. Por exemplo, um registo é maior do que 1 MB para uma saída de hub de eventos.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo os casos em que o registo excede o limite de tamanho, são tratados de acordo com a definição Política de Dados de Saída.
  • Detalhes do registo:
    • Identificador de registo ou uma parte do registo.

Mensagem de Erro

"BriefMessage": "Single output event exceeds the maximum message size limit allowed (262144 bytes) by Event Hub."

ErroDeConversãoDeDadosDeSaída.ChaveDuplicada

  • Causa: Um registo já contém uma coluna com o mesmo nome de uma coluna do sistema. Por exemplo, o Azure Cosmos DB devolve uma saída com uma coluna denominada ID quando a coluna ID está mapeada para uma coluna diferente.
  • Notificação do portal fornecida: Sim
  • Nível do log de recursos: Aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo chave duplicada, são tratados de acordo com a definição da Política de Dados de Saída.
  • Detalhes do registo:
    • Nome da coluna.
    • Identificador de registo ou parte do registo.

Mensagem de Erro

"BriefMessage": "Column 'devicePartitionKey' is being mapped to multiple columns."

Próximos passos

  • Last updated on