Interpretar, corregir y recuperar los datos rechazados durante las importaciones diarias

Durante los procesos diarios y las importaciones manuales de datos, los archivos procesados se renombran añadiendo una extensión .ok seguida de la fecha y hora del procesamiento de tu proyecto Probance. Cada uno de estos archivos también genera varios archivos de rechazo, en los que se registran las líneas que no pudieron ser importadas a la base de datos.

Si un archivo no se renombra en el SFTP al finalizar los procesos diarios, significa que no fue procesado.

Los flujos de eventos generan 5 archivos de rechazo, mientras que los flujos de perfil y catálogo generan 4 archivos de rechazo. Se genera un archivo adicional para los flujos enviados mediante la API en tiempo real.

Puedes encontrar estos archivos de rechazo en el SFTP de tu cuenta principal, en el directorio upload/rejects. Estos archivos se conservan durante 7 días.

Este directorio en tu cuenta principal también contiene los archivos de rechazo de los flujos de tus socios, incluso si disponen de directorios de depósito individuales por razones de confidencialidad. Sin embargo, tus socios no tienen acceso a los archivos de rechazo de los flujos que generan.

Revisar estos archivos te permitirá:

  • Comprender la razón del rechazo.
  • Planificar la recuperación de los datos necesarios tras las correcciones, utilizando una convención de nomenclatura Probance.

1. Tipos de Rechazo

loadingreject

Incluye todas las líneas que no respetan el formato del archivo definido en las especificaciones del flujo (delimitador, número de columnas, carácter de fin de línea, encapsulación, etc.).

checkschemareject

Incluye todas las líneas en las que falta un valor obligatorio o la longitud de una cadena excede la definida en las especificaciones del flujo.

convertreject

Incluye todas las líneas cuyo tipo de dato no corresponde a lo definido en las especificaciones del flujo (por ejemplo, enteros, patrones de fecha, números decimales).

filterrowreject

Si en Cockpit has definido filtros para tus campos, este tipo de rechazo incluye las líneas donde una columna no cumple con tu filtro.

lookupreject

Este tipo de rechazo afecta a los flujos de eventos. Incluye las líneas correspondientes a eventos en los que el cliente (identificador del cliente) es desconocido en la tabla de clientes.

Los rechazos de tipo lookup pueden tener dos causas:

  1. La línea de este id_user nunca fue enviada en el flujo de perfil.
  2. La línea de este id_user fue enviada en el flujo de perfil, pero fue rechazada durante la importación.

Jsonreject

Este tipo de rechazo indica la naturaleza de los errores de importación encontrados al procesar las líneas recibidas a través de llamadas JSON.

2. Recuperación de Datos Rechazados o Perdidos

PHM admite de forma nativa la concatenación de archivos CSV mediante una extensión añadida a los nombres de los archivos.

Por ejemplo, para el archivo clientes_prospectos_DDMMYYYY.csv, puedes cargar los siguientes archivos:

  • clientes_prospectos_DDMMYYYY.csv
  • clientes_prospectos_DDMMYYYY-00.csv
  • clientes_prospectos_DDMMYYYY-01.csv
  • clientes_prospectos_DDMMYYYY-02.csv
  • … hasta clientes_prospectos_DDMMYYYY-99.csv

Estos archivos se procesarán en orden, de -00 a -99, terminando con el archivo diario sin extensión.

Si una línea aparece varias veces en estos archivos de recuperación (para datos de perfil y no de eventos), se conservará el valor contenido en la línea del último archivo durante la importación de datos.

Puedes consultar la información sobre la nomenclatura esperada de los archivos de cada flujo en tu interfaz de ProbanceOne, en la sección Administración / Técnica.