Interpretar, corregir y recuperar los datos rechazados en las importaciones diarias

Algunas líneas de sus archivos de importación pueden ser rechazadas durante los procesos diarios. Esta guía le explica cómo identificar la causa a partir de los archivos de rechazos y cómo volver a importar los datos corregidos.

1. Funcionamiento general

Durante los procesos diarios y las importaciones manuales, los archivos procesados se renombran: se añade a su nombre la extensión .ok, seguida de la fecha y la hora del procesamiento. Si un archivo no se ha renombrado en el SFTP una vez finalizados los procesos diarios, significa que no ha sido procesado.

Cada archivo de importación procesado genera también archivos de rechazos, que contienen las líneas cuya importación en la base de datos ha fallado.

El número de archivos de rechazos generados depende del tipo de flujo importado:

  • flujos de eventos: 5 archivos de rechazos
  • flujos de perfiles y flujos de catálogo: 4 archivos de rechazos

Se genera un archivo de rechazos adicional para los flujos enviados en tiempo real.

Estos archivos se depositan en el SFTP de su cuenta principal, en el directorio upload/rejects. Se conservan allí durante 7 días.

Este directorio contiene también los archivos de rechazos de los flujos de sus posibles socios, aunque estos dispongan de directorios de depósito individuales por motivos de confidencialidad. Sus socios, en cambio, no tienen acceso a los archivos de rechazos de los flujos que generan.

Estos archivos le permiten identificar la naturaleza de los errores y, gracias a una convención de nomenclatura, preparar la recuperación de los datos afectados una vez corregidos.

2. Los distintos tipos de rechazo

Archivo de rechazosLíneas devueltasFlujos afectados
loadingrejectLas líneas que no respetan el formato de archivo definido en las especificaciones del flujo: número de columnas, separador de campo, separador de línea, carácter de encapsulación, etc.Todos los flujos
checkschemarejectLas líneas que no respetan los límites de longitud aplicados a uno o varios campos, o en las que falta un valor obligatorio.Todos los flujos
convertrejectLas líneas que contienen uno o varios valores incompatibles con el tipo del campo de destino.Todos los flujos
filterrowrejectLas líneas en las que al menos un campo no respeta el filtro que se le aplica. Este archivo contiene también los identificadores cuyo tipo está definido en Cockpit (correo electrónico, teléfono móvil) y cuyo formato es incorrecto en el flujo.Todos los flujos
lookuprejectLas líneas cuyo identificador de cliente no existe en la base de datos: el evento no puede, por tanto, asociarse a un perfil.Solo flujos de eventos
jsonrejectLa naturaleza de los errores de importación detectados al procesar las líneas recibidas mediante llamadas JSON.Solo flujos enviados en tiempo real

3. Recuperar los datos omitidos o rechazados

Una vez identificada la causa de los rechazos, puede preparar la recuperación.

Basta con crear nuevos archivos de importación con los datos corregidos y nombrarlos con la forma siguiente:

nombredelflujo_YYYYMMDD-XX.csv

donde XX es un número de orden de dos cifras, comprendido entre 00 y 99. Los archivos que incluyen este sufijo se tienen en cuenta en el siguiente proceso del día, es decir, en un plazo de 15 minutos.

Por ejemplo, para el flujo customer:

  • customer_YYYYMMDD.csv: archivo procesado durante los procesos diarios
  • customer_YYYYMMDD-00.csv, customer_YYYYMMDD-01.csv, … hasta customer_YYYYMMDD-99.csv: archivos de recuperación, procesados durante los procesos del día

Así, para recuperar datos rechazados durante la importación de customer_YYYYMMDD.csv, deposite en el SFTP un archivo customer_YYYYMMDD-00.csv con los datos corregidos: se importará en un plazo de 15 minutos. Si este archivo genera a su vez rechazos, deposite un archivo customer_YYYYMMDD-01.csv, y así sucesivamente.

Las reglas de nomenclatura previstas para cada flujo pueden consultarse desde su interfaz ProbanceOne, en el menú Administración / Técnica.