Interpréter, corriger et rattraper les données rejetées lors des imports quotidiens

Certaines lignes de vos fichiers d’import peuvent être rejetées lors des traitements quotidiens. Ce guide vous explique comment en identifier la cause à partir des fichiers de rejets, puis comment réimporter les données corrigées.

1. Fonctionnement général

Lors des traitements quotidiens et des imports manuels, les fichiers traités sont renommés : l’extension .ok, suivie de la date et de l’heure du traitement, est ajoutée à leur nom. Si un fichier n’est pas renommé sur le SFTP à l’issue des traitements quotidiens, c’est qu’il n’a pas été traité.

Chaque fichier d’import traité génère également des fichiers de rejets, qui contiennent les lignes dont l’import en base de données a échoué.

Le nombre de fichiers de rejets générés dépend du type de flux importé :

  • flux d’événements : 5 fichiers de rejets ;
  • flux de profils et flux catalogue : 4 fichiers de rejets.

Un fichier de rejets supplémentaire est généré pour les flux envoyés en temps réel.

Ces fichiers sont déposés sur le SFTP de votre compte principal, dans le répertoire upload/rejects. Ils y sont conservés pendant 7 jours.

Ce répertoire contient également les fichiers de rejets des flux de vos partenaires éventuels, même si ces derniers disposent de répertoires de dépôt individuels par souci de confidentialité. Vos partenaires n’ont en revanche pas accès aux fichiers de rejets des flux qu’ils génèrent.

Ces fichiers vous permettent d’identifier la nature des erreurs, puis de préparer le rattrapage des données concernées après correction, grâce à une convention de nommage.

2. Les différents types de rejet

Fichier de rejetsLignes retournéesFlux concernés
loadingrejectLes lignes qui ne respectent pas le format de fichier défini dans les spécifications du flux : nombre de colonnes, séparateur de champ, séparateur de ligne, caractère d’encapsulation, etc.Tous les flux
checkschemarejectLes lignes qui ne respectent pas les limites de longueur appliquées à un ou plusieurs champs, ou dans lesquelles une valeur obligatoire est manquante.Tous les flux
convertrejectLes lignes qui contiennent une ou plusieurs valeurs incompatibles avec le type du champ de destination.Tous les flux
filterrowrejectLes lignes dont au moins un champ ne respecte pas le filtre qui lui est appliqué. Ce fichier contient également les identifiants dont le type est défini dans Cockpit (e-mail, téléphone mobile) et dont le format est incorrect dans le flux.Tous les flux
lookuprejectLes lignes dont l’identifiant client n’existe pas en base de données : l’événement ne peut donc pas être rattaché à un profil.Flux d’événements uniquement
jsonrejectLa nature des erreurs d’import rencontrées lors du traitement des lignes reçues via des appels JSON.Flux envoyés en temps réel uniquement

3. Rattraper les données manquées ou rejetées

Une fois la cause des rejets identifiée, vous pouvez préparer le rattrapage.

Il vous suffit de constituer de nouveaux fichiers d’import contenant les données corrigées, puis de les nommer sous la forme suivante :

nomduflux_AAAAMMJJ-XX.csv

où XX est un numéro d’ordre à deux chiffres, compris entre 00 et 99. Les fichiers comportant ce suffixe sont pris en compte lors des prochains traitements en journée, soit dans un délai de 15 minutes.

Par exemple, pour le flux customer :

  • customer_AAAAMMJJ.csv : fichier traité lors des traitements quotidiens ;
  • customer_AAAAMMJJ-00.csv, customer_AAAAMMJJ-01.csv, … jusqu’à customer_AAAAMMJJ-99.csv : fichiers de rattrapage, traités lors des traitements horaires.

Ainsi, pour rattraper des données rejetées lors de l’import de customer_AAAAMMJJ.csv, déposez sur le SFTP un fichier customer_AAAAMMJJ-00.csv contenant les données corrigées : il sera importé dans les 15 minutes. Si ce fichier génère à son tour des rejets, déposez un fichier customer_AAAAMMJJ-01.csv, et ainsi de suite.

Les règles de nommage attendues pour chaque flux sont consultables depuis votre interface ProbanceOne, dans le menu Administration / Technique.