Blog Homsys

Retour d’expérience projet où notre client souhaitait pousser 12 à 14 000 documents PDF de suivi de planning et d’absentéisme vers une application de mailing.

Ces documents étaient stockés en tant que BLOB (Binary Large Object) dans la base Oracle du portail BI dédié au personnel. Afin de pouvoir pousser ces documents vers les intéressés, nous avons utilisé l’ETL en place : Informatica PowerCenter.

Contexte technique : PDF stockés en BLOB sous Oracle 10g, Informatica PowerMart 8.6.1

Solution : Transformation Java dans le mapping PowerDesigner

Document de Référence :   The Binary Reader and BinaryWriter Java Transformations

Résolution :

Il s’agissait donc de créer un mapping s’appuyant sur la table Oracle contenant le BLOB en question, pour l’extraire vers notre répertoire cible en tant que fichier PDF.

Ce mapping nécessitait au minimum 3 informations :

• Le nom du fichier à générer
• Le champ BLOB contenant le PDF
• Le chemin du répertoire cible, dans notre cas un paramètre du mapping

Mapping d'extraction d'un blob

• 

Interviewé à l’occasion de l’Informatica Day le 4 octobre 2012, Yves Cointrelle présente le partenariat avec Informatica et sa représentation en France sur l’ensemble de l’offre Informatica (y compris des offres méconnues telles que Data Replication). Voir la vidéo : http://www.youtube.com/watch?v=rJJqC3w5K1s

Homsys est partenaire d’Informatica depuis plus de 10 ans. La relation est née au sein du département décisionnel d’Air France peu de temps après l’implantation de l’éditeur sur le marché français.

« Notre devoir de conseil est d’orienter nos clients vers les technologies les plus fiables et les plus robustes. Au-delà de l’alimentation de systèmes décisionnels, la valeur ajoutée de PowerCenter est aussi mesurable dans les projets de migration et de consolidation de systèmes, ou encore d’urbanisation de systèmes d’information. » Yves Cointrelle, Directeur général d’Homsys.

• 

Objectif : générer, au travers d’un mapping PowerCenter, plusieurs fichiers de sortie qui ont pour nom la valeur contenue dans un fichier en entrée.

Exemple :

Construction du mapping : le mapping doit contenir au minimum les objets suivants :

• Un objet « Source » : permet la définition des données en entrée.
• Un objet « Expression Definition » : permet la définition de variables nécessaire au split des données en entrée.
• Un objet « Transaction Control Transformation » : permet la génération des différents fichiers de sortie.
• Un objet « Target » : permet la définition des fichiers de sortie.

Définition des objets :

• L’objet « Source » : dans cet exemple, il est supposé que le nom des différents fichiers de sortie est situé en début de ligne (colonne NOM_FIC).

Il est également supposé que cette colonne est séparée du reste de la ligne par un caractère présent une seule fois par enregistrement.

• L’objet « Expression Definition » : Dans l’exemple suivant, l’objet contient :

En entrée :

• • NOM_FIC : contient le nom des fichiers de sortie tel que donné par le fichier source
  • RESTE_LIGNE : contient le reste de l’enregistrement
  En intermédiaire :
  • Curr_Name : permet de stocker le nom de fichier de l’enregistrement précédent.

En sortie :

• • NOM_FIC_OUT : contient le nom complet des fichiers de sortie (répertoire + nom du fichier)
  • RESTE_OUT : contient le reste de l’enregistrement avec suppression des espaces en fin d’enregistrement.
  • Prev1_Out : contient le calcul de la variable Curr_Name
  • Prev2_Out : contient le nom du fichier de sortie tel que donné en entrée

• L’objet « Transaction Control Transformation » :

C’est dans cet objet que se réalise la génération des multiples fichiers de sortie. Dans l’onglet « Properties », il faut renseigner l’attribut « Transaction Control Condition ». Dans le cas où le nom de fichier courant est différent du nom de fichier de l’enregistrement précédent, il faut signifier la rupture avec la commande TC_COMMIT_BEFORE. Dans le cas contraire, il faut utiliser la commande TC_CONTINUE_TRANSACTION pour stocker les enregistrements jsqu’à la prochaine rupture.

N.B. : pour optimiser les performances et minimiser la log, il faut avoir en entrée un fichier trié sur le nom de fichier.

• L’objet « Target » :

Afin de signifier que le nom des fichiers de sortie est passé en paramètre, il faut cliquer sur le bouton « Add Filename column to the folder ». Il faudra renseigner le nouveau champ « FileName » avec la variable en sortie du « Transaction Control Transformation » qui contient le nom des fichiers.

Aucune particularité n’est nécessaire en ce qui concerne la configuration de le Session.

• 

Le 23 mars 2011, Informatica annonce la disponibilité de la version Informatica 9.1

Les versions PowerCenter 8.1.x, 8.5.x, 8.6.x ne seront plus supportées après le 31 Décembre 2011, mais il sera toujours possible de souscrire à un pack d’extension de maintenance.

Quel bilan peut – on tirer de PowerCenter 8.6 ?

PowerCenter 8.6. est devenu une plate-forme unificatrice qui rend interopérable ses acquisitions technologiques sous formes de briques logicielles :

- Real Time Edition (Striva) : accès aux données en temps réel et sur Mainframe
- Data Quality (Similarity Systems) : redressement de données et profiling
- Identity Resolution (Identity Systems) : recherche et rapprochement  de données d’identité
- B2B Data Exchange (Itemfield) : traitement des données non structurées (Ex : PDF, HL7)
- partenariat et accord O.E.M. avec Intalio : gestion des processus métiers (B.P.M)

Ces briques logicielles ont été interfacées avec PowerCenter 8.6.

Informatica 9 relève le défi d’intégrer l’ensemble de ces nouvelles technologies dans un produit unique.

Il existe dorénavant une console unique d’ administration pour Data quality, PowerCenter, Power Exchange et une interface de développement commune pour pouvoir supporter les transformations de PowerCenter et de Data Quality.

• 

Informatica France a annoncé le 28 juin 2011 la disponibilité d’Informatica 9.1 .

Cette nouvelle version  d’Informatica 9 est spécifiquement conçue pour accéder au Big Data.

Mais qu’est ce que le « Big Data » ?

Big Data pour « grosse donnée » est une expression anglophone utilisée pour appréhender  des grandes quantités de données. Ce sont des données  non structurées  produites en temps  réél et en flots continus, en provenenance de sources disparates (Exemple :  badges de télépéage, téléphone mobile,  réseaux sociaux)

Qu’apporte Informatica 9.1 pour le traitement du « Big Data »?

Une connectivité pour les données transactionnelles –  qu’elles soient issues de bases de données traditionnelles, comme Oracle ou IBM DB2, ou des dernières bases de données optimisées pour l’analyse telles que EMC Greenplum, Teradata, Teradata Aster Data, HP Vertica et IBM Netezza.

Une connectivité pour les données d’interaction, y compris les principaux services de réseaux sociaux notamment Facebook, Twitter et LinkedIn.

Une connectivité pour Hadoop –  avec le système de fichier Hadoop (HDFS). Grâce à ce connecteur, les entreprises peuvent déplaçer vers Hadoop des traitements de gros volumes  de données et les envoyer vers un entrepôt de données cible où ils seront accessibles aux utilisateurs.

• 

Homsys sponsorise l’Informatica Day, le 23 septembre à Paris : l’événement phare du marché de l’Intégration et de la Qualité de Données.

Echanges, convivialité, partage d’informations et animations…Rejoignez-nous pour une journée entière d’informations et d’échanges autour des principaux challenges des entreprises en matière d’intégration et de qualité des données, aux côtés de clients utilisateurs, d’experts du marché, des équipes et des Partenaires Informatica !

• Une table ronde / des témoignages clients, tous secteurs d’activité confondus, présentant des projets et initiatives d’intégration et de qualité de données exceptionnels
• Des sessions plénières animées par des experts de l’intégration et de la qualité des données
• Des ateliers « à la carte » : Intégration de données, Qualité de données, Échanges de données inter-entreprises, Résolutions d’identité, Master Data Management, Gestion du cycle de vie des données applicatives…

Yves Cointrelle, directeur général Homsys, animera un atelier sur le thème : « Quel est l’impact de la qualité de données sur l’activité de votre entreprise ? » (16h15 – 16h45)

En savoir plus :  http://fr.vip.informatica.com/?elqPURLPage=7666

Inscription en ligne

•