Blog Homsys

Objectif : générer, au travers d’un mapping PowerCenter, plusieurs fichiers de sortie qui ont pour nom la valeur contenue dans un fichier en entrée.

Exemple :

Construction du mapping : le mapping doit contenir au minimum les objets suivants :

• Un objet « Source » : permet la définition des données en entrée.
• Un objet « Expression Definition » : permet la définition de variables nécessaire au split des données en entrée.
• Un objet « Transaction Control Transformation » : permet la génération des différents fichiers de sortie.
• Un objet « Target » : permet la définition des fichiers de sortie.

Définition des objets :

• L’objet « Source » : dans cet exemple, il est supposé que le nom des différents fichiers de sortie est situé en début de ligne (colonne NOM_FIC).

Il est également supposé que cette colonne est séparée du reste de la ligne par un caractère présent une seule fois par enregistrement.

• L’objet « Expression Definition » : Dans l’exemple suivant, l’objet contient :

En entrée :

• • NOM_FIC : contient le nom des fichiers de sortie tel que donné par le fichier source
  • RESTE_LIGNE : contient le reste de l’enregistrement
  En intermédiaire :
  • Curr_Name : permet de stocker le nom de fichier de l’enregistrement précédent.

En sortie :

• • NOM_FIC_OUT : contient le nom complet des fichiers de sortie (répertoire + nom du fichier)
  • RESTE_OUT : contient le reste de l’enregistrement avec suppression des espaces en fin d’enregistrement.
  • Prev1_Out : contient le calcul de la variable Curr_Name
  • Prev2_Out : contient le nom du fichier de sortie tel que donné en entrée

• L’objet « Transaction Control Transformation » :

C’est dans cet objet que se réalise la génération des multiples fichiers de sortie. Dans l’onglet « Properties », il faut renseigner l’attribut « Transaction Control Condition ». Dans le cas où le nom de fichier courant est différent du nom de fichier de l’enregistrement précédent, il faut signifier la rupture avec la commande TC_COMMIT_BEFORE. Dans le cas contraire, il faut utiliser la commande TC_CONTINUE_TRANSACTION pour stocker les enregistrements jsqu’à la prochaine rupture.

N.B. : pour optimiser les performances et minimiser la log, il faut avoir en entrée un fichier trié sur le nom de fichier.

• L’objet « Target » :

Afin de signifier que le nom des fichiers de sortie est passé en paramètre, il faut cliquer sur le bouton « Add Filename column to the folder ». Il faudra renseigner le nouveau champ « FileName » avec la variable en sortie du « Transaction Control Transformation » qui contient le nom des fichiers.

Aucune particularité n’est nécessaire en ce qui concerne la configuration de le Session.

Venez rencontrer les équipes Homsys à l’occasion de cette Formation !
Au programme : échanges avec nos experts, ateliers et bonnes pratiques.

Homsys vous propose de participer à ses Formations en Soirée avec une session à Paris « SQL Server Analysis Services (SSAS) avancé », le mercredi 19 octobre à partir de 18h30.

Cette formation vous donnera un aperçu des fonctionnalités avancées d’un cube Analysis Services. Vous y apprendrez notamment :

• Les relations évoluées (référencé, many to many)
• Le paramétrage des agrégations et des partitions
• La création d’indicateurs MDX
• La création d’actions (notamment drillthrough)
• La gestion des traductions
• L’implémentation des perspectives
• A savoir déployer et sécuriser les données dans Analysis Services

Pré-requis : vous disposez déjà d’une première expérience BI et connaissez les bases de SSAS (création de la Data source View, création d’une dimension, création d’un cube simple).

Rendez-vous dans nos locaux, au 38 rue de Ponthieu – 75008 Paris.

Pour en savoir plus : site Homsys

Pour vous inscrire* :
- Mail : klalandre[at]homsys.com
- En ligne : sur le site Homsys

*Participation gratuite après confirmation par Homsys.

Mieux piloter pour mieux décider. Les outils décisionnels ont le vent en poupe à chaque strate de l’entreprise. Mais à l’heure où rapidité, flexibilité et contraintes budgétaires priment, les exigences s’affirment : il faut savoir faire plus avec moins et mieux, et désormais en toute sécurité.

Temps réel, appliances mixtes et in-memory, gestion de référentiels, modules et fonctionnalités orientées utilisateur final, mobilité et nomadicité, traçabilité et sécurisation des processus… Revue des tendances pour optimiser le monde de la Business Intelligence.

Le temps réel appliqué à la Business Intelligence

Autrefois mensuelle et hebdomadaire, la fréquence de rafraîchissement des systèmes décisionnels est désormais quotidienne. Dans le même temps, les outils de reporting démontrent leur capacité à se substituer aux dispositifs traditionnels pour générer des rapports sur les applications.

Répliquer, synchroniser les données pour effectuer analyse et reporting en temps réel provoque l’avènement d’outils et de solutions mixtes. Leur mission : autoriser une utilisation hybride des outils décisionnels, pour capter et accéder à la fois aux bases de données de pilotage ainsi qu’aux données opérationnelles et de production.

D’une logique pull, on passe à une logique push : la captation des données sur l’application source peut se faire en temps réel, puis être répliquée sur un système cible, lequel devient à la fois un outil de reporting et la source de construction d’agrégats orientés décisionnel. A cette fin, les technologies non intrusives impactant faiblement les performances systèmes peuvent s’allier aux appliances Business Intelligence (couple logiciel et matériel destiné à fournir de hautes performances en stockage et en rapidité de restitution des données) pour assurer une gestion de bout en bout des services.

La gestion de référentiels pour apporter cohérence et qualité aux données

La gestion des données est capitale et déjà l’une des fonctions primordiales des Directions Informatique au sein des entreprises : garantir la qualité des données circulant au sein du système d’information, et plus particulièrement du système décisionnel, est vital.

Avec l’arrivée de modules de gestion des données référentielles et de gestion de qualité de données (data quality), la mise au point d’une codification unique permet de réconcilier et de consolider l’information. Le but : disposer d’un outil pour gérer des références croisées et de solutions de normalisation des données. Associées à la gestion de la qualité des données, ces solutions appelées Master Data Management permettent de mettre en œuvre un cercle vertueux d’amélioration constante des données de référence depuis le back-office jusqu’à son exploitation décisionnelle.

Des outils mash-up au service de l’utilisateur

Avec les agrégateurs et les simplificateurs de vie digitale, le particulier a déjà l’habitude de construire son propre tableau de bord. Texte, pilotage décisionnel, tableaux de bord, applicatifs… Les outils frontaux de Business Intelligence doivent s’intégrer à une interface Web pour donner accès à des modules d’analyse, de reporting et de dashboarding.

Avec ces nouveaux objets intelligents, chacun pourra construire et personnaliser sa solution selon sa consommation et sa propre logique business. Mieux : via des mécanismes de recherche de proximité, les objets intelligents composant l’interface seront capables d’interagir entre eux et les systèmes comprendront intuitivement l’utilisation des modules pour proposer un espace de travail s’adaptant à la récurrence des besoins.

La révolution dans la consommation de l’information

Le monde de la Business Intelligence implique peu de saisie : il s’agit surtout de visualiser analyses, reporting et tableaux de bords. L’écran des smartphones est trop restreint pour consommer des quantités d’informations conséquentes ; avec les tablettes numériques, la révolution est en marche.

Emergence de solutions « mash-up », accès à l’information en temps réel, nomadicité grandissante des utilisateurs… En tirant partie des fonctionnalités de mobilité et des capacités propres des nouveaux terminaux, la consommation de l’information de Business Intelligence et l’accès à un environnement de travail personnalisé seront bientôt possibles en tout lieu et à tout moment. Le concept d’Information Anywhere tant annoncé est à portée de main

L’émergence de services de convoi de données, conséquence de la révolution de la Business Intelligence

Cloud computing, solutions SaaS, travail collaboratif 2.0… Avec l’éclatement des systèmes d’hébergement, on assiste à un éparpillement des données et à une dispersion d’informations sensibles sans précédent. Pour que la Business Intelligence connaisse la révolution qu’elle mérite et que les tendances d’aujourd’hui deviennent la réalité de demain, il est nécessaire d’assurer la traçabilité et la sécurisation des données.

L’idée : la mise au point d’un service de convoyage de données de bout en bout pour assurer le bon acheminement et la traçabilité des données depuis le système source jusqu’au système cible, ainsi que la sécurisation de l’ensemble des processus. La dernière étape pour garantir à la Business Intelligence d’avoir la « smart attitude », à l’image d’outils d’aide à la décision et de création de reporting toujours plus intelligents.

Le 23 mars 2011, Informatica annonce la disponibilité de la version Informatica 9.1

Les versions PowerCenter 8.1.x, 8.5.x, 8.6.x ne seront plus supportées après le 31 Décembre 2011, mais il sera toujours possible de souscrire à un pack d’extension de maintenance.

Quel bilan peut – on tirer de PowerCenter 8.6 ?

PowerCenter 8.6. est devenu une plate-forme unificatrice qui rend interopérable ses acquisitions technologiques sous formes de briques logicielles :

- Real Time Edition (Striva) : accès aux données en temps réel et sur Mainframe
- Data Quality (Similarity Systems) : redressement de données et profiling
- Identity Resolution (Identity Systems) : recherche et rapprochement  de données d’identité
- B2B Data Exchange (Itemfield) : traitement des données non structurées (Ex : PDF, HL7)
- partenariat et accord O.E.M. avec Intalio : gestion des processus métiers (B.P.M)

Ces briques logicielles ont été interfacées avec PowerCenter 8.6.

Informatica 9 relève le défi d’intégrer l’ensemble de ces nouvelles technologies dans un produit unique.

Il existe dorénavant une console unique d’ administration pour Data quality, PowerCenter, Power Exchange et une interface de développement commune pour pouvoir supporter les transformations de PowerCenter et de Data Quality.

Informatica France a annoncé le 28 juin 2011 la disponibilité d’Informatica 9.1 .

Cette nouvelle version  d’Informatica 9 est spécifiquement conçue pour accéder au Big Data.

Mais qu’est ce que le « Big Data » ?

Big Data pour « grosse donnée » est une expression anglophone utilisée pour appréhender  des grandes quantités de données. Ce sont des données  non structurées  produites en temps  réél et en flots continus, en provenenance de sources disparates (Exemple :  badges de télépéage, téléphone mobile,  réseaux sociaux)

Qu’apporte Informatica 9.1 pour le traitement du « Big Data »?

Une connectivité pour les données transactionnelles –  qu’elles soient issues de bases de données traditionnelles, comme Oracle ou IBM DB2, ou des dernières bases de données optimisées pour l’analyse telles que EMC Greenplum, Teradata, Teradata Aster Data, HP Vertica et IBM Netezza.

Une connectivité pour les données d’interaction, y compris les principaux services de réseaux sociaux notamment Facebook, Twitter et LinkedIn.

Une connectivité pour Hadoop –  avec le système de fichier Hadoop (HDFS). Grâce à ce connecteur, les entreprises peuvent déplaçer vers Hadoop des traitements de gros volumes  de données et les envoyer vers un entrepôt de données cible où ils seront accessibles aux utilisateurs.

Venez rencontrer les équipes Homsys à l’occasion de cette Formation ! au programme : échanges avec nos experts, ateliers et bonnes pratiques.

Homsys vous propose de participer à ses Formations en Soirée avec une première session à Paris « Introduction à SQL Server Analysis Services (SSAS) », le mardi 28 juin à partir de 18h30.

Cette formation a pour objectif de vous donner les bases afin de bien démarrer un projet Analysis Services. Vous y apprendrez :
• A comprendre l’utilisation de SQL Server Analysis Services pour vos futurs projets d’analyse décisionnelle avec notamment ses forces mais aussi ses faiblesses
• A maîtriser la création de cubes multidimensionnels avec BIDS
• A être en mesure de modéliser et de réaliser des dimensions et des mesures dans une solution Analysis Services
• A savoir déployer et sécuriser les données dans Analysis Services
• A utiliser Analysis Services au travers de la puissance de navigation offerte par Excel 2010

Pré-requis : vous disposez déjà d’une première expérience BI

Rendez-vous dans nos locaux, au 38 rue de Ponthieu – 75008 Paris.

Pour en savoir plus : site Homsys

Pour vous inscrire* :
- Mail : klalandre[at]homsys.com
- En ligne : sur le site Homsys

*Participation gratuite après confirmation par Homsys.

La nouvelle version de Xcelsius, intitulée SAP BusinessObjects Dashboards, permet de créer rapidement des tableaux de bord alimentés par des univers ou des requêtes BW. Dans cette vidéo, Laurent ALLAIS, expert en solutions décisionnelles, montre la démarche de création d’un tableau de bord, de la mise en forme des éléments du tableau, l’alimentation jusqu’au partage dans le portail web.

Pour visualiser la vidéo, cliquez ici.

La nouvelle version de SAP BusinessObjects permet d’accéder facilement aux données stockées dans SAP NetWeaver BW. Dans cette vidéo, Laurent ALLAIS, expert en solutions décisionnelles, vous fait découvrir les nouvelles fonctionnalités, le positionnement de l’outil ainsi qu’une démonstration sur l’intégration entre les outils de reporting de BusinessObjects et les requêtes BW.

Pour visualiser la vidéo, cliquez ici.

Pour fêter le lancement de la dernière génération de la suite SAP BusinessObjects Business Intelligence 4.0, SAP a organisé une soirée de prestige le 9 mai à Paris,  où Homsys était présente en tant que partenaire Gold.

SAP BusinessObjects BI 4.0 marque la première unification technologique de SAP et BO.

Voici les thèmes que SAP a abordés pendant cette soirée de présentation :

Mobilité : L’ensemble des outils SAP BusinessObjects BI 4.0 seront progressivement accessibles sur les plateformes mobiles (Ipad, Iphone, Google Phone, Galaxy Tab, Blackberry…) et permettront également de faire fonctionner des applications en réalité augmentée.

Qualité de données : Il est possible de donner une note de qualité aux données en suivant des critères tels que la fiabilité. Par exemple, en attribuant un format à une adresse : toutes les adresses ne correspondant pas à ce format seront considérées comme erronées. Il est également possible de voir le nombre de rapports affectés par une donnée de mauvaise qualité et procéder ensuite à un nettoyage.

Temps réel : SAP BusinessObjects BI 4.0 est prêt pour l’analyse en temps réel. En effet le calcul en mémoire a été multiplié par mille. Cela est rendu possible par le fait que SAP BusinessObjects BI 4.0 peut se connecter à HANA (appliance logicielle d’analyse en mémoire de SAP). La plateforme intègre donc la technologie « in-memory ».

Social : Les utilisateurs seront dorénavant capables de faire des analyses avancées sur les sentiments à partir de données provenant de réseaux sociaux ou de blogs. La solution permet donc une meilleure gestion des contenus non structurés.

Simplicité : L’utilisateur accède à tous ses modules (tableaux de bord, rapports…) via un portail unique et plus ergonomique. Par ailleurs, l’environnement collaboratif, notamment sur les univers, permet une expérience utilisateur harmonisée.

Univers multi-sources : Les méthodes de connexion aux sources de données ont été développées et l’intégration avec l’outil SAP BW est beaucoup plus forte. En effet, les cubes BW peuvent désormais être lus directement à partir des outils BusinessObjects. De même, tous les outils pourront se connecter aux univers, ce qui permettra aux utilisateurs de partager les mêmes informations. De nombreuses améliorations ont été apportées à l’utilisation des univers : connexion à des systèmes OLAP, travail collaboratif sur un univers, nouvelle interface graphique. Il sera possible de croiser les informations de plusieurs sources de données dans un même univers. Au cœur des solutions BusinessObjects figurent désormais les univers pour les données non-SAP, mais aussi les données SAP provenant de BW comme datawarehouse.

Cloud : Il a été brièvement question de la « BI On Demand », celle-ci sera désormais plus simple et plus puissante.

La conférence s’est achevée sur les innovations futures que SAP souhaite apporter à sa plateforme : elle devrait permettre l’affichage de rapports à partir d’une expression textuelle (« chiffre d’affaires France et Allemagne 2009″) et également d’effectuer une BI de plus en plus poussée sur des données non structurées (des emails par exemple).

Hana, la base de données en mémoire de SAP

Hana signifie High-Performance Analytic Appliance. Le principe est simple : plutôt que de stocker les données dans des disques durs lents et volumineux, pourquoi ne pas les stocker directement en mémoire ? En bénéficiant de surcroit d’algorithmes de compression et de structures de base “en colonne”, les gains en temps de réponse seront considérables.

Il existait déjà des solutions de stockage des données en mémoire pour la Business Intelligence. Par exemple, BW Accelerator, avait pour vocation d’optimiser le reporting avec SAP NetWeaver BW. Des concurrents de SAP avait également utilisé les possibilités de mise en mémoire (IBM, Qliktech…) ou sont en cours de développement.

La différence majeure avec HANA est que cette base de données en mémoire sera utilisable par tous types de solutions, celles de SAP dans un premier temps puis, à terme, quelle que soit l’application.

Son développement aujourd’hui provient de la conjonction de deux facteurs : la baisse du coût de la mémoire, qui rend ce type de stockage de données beaucoup plus accessible, et la position forte de la Business Intelligence dans l’offre de SAP. La premiere version est déjà disponible et sera suivie en juin par une version compatible avec BW.

Quelle utilité ? En effet, on considère en général que les solutions “transactionnelles”, de type ERP, utilisent pour chaque traitement une faible quantité de données avec des temps de réponse acceptables. Certes, certains traitements (MRP, répartitions de centres de coûts, états dynamiques des stocks, etc) sont parfois ralentis par la quantité de données à utiliser.

L’innovation principale de SAP est de remettre en cause l’approche courante de la Business Intelligence, dont l’objectif est de donner accès à l’information selon différents formats (tableaux de bord, états formatés, moteurs de recherche, etc). La Business Intelligence traditionnelle extrait les données “brutes” des bases de données opérationnelles, les transforme pour leur donner une forme compréhensible par les utilisateurs, puis les stocke de telle sorte qu’elles sont rapidement accessibles par le reporting. Les ETL (extraction, transformation, loading) s’occupent des flux, et le DataWarehouse est dédié au stockage.

Une remise en cause de la Business Intelligence traditionnelle

Mais voilà : si les données d’un ERP sont déja dans le format souhaité et sont accessibles rapidement, alors pourquoi s’encombrer d’un ETL et d’un DataWarehouse ?

On le comprend bien : ce que SAP propose c’est une remise en cause de la manière de concevoir les solutions BI (notamment la couche “basse”), qui était rendue nécessaire le plus souvent par des contraintes techniques. Ceci est rendu possible par le leadership de SAP sur les ERP et la BI. Au fond, SAP ne fait que répondre à une demande des utilisateurs : une interface unique pour tous les usages, du reporting en temps réel, l’interaction entre l’analyse et l’action. Et SAP est l’un des rares éditeurs qui peut se permettre d’avoir une vision large, toutes solutions confondues.

En termes d’interface utilisateur, les solutions qui effacent les frontières entre les plateformes existent déjà : NetWeaver Business Client combine l’opérationnel et la Business Intelligence sur un même écran, le portail web SAP le permet depuis plusieurs années déjà (du Visual Composer jusqu’aux développements Web Dynpro), des états de reporting basés sur BO (Xcelsius ou Crystal) sont déjà inclus dans l’ERP, etc.

On peut bien entendu émettre certaines réserves. Dans de nombreux cas les données transactionnelles “brutes” ne sont pas exploitables en l’état, et SAP n’est pas toujours la seule source de données. Un ETL sera encore nécessaire pour transformer des données trop techniques et alimenter des tables avec les données transformées. Par ailleurs, il est évident qu’on ne pourra pas utiliser une table isolée comme source unique pour le reporting du fait de la modélisation relationnelle classique qui sépare les données entre plusieurs tables : par exemple, les données de base (les textes des articles) et les données transactionnelles (les pièces de ventes).

L’essor d’une Business Intelligence intégrée

Ceci démontre qu’il sera encore nécessaire d’utiliser un ETL comme BusinessObjects DataServices pour transformer et stocker certaines données. Il sera tout autant nécessaire de créer des univers ou d’utiliser une vue analytique (prévue dans HANA) pour formaliser les liens entre les tables et rendre les zones techniques plus explicites pour les utilisateurs. Cependant, la cible de l’ETL ne sera plus un DataWarehouse séparé, mais de simples tables dans la base en mémoire. Le nouveau concept d’univers apporté par BO 4.0, qui permet de lire simultanément plusieurs systèmes, ne permettra pas d’éviter cette recopie des données vers HANA (car si on analyse en même temps des données de deux systèmes on peut craindre que le temps de réponse final soit celui du plus lent).

Que devient SAP NetWeaver BW dans tout cela ? L’avantage de BW consiste aujourd’hui dans la capacité à extraire et préparer les données de toutes les solutions de SAP rapidement. Les exemples récents démontrent que ceci n’est pas remis en cause par SAP : les dernières versions de la gamme EPM (BPC, PCM…) ont renforcé les possibilités d’échange avec BW, et la dernière version de BO (4.0) permet de lire très facilement des queries BEX et des cubes BW. Par ailleurs, compte tenu des investissements des clients dans BW (dont Integrated Planning pour l’élaboration budgétaire), il n’est pas question pour SAP, semble-t-il, de remettre en cause l’utilisation de BW. La proposition faite au client est plutôt d’utiliser HANA comme base de données en mémoire également pour leurs installations BW.

Dans sa version actuelle HANA est une base de données en mémoire alimentée de manière asynchrone avec les données de SAP ERP, et par BO DataServices pour toutes autres données, et analysée par les outils de reporting de BusinessObjects.

A terme, on peut facilement imaginer les architectures nouvelles qui seront proposées aux clients : les outils de reporting SAP BusinessObjects liront directement les tables de la base en mémoire des solutions de SAP, via les Univers ou les Analytic Views (dont certains seront livrés par SAP). Ces tables seront, soit les tables standards de SAP contenant des données “brutes”, soit de nouvelles tables contenant des données transformées de SAP ou chargées d’autres systèmes, grâce à BO DataServices. Pour ces données, transformées ou chargées, il sera tout aussi possible d’utiliser une instance BW.

Cette vision de l’avenir, apportée par SAP avec HANA, efface la séparation technique qui existe entre les solutions transactionnelles et décisionnelles. Ceci aura pour conséquence de permettre une approche essentiellement fonctionnelle aux projets BI, et d’y impliquer davantage des compétences “métier” (correspondant aux solutions ERP, CRM, SRM, etc..).

Les besoins de reporting ont toujours fait partie des projets de mise en oeuvre des solutions SAP. Pour l’ERP ils furent d’abord couverts par des outils intégrés (Report Painter, LIS, EIS…) puis par des solutions séparées de Business Intelligence (BW, BusinessObjects). Désormais, des consultants ERP (FI-CO, SD…) pourront créer naturellement des états de reporting, avec BusinessObjects, comme ils le faisaient déja avec les anciens outils de reporting intégrés. Les utilisateurs finaux créeront leurs propres états temps réel personnalisés avec Interactive Analysis ou trouveront l’information requise par le moteur de recherche Explorer. HANA, loin de sonner le glas de la BI, la rend beaucoup plus accessible en l’intégrant dans les systèmes opérationnels, et offre de nouvelles perspectives aux clients de SAP et à leur partenaires.