Blog Homsys

A l’occasion du lancement de la nouvelle offre IBM « Pack Qualité InfoSphere », Homsys et IBM co-animeront un séminaire sur le thème de la qualité de données, avec le témoignage de la société GEODIS.

Au programme de ce petit déjeuner, organisé le 6 mai chez Ladurée sur les Champs Elysées : 

Un audit de qualité réalisé avec les solutions logicielles IBM (Information Analyser) sera offert aux participants qui ont un projet de Business Intelligence en 2010 !

En savoir +

S’inscrire

• 

Pouvoir être en mesure de suivre la bonne exécution des traitements batch SSIS est primordiale.

Plusieurs solutions permettent de répondre à ce besoin de suivi :

1. La méthode manuelle : Management Studio propose un historique d’exécution des jobs
2. L’utilisation de tâches SQL permettant de renseigner une table de log
3. L’utilisation des logs standards SSIS

La solution 2. est très souvent rencontrée sur les projets par simple méconnaissance de la 3.

Cet article décrit donc comment mettre en place en quelques minutes un suivi des traitements SSIS performant.

L’activation des logs s’effectue pour chaque package dans le menu SSIS\Enregistrement (Logging en version anglaise)

Les étapes à réaliser sont les suivantes :

1. Choisir dans la liste déroulante type de fournisseur, où seront stockés les logs (base de données, fichier XML,…) puis cliquer sur le bouton Ajouter. Personnellement, je préconise le stockage SQL Server qui permet une exploitation aisée de ces données
2. Cocher la case à cocher devant le nom du package
3. Activer la case à cocher devant le fournisseur SQL Server
4. Sélectionner la base de données hébergeant la table de log

Remarque : Il n’est pas possible de choisir le nom de la table dans laquelle les logs seront stockés. SSIS 2005 les stocke dans la table sysdtslog90, SSIS 2008 dans sysssislog.

L’onglet Détails permet ensuite de spécifier le niveau de finesse dans le suivi des traitements :

Afin d’éviter des logs trop volumineux, je recommande de tracer uniquement les événements suivants :

• OnPreExecute : Trace le début d’exécution des différentes tâches présentes dans le niveau Flux de Contrôle
• OnPostExecute : Trace la fin d’exécution des différentes tâches présentes dans le niveau Flux de Contrôle
• OnError : Trace toutes les erreurs survenues aux niveaux Flux de contrôle et Flux de données

Les principaux champs de la table de logs sont les suivants :

• Event : événement qui a généré le log (OnPreExecute, OnPostExecute ou OnError)
• Computer : ordinateur qui l’a exécuté
• Operator : utilisateur qui l’a exécuté (permet par exemple de différencier une exécution automatique effectuée par l’agent SQL Server d’une exécution manuelle de rattrapage)
• Source : étape du flux qui a généré le log
• SourceId : Identifiant de l’élément (package, tâche de contrôle…) ayant généré le log
• executionId : identifiant unique de l’exécution
• Starttime : début de l’événement qui a généré le log
• Endtime : fin de l’événement qui a généré le log
• Message : détails de l’événement (notamment les messages d’erreurs sur l’événement OnError)

En quelques clics nous avons ainsi paramétré le stockage de l’information relative à l’exécution des flux SSIS. Ces données peuvent maintenant être requêtées en SQL ou utilisées via du reporting.

A noter qu’une ligne est écrite dans la table de log pour chaque événement: début d’une tâche, fin d’une tâche ou erreur. Les données doivent donc être manipulées pour obtenir une ligne du type: nom de la tâche, date de début, date de fin et statut d’exécution.

Homsys propose ainsi un ensemble de tableaux de suivi développés sous Reporting Services. Cet aspect sera présenté dans un prochain article…

• 

Nous sommes nombreux à travailler sur les phases « de réalisation » des projets décisionnels, sans parfois avoir la visibilité sur comment ce projet a été lancé et pourquoi celui-là plutôt qu’un autre. Nous avons formalisé au sein d’Homsys Consulting trois offres autour du conseil en amont des projets décisionnels et je vous propose un petit aperçu de nos retours sur ces types de mission.
Le premier volet de cette trilogie concerne l’Audit des Systèmes d’Information Décisionnels.
La palette de missions d’audit est très large, de l’audit technologique (un audit de performances, par exemple) jusqu’à l’audit global sur le SID sponsorisé par la Direction Générale ou encore des audits de projets décisionnels, ajoutant des questions de méthodologie et d’organisation. Des points communs existent entre ces missions :

• Une mission rapide permettant de confronter un SID existant avec l’état de l’art
• Une nécessité d’impliquer les acteurs, malgré ce terme parfois très mal perçu d’ »audit »
• Une étape permettant de dresser un premier plan d’actions et de lancer les chantiers prioritaires.

Un leitmotiv récurrent du conseil en amont des projets décisionnels est de proposer une vision synthétique et pédagogique de notre travail. Et comment mieux illustrer ces missions que par un petit schéma ? Voici le « carré magique » d’Homsys… Grâce à lui, nous présentons pédagogiquement la situation existante et quels types d’efforts devront être menés :

Le "carré magique" homsys de l'audit

Cette matrice met bien en avant un élément incontournable de ces missions : nous cherchons en permanence la valeur ajoutée (ROI) pour le SID.
C’est un autre socle fondateur de notre réflexion dans ces missions en amont des projets décisionnels.

Enfin, en guise de conclusion, je vous donne mon avis de consultant amené à dérouler ces missions :

• Ce qui est dur dans ces missions :

Comme lors de tout audit, vos interlocuteurs principaux sont généralement ceux qui pourraient se sentir visés par les conclusions de la mission. La relation au quotidien doit être gérée avec tact et habileté … encore plus que dans n’importe quelle mission, en fait.

• Mon principal intérêt dans ces missions :

Vous apportez en quelques jours un départ nouveau pour tous les acteurs du SID… en tout cas, c’est l’élan qu’il faut insuffler pour espérer une réussite de la mission !

Le prochain volet portera sur le conseil en Urbanisation du SID dans lequel nous retrouverons quelques principes d’ores et déjà énoncés.
Si vous avez, vous aussi, connu ce genre de situation ou si vous avez des précisions à apporter, n’hésitez pas !

•