Blog Homsys

Nous vous l’avions annoncé : Alexis Sacksteder, directeur technique Homsys Paris,  »a révélé » PowerPivot pour Excel, le nouvel outil BI en mémoire de Microsoft, à l’occasion des derniers Microsoft TechDays !

Comment concevoir vos tableaux de bord grâce à l’add-in PowerPivot pour Excel? Comment créer un modèle à partir de sources de données hétérogènes ? Comment ajouter simplement des calculs métiers complexes avec DAX ? Quelle utilisation du datamining est possible avec PowerPivot ?… Visionnez le webcast de la session « PowerPivot révélé » animée par Alexis Sacksteder, le 9 février 2010.

L’ensemble des présentations et webcasts desTechDays 2010 sont disponibles en ligne.

Homsys participe aux temps forts BI de la 4ème édition des Microsoft TechDays, qui se dérouleront les 8-9-10 février au Palais des Congrès de Paris : lancement de SQL Server 2008 R2 et de SharePoint 2010.

Un programme de 3 conférences plénières et plus de 300 conférences techniques et workshops attend les quelque 16 000 visiteurs attendus.

La journée du mardi 9 sera plus particulièrement consacrée à la Business Intelligence. Durant la session du début d’après-midi ’PowerPivot révélé‘ (14h30-15h30), Alexis Sacksteder, directeur technique Homsys IDF, abordera en détail la conception des tableaux de bord grâce à l’add-in PowerPivot pour Excel, le nouvel outil Business Intelligence en mémoire de Microsoft. Créer un modèle à partir de sources de données hétérogènes, ajouter simplement des calculs métiers complexes avec le nouveau langage DAX et pourquoi pas utiliser le datamining avec PowerPivot… Cette session sera l’occasion également de partager avec l’assistance les bonnes pratiques d’utilisation de PowerPivot.
En savoir plus.

Informations et inscriptions aux Microsoft TechDays 2010 sur le site officiel de l’événement : www.mstechdays.fr.

Homsys fera gagner une XBOX 360 Elite Value ! Rendez-vous « au village SQL Server » dans la zone « Développement et base de données » : stand D29.

Pouvoir être en mesure de suivre la bonne exécution des traitements batch SSIS est primordiale.

Plusieurs solutions permettent de répondre à ce besoin de suivi :

1. La méthode manuelle : Management Studio propose un historique d’exécution des jobs
2. L’utilisation de tâches SQL permettant de renseigner une table de log
3. L’utilisation des logs standards SSIS

La solution 2. est très souvent rencontrée sur les projets par simple méconnaissance de la 3.

Cet article décrit donc comment mettre en place en quelques minutes un suivi des traitements SSIS performant.

L’activation des logs s’effectue pour chaque package dans le menu SSIS\Enregistrement (Logging en version anglaise)

Les étapes à réaliser sont les suivantes :

1. Choisir dans la liste déroulante type de fournisseur, où seront stockés les logs (base de données, fichier XML,…) puis cliquer sur le bouton Ajouter. Personnellement, je préconise le stockage SQL Server qui permet une exploitation aisée de ces données
2. Cocher la case à cocher devant le nom du package
3. Activer la case à cocher devant le fournisseur SQL Server
4. Sélectionner la base de données hébergeant la table de log

Remarque : Il n’est pas possible de choisir le nom de la table dans laquelle les logs seront stockés. SSIS 2005 les stocke dans la table sysdtslog90, SSIS 2008 dans sysssislog.

L’onglet Détails permet ensuite de spécifier le niveau de finesse dans le suivi des traitements :

Afin d’éviter des logs trop volumineux, je recommande de tracer uniquement les événements suivants :

• OnPreExecute : Trace le début d’exécution des différentes tâches présentes dans le niveau Flux de Contrôle
• OnPostExecute : Trace la fin d’exécution des différentes tâches présentes dans le niveau Flux de Contrôle
• OnError : Trace toutes les erreurs survenues aux niveaux Flux de contrôle et Flux de données

Les principaux champs de la table de logs sont les suivants :

• Event : événement qui a généré le log (OnPreExecute, OnPostExecute ou OnError)
• Computer : ordinateur qui l’a exécuté
• Operator : utilisateur qui l’a exécuté (permet par exemple de différencier une exécution automatique effectuée par l’agent SQL Server d’une exécution manuelle de rattrapage)
• Source : étape du flux qui a généré le log
• SourceId : Identifiant de l’élément (package, tâche de contrôle…) ayant généré le log
• executionId : identifiant unique de l’exécution
• Starttime : début de l’événement qui a généré le log
• Endtime : fin de l’événement qui a généré le log
• Message : détails de l’événement (notamment les messages d’erreurs sur l’événement OnError)

En quelques clics nous avons ainsi paramétré le stockage de l’information relative à l’exécution des flux SSIS. Ces données peuvent maintenant être requêtées en SQL ou utilisées via du reporting.

A noter qu’une ligne est écrite dans la table de log pour chaque événement: début d’une tâche, fin d’une tâche ou erreur. Les données doivent donc être manipulées pour obtenir une ligne du type: nom de la tâche, date de début, date de fin et statut d’exécution.

Homsys propose ainsi un ensemble de tableaux de suivi développés sous Reporting Services. Cet aspect sera présenté dans un prochain article…

Nous sommes tous familiers du « Magic Quadrant » du Gartner Group qui régulièrement positionne les offres des éditeurs selon une habile échelle qui « comme à l’école des fans » permet à chacun d’expliquer que tout le monde a gagné.

Les petits éditeurs sont des valeurs qui montent et qui existent puisque telle une déclaration que n’aurait pas reniée Sartre « j’existe puisque je suis dans le Cadran magique ».

Les poids lourds ont comme principal enjeu tels des Tryphon Tournesol de se trouver les plus au Nord-Est du cadran et surtout les plus détachés de toute âme à proximité.

Je me suis amusé à suivre l’évolution de ce jeu de marelle sur  5 ans, que constate t’on ? :

Au même titre que les marchés automobiles, sidérurgiques, textiles ou pharmaceutiques, les leaders d’il y a 5 ans sont devenus de plus en plus gros, de plus en plus pérennes, ont croqué les petits, les moyens puis se sont mangés entre eux pour devenir incontournables. On appelle cela une maturité de marché, une rationalisation de « l’industrie » du logiciel. Ces nouveaux Tycoons proposent désormais de larges gammes de produits depuis l’utilitaire jusqu’à la berline de luxe en passant par la low cost et la luxueuse ostentatoire.

Quelle place reste t’il aux émergents ? La même stratégie que pour tout acteur de petite taille positionné sur une industrie mature : « faire différent ». Dans l’industrie logicielle cela se traduit par mieux, plus performant, plus pertinent, plus innovant, plus agile ou moins cher. On constate dans ces mêmes cadrans l’entrée-sortie de nombreux éditeurs qui soit se sont fait croquer par l’appétit féroce des mastodontes soit ont disparu corps et biens dans la cohorte des éditeurs qui comme au cinéma ou dans la musique « n’ont pas trouvé leur public ».

Les mutations des marchés déjà concentrés nous apportent cependant quelques enseignements qui vont à court ou moyen terme s’appliquer au marché de la Business Intelligence.

Au chapitre des points négatifs

• Le consommateur voit ses choix se restreindre au sein de gammes éditeurs élargies,
• Une politique de conquête cross référence se met en place dans une stratégie de captation maximale du client,
• Les clients captifs (ERP & BI) voient leurs marges de négociation diminuées,
• les politiques de prix sont dictées non pas par la valeur ajoutée du produit mais par la nécessité de rembourser les acquisitions en augmentant notamment les taux de maintenance,
• Les éditeurs tentent d’aligner leurs prix avec la concurrence,
• Les distributeurs voient leurs marges et territoires se réduire, ils sont préservés sur les seuls segments laissés à l’abandon par l’éditeur,
• La réduction du nombre d’acteurs du CPM (Gestion de la performance) risque d’augmenter les coûts de licence de ces produits,
• L’innovation n’est plus le moteur, elle passe après la rationalisation.

Les points positifs

• Les contrôles de qualité et intégration logicielle sont améliorés,
• Le support mutualisé est souvent de meilleure qualité et plus rigoureux,
• Pour les clients prêts à accepter toute l’offre, des gains sont à attendre notamment sur les packages analytiques entre ERP et BI,
• La tarification pour les grands clients peut réduire la BI à une « feature » d’une négociation globale licence incluant des licences ERP, Middleware, et bases de données réduisant drastiquement le coût de la licence utilisateur,
• La concentration de gros acteurs peut favoriser l’apparition d’acteurs émergents détenteurs de technologies innovantes ou issus du monde libre,
• Des éditeurs « low cost » vont tirer leur épingle du jeu avec l’émergence  notamment du monde libre  et  le renforcement de Microsoft.

En conclusion, on peut considérer qu’il ne reste plus que 5 grands éditeurs mondiaux dans le domaine de la BI dont SAS reste à ce jour le seul « pure player » global et indépendant. IBM, SAP et Oracle ont besoin de rembourser leurs acquisitions en maintenant un niveau de prix relativement élevé ce qui laisse un boulevard à Microsoft et à l’Open source pour maintenir des exercices de démocratisation en dynamitant le rapport coût/performance des infrastructures. Le Magic Quadrant ne risque-t’il pas demain de démontrer que la Business Intelligence est devenue une roue de la fortune à 5 cases occupées par des leaders bien décidés à  intégrer les clients et prospects dans une portion de leur camembert désormais devenu de la taille d’un Brie de Meaux ?

A vos posts pour en débattre.

Cette semaine, je me suis rendu compte que la plupart des Data Warehouses de mes clients pourraient tenir dans la mémoire flash de mon iPhone. Une idée saugrenue a priori, qui mérite pourtant de s’y arrêter quelques secondes.

Une des rares innovations perceptibles actuellement sur le marché consiste à proposer des bases de données « in memory ». Plus compactes, plus performantes, plus innovantes. QlikTech l’éditeur suédois dont tout le monde parle,  a bâti en partie son succès sur ce choix. Hormis Microsoft qui prépare sa propre riposte avec PowerPivot for Excel permettant de charger plus de 100 millions de lignes dans Excel, on peut considérer que la plupart des concurrents sont un peu à la traîne. Pourtant, ne pourrait-on pas imaginer faire tourner un SGBD classique totalement en mémoire ? Les technologies mémoires laissent déjà entrevoir le TeraOctet de RAM sous peu. Que restera-t’il dans ce cas aux appliances, serveurs avec racks de disques à fort coût de possession ? Une fois de plus les possibilités qui sont déjà proposées par la puissance des machines sont sous-exploitées par les logiciels qui sont sensés en tirer la substantifique moëlle. Mon iPhone est aujourd’hui plus puissant que le Cray 1 et que les supercalculateurs utilisés par le pentagone il y a une décennie, la technologie va révolutionner sous peu notre mode de consommation de l’information y compris pour du pilotage.

Puissance de calcul, volumétrie de données, mémoires vives à accès rapide vont peu à peu permettre de proposer des outils gorgés d’algorithmes de Data Mining qui faciliteront notre compréhension des données noyées dans la masse, ces technologies nous proposeront spontanément les scénarios les plus adaptés à nos modes de consommation et d’analyse de l’information, elles apprendront de nous en modélisant nos processus d’analyse, mémorisant nos recherches, nos centres d’intérêts, nos manies. La technologie n’a pas fini de nous surprendre tant les champs exploratoires sont encore vastes.

Les membres du CUBIM (Club Utilisateurs BI Microsoft) rencontraient jeudi 15 octobre Fausto Ibarra pour un échange d’1 heure sur les nouveautés SQL Server 2008 R2 et sur les versions à venir.

Bien évidemment la majeure partie de la session fut consacrée à Gemini (qui s’appellera dorénavant PowerPivot) avec une démo assez bluffante sur de l’analyse instantanée sur 100 millions de lignes présentes dans un onglet Excel !

Autre sujet à suivre: Master Data Services. Grâce au rachat de Stratature (juin 2007), SQL Server 2008 R2 intégrera une solution de MDM (Master Data Management) permettant la gestion et la saisie de référentiel avec notamment :

• Du versionning
• Du workflow
• Des hiérarchies
• De la sécurité

Cette brique encore absente de la beta que nous testons actuellement arrivera dans la prochaine beta à la fin du mois d’octobre.

La session fut également l’occasion d’évoquer le sujet de la scalabilité avec le projet Madison et la distribution des données “on the cloud” avec le projet Azure.

La sortie de SQL Server 2008 R2 est annoncée pour le 1er semestre 2010.

Quelques axes d’évolutions des futures versions:

• L’intègration d’une brique Data Quality Services (issue du rachat de Zoomix)
• L’amélioration des performances d’Analysis Services.

Cette version est pour l’instant prévue pour 2011…