dimanche 7 juillet 2013

Le data warehouse pour les noobs partie 2 - l'ODS


Pour information, l'acronyme ODS signifie Operational Data Store.
Aujourd'hui, la puissance des serveurs justifie peut-être moins la présence d'un serveur dédié à l'ODS. Comme je l'ai noté, le transfert des données entre l'ODS et le DWH est un problème épineux, les aspects à observer sont les suivants :
  • problématique d'IO disque : habituellement, on a plusieurs dizaines voir centaines de Go à copier ;
  • problématique de capacité réseau. C'est toujours le facteur limitant, même si des liaisons à 10, 20 voir 40 Gbit/s peuvent être mises en place (InfiniBand, Fibre Channel) ;
  • problématiques de sécurité : il faut garantir l'impossibilité qu'un petit plaisantin fasse un man in the middle pour récupérer vos données stratégiques. Je vous dis ça parce que j'ai déjà vu l'utilisation de remsh ou rcp pour faire des transferts.
Ainsi, sur un projet précédent, l'ODS a été abandonné pour ne conserver qu'une seule base. La base était sur le SGBD Oracle et dans le cadre de la rénovation de l'architecture technique, l'Automatic Storage Management (ASM) a été mis en place (ce qui nous a beaucoup simplifié la vie, il faut dire). Du coup, il n'était plus possible d'utiliser les transportable tablespaces comme nous le faisions jusqu'alors. Il aurait certainement été possible de se démerder en utilisant RMAN, mais les tests effectués en amont ne le justifiaient pas.
Pour terminer, même si vous n'avez qu'une base, il est toujours bon de savoir ce que représente l'ODS, au cas où on vous pause la question C'est quoi ton ODS ?. L'ODS peut également être les tables qui accueillent les données bruts des systèmes opérationnels.
Et désolé pour la faute que j'ai laissée dans le dessin, j'ai la flemme de rescanner.

Edit : lien vers la première partie.