BiGateWay – Metadata oriented Etl

Dear Reader,

Around a year after its initial launch, our data service component, Vanilla BiGateway, is reaching a new step and getting important recognition from customers, with application in production, taking care of production data

History of BiGateWay is simple : we wanted to add a “data service” component to our Vanilla platform, with features such as the one developers find in any Etl, but also specific functions to leverage Vanilla documents (such as Olap/FreeAnalysis, Kpi/FreeMetrics or Ldap/Vanilla security replication). So, initially, we did not promote our BiGateWay as a specific Etl platform, because we are offering a complete Bi Platfrom (with Etl embed in it)

Initial result went beyond our expectation, and we got dozens of testers in a couple of months, with always same feedback : “great product, easy to use “. It proved us there was a request for an Etl platform for non-java developer  that respect Etl concept & provide an intuitive interface, along with support from the development team. Just look around & correct me if I’m wrong : I don’t see this configuration (Etl for Bi consultant, Metadata and sql data access – support by dev team – Embeded Bi features) in the Open Source  landscape ?

BiGateWay Designer Interface

Future is bright for BiGateWay :

– On one hand, along with BiWorkflow, we started some deployment in France for application that gather information through forms, manipulate & store those information using Etl features and organise report & dashboard distribution using Vanilla core services. All managed by our BiWorkFlow component.

– On the other hand, now supported multithread transformations, we can compete with pure commercial Etl, even with the comunity version of BiGateWay (that provide at no cost team development, checkIn-CheckOut or other usefull function such as data search & browse).

Have Fun !

Patrick

Advertisements

2 Responses

  1. Excellente idée d’utiliser un domaine de métadonnées comme source de données dans un ETL 😉

    Pentaho songe également à intégrer ce mécanisme dans Kettle (via Pentaho Metadata)
    L’architecture est déjà en place, celle-ci a notamment permis d’intégrer le modéliseur OLAP (Pentaho Analyzer) et le Reporting dans Kettle V4

    Plus d’infos sur l’architecture ici:
    https://pentaho.webex.com/pentaho/lsr.php?AT=pb&SP=EC&rID=36237372&rKey=cca1cdd70eb3841a

  2. Bonsoir Sylvain,

    Vanilla utilise le document sécurisé de Métadonnées avec tous les designers : FreeDashboard, FreeAnalysis, BiGateWay, Birt et FreeAnalysis. Quand on parle d’intégration d’une plateforme, cela concerne tous les composants ….
    On avait même en son temps un plugin avec IReport 3, mais comme Js a changé l’architecture à partir de la 3.1, c’est devenu incompatible (les limites de l’Open Source commercial et des changements brutaux de contrats techniques…).

    Le BiGateWay permet aussi d’utiliser des sources de données “Vanilla”, comme les cubes Fasd ou la base d’indicateurs FreeMetrics. En lecture comme en écriture (ce qui, pour les cubes, permet de faire des scénaris de simulation). On a même une brique pour faire de la synchro Ldap/Base Vanilla (très utile quand on installe en entreprise)

    L’intégration Etl/Métadata permet aussi une utilisation de l’Etl par des analystes métiers, alors que pour l’instant, ce sont surtout des développeurs ayant des connaissances de la structure de la base de données avec des requêtes Sql qui s’occupent de projets Etl, parfois avec une rupture trop importante par rapport aux besoins fonctionnels. Cela permet encore de mettre un niveau d’abstraction utile en cas d’évolution de structure, et de faire facilement des analyses d’impact (depuis la colonne d’une table, en passant par l’Etl, puis le Métadata et enfin les documents Bi : rapports, cubes, tableaux de bord)

    Sur le Métadata, j’y reviendrai prochainement, on fournit maintenant un driver jdbc pour FreeMetadata, ce qui permet d’utiliser une source Fmdt comme une source Sql … l’Open Source, c’est aussi innové !

    Patrick

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: