Data Profiling with Oracle Warehouse Builder 10gR2 (article in Dutch)

The 10gR2 or Paris release of Oracle Warehouse Builder is attracting a lot of attention. During Oracle Open World 2005 of course, and in a number of Blogs by among others Mark Rittman and Nicholas Goodman. At AMIS, we have participated in the Beta Test program since December 2004 and we have published several papers and weblog articles on OWB 10gR2; see for example: Oracle’s next generation of Busines Intelligence Tools – Drake goes to Paris to cook some BI Beans. The latest article is in Dutch, to be published next month in Optimize, a Dutch Oracle Developer Magazine:

Oracle Warehouse Builder is Oracle’s product voor ETL – Extract, Transform en Load van data, uit diverse bronnen via een transformatie naar een doel-database, meestal een Data Warehouse. Oracle Warehouse Builder 10g Release 2 – ook wel aangeduid als de Paris Release – speelde de hoofdrol in een artikel in Optimize nummer 3 (zie: Over de PARIS release van Oracle Warehouse Builder – Analyse van een Beta versie voor dat artikel).

In dit artikel hebben we gezien hoe je in OWB diverse databronnen – flat file, Oracle database: tabel, view, queue, PL/SQL API, 3rd party database, ERP application etc. – kunt registreren. Ook de doelen voor ETL kunnen worden geregistreerd of ontworpen met en gegenereerd vanuit OWB. Warehouse Builder bevat visuele ontwerp-tools voor het ontwerp van Tabellen en Views maar ook een Star- of Snowflake schema voor een Data Warehouse, gevormd door Dimensions, Measures en Hierarchies.

Bronnen en doelen worden in zogenaamde Mappings op visuele wijze met elkaar verbonden. Binnen een Mapping kunnen allerlei operatoren en transformaties worden opgenomen, van Filter, Deduplicate en Join tot Match Name and Address, Pivot en Custom (PL/SQL gebaseerde) Operators. OWB kan vervolgens de voor Oracle 9iR2 of 10g geoptimaliseerde PL/SQL code genereren om de transformatie uit te voeren. Deze code kan de ETL processen Set based en/of Record based uitvoeren. Alle nieuwe database features, van Bulk Collect to Merge, worden toegepast in deze code. Ook is de code geïntegreerd in het run-time framework van OWB voor auditing en logging, fout afhandeling en scheduling. Tenslotte ging het artikel kort in op de mogelijkheden om met OWB op basis van de Data Targets complete Business Intelligence modules te ontwerpen en genereren – een ingerichte Oracle Discoverer End User Layer of een BI Beans applicatie.

Hoewel dit eerste artikel in belangrijke mate het ontwerp en de generatie van het Data Warehouse beschreef, bleek ook al hier dat Warehouse Builder een vlag is die de lading lang niet dekt: OWB kan veel meer dan alleen een Data Warehouse construeren. Gewoon relationeel database design, ontwerp en generatie van ETL processen en van BI applicaties zijn aanpalende activiteiten, maar gaan toch al een stukje verder. In dit artikel kijken we met name naar de Data Profiler in OWB, een volledig nieuw stuk functionaliteit en wel heel ver af van Warehouse Building.

To download the paper: OracleWarehouseBuilder10gR2Deel2_DATAPROFILERA.doc