Posts

Europese privacy wet heeft impact op data management

De EU voert een wet in die burgers en hun gegevens verregaand beschermd. Officieel gaat het niet in de eerste plaats om terugdringing van de ongebreidelde spionagepraktijken van de Amerikaanse NSA en gelijken, maar dat is daar wel een direct gevolg van. Zo mag alleen nog een Europese rechter besluiten gegevens over Europeanen aan de VS over te dragen, burgers dienen direct toegang te krijgen tot hun gegevens en boetes voor overtreden zijn hoog. 21 oktober is een interessante en best historische dag voor voor de bescherming van de burgers van Europa. Ondanks de bijna 4000 amendementen op de voorstellen voor een nieuwe privacywet, is bij de stemming voor goedkeuring, door een overweldigende meerderheid vóór het ontwerp gestemd.

Dat betekent dat de EU een wet gaat invoeren die burgers en hun gegevens verregaand beschemd. Officieel gaat het niet in de eerste plaats om terugdringing van de ongebreidelde spionagepraktijken van de Amerikaanse NSA en gelijken, maar dat is daar wel een direct…

European privacy law impacts on data management

October 21th is an interesting day for Europeans. Their privacy was voted upon in the European Parliament and the decision is that they will push forward with this law. 

The proposal was heavily amended, nearly 4,000 amendments to the original plan, by the parliament's civil liberties committee. One of the amendments was to increase the fine to 5 percent of annual worldwide turnover or 100 million euros, whichever is greater. The Googles, Yahoo's and Facebooks of the world will take this serious. These companies have lobbied heavily against this proposed law, because they are afraid they will be hampered in their operation of handling their (our) data and it might limit the targeting possibilities with this data.

Authorities in the United States also opposed this law because they are worried that the rest of the world will follow suit in stricter data rules. Especially countries in Latin America, Asia and the Middle East, will then probably set higher global data protection leve…

Interesting results in European BI Survey 2012 - 2013

Only 7% of participants grade Big Data as very relevant.

This is one of the many eye-catching results of the BI Survey that is presented by Steria (Steria.com), an IT enabled Business Services company.

In December 2012 to Januari 2013, they surveyed 668 companies / organizations in 20 different European countries. With this many participants, it is one of the largest BI surveys in Europe.

Interesting results, however no really big surprises. In spite of all the hyping that is done on Big Data, only 7% grade it as being very relevant, 33% as hardly or not relevant. 

Steria concludes that Data quality is the Achilles Heel of BI. Still, after many years of attention for this problem, 38% of the companies says they have a data quality problem.

Overall the recorded maturity levels, comparable to the Gartner Maturity model for BI and PM, is around three. That is actually not bad. What we find in The Netherlands is generally a bit lower, say 2.5. Holland was not included in this survey, Germany, …

OTAP reloaded

Het OTAP vraagstuk bij datawarehouses is een lastig probleem en heeft in 4 specifieke gevallen waarschijnlijk 5 oplossingen. Ik ga hieronder ten tweede male in op het OTAP vraagstuk en geef hieronder een aantal aspecten die een rol spelen bij het bepalen van de OTAP strategie. Het eerste OTAP blogje is alweer van 7 november 2009.
Architectuur Vanuit architectuur oogpunt wil je zoveel mogelijk standaardiseren en processen en objecten herhaalbaar hebben. Architectuur, gebruikte hard- en software en de topologie van de informatieketen, bepalen voor een groot deel de ‘kopieerbaarheid’ van een ‘datawarehouse’. Dat is dus één factor die bepaalt of je wel of niet de P kopieert naar de Acceptatieomgeving. Bij één van mijn klanten hebben ze zonder met de ogen te knipperen de hardware en software 2 maal besteld om te voorzien in een Productie en een acceptatie omgeving. Men wilde ook e.e.a. nog eens dubbel uitvoeren om aan de eisen voor ‘High Availability’ te voldoen. Dat kwam dus neer op 4 giga …

DQ and Social Big Data an issue?

In his blog on The Dataroundtable http://www.dataroundtable.com/?p=11270, David Loshin very rightfully points out there is a number of approaches for Data Quality that will not work in the realm of Big Data, especially of the 'unstructured' type. Below is my response to his blog post, where I feel triggered beyond imagination.
To David: Hi David. I got a sort of short-circuit from your post. I'm not sure if that was the purpose of your post but it happened and I still want to thank you for it. Not many blogs cause such hefty reactions.

My question is: Do you think data quality / -management professionals should respond in a serious manner to a 'business' question about quality of 'Social Big Data'? When no-one has an incentive to bring quality into the information process upstream, the battle with the beast is lost by definition. 
The next question is: "Do we need to battle". I can't imagine anybody expecting high quality from a Social Big Dat…

Architectuur & Datamanagement

In Dutch  Voor het archief ;-) Onlangs hadden we een aardige discussie op VNA, naar aanleiding van de vraag van Danny Greefhorst: " Ik zou daarom graag in een open space vorm samen met anderen komen tot een praktische invulling van gegevensbeheer die we vanuit architectuur kunnen trekken. Ik hoor natuurlijk graag wat jullie van het idee vinden. ", zie: http://vianovaarchitectura.nl/forum/topics/vos-vraag-masterdata-en-gegevensbeheer-als-speerpunten-voor-de-in. Mijn antwoord hierop:  Hallo Danny, Vanuit BI en datakwaliteit ben ik sinds 2004 in aanraking met data management en alle aspecten daarvan. Het is, net als andere "IT" domeinen zoals Architectuur en Service management, een domein waarbij nog weinig eenduidig is, met name over wat het nou precies is en welke rollen daar een ehhh rol bij spelen. (zie ook mijn blogje uit 2010: http://franklybi.blogspot.com/2010/12/whats-up-with-roles-in-data-management.html). De vraag die bij mij onmiddelijk opkomt als ik je vraag lee…

Want to do analytics on large data volumes?

We would like to “do analytics” on large data volumes from 7 of your brands combined. Iincluding clickstream data. This is an example of the type questions we get. Whether it be Media, Energy, Banking or other, all want a high quality analysis on their product market combinations, want to make profiles of customers and whatnot.

An then we ask: So... How is your data?

How is it organized? How is the quality, what is the level of integration, standardization and how is it related to your well described processes?

The point is obvious, in my opinion there is no use trying to get information out of unmanaged data. When you can’t tell the level of quality of your data it is impossible to say something about the quality of the analytics results.

As Thomas Redman put it in his book “Data Driven, Profiting from your most important business asset”: “We have not even begun to understand the potential for analytics and data mining. Yet it’s reputation may be sullied, in some companies anyway, by hal…