La democratización del Business Intelligence: Power BI

Si en tu empresa aún no has incursionado en las tecnología de Business Intelligence (BI) o bien has encontrado previamente que una implementación BI puede ser muy costosa y compleja, con requerimientos de infraestructura y personal especializado en bases de datos y BI, entonces deberías probar Power BI.

Power BI es un producto fruto de la apuesta de Microsoft por una solución para inteligencia de negocios de Autoservicio (SSBI – Self Service Business Intelligence), que tuvo su génesis en 2010 como un complemento gratuito para Excel: Power Pivot.

Desde ese momento Microsoft fue agregando más aplicaciones en forma de complementos para Excel, como Power Query, Power View, Power Map, las que paulatinamente fueron parte integral de las últimas versiones de Excel. Así, de toda la experiencia ganada en estos años nace Power BI a mediados de 2015 como un producto que unifica todas las herramientas “Power” bajo un mismo paraguas con el cual puede conectar a muchas y variadas fuentes de datos. Puede manipular los datos con un poderoso motor de data mash-up, modelar los datos, construir su esquema tipo estrella, agregar columnas calculadas y nuevas medidas con un super rápido motor en memoria. Puede visualizar sus datos y customizarlos para contar la historia que hay detrás de ellos. Los reportes y paneles interactivos diseñados los puede publicar y compartir en la nube.

Todo esto y más es posible de lograr con Power BI, cosa que no es posible de lograr con otros productos de manera tan fácil, dado que es una herramienta simple y amigable para distintos niveles de usuarios desde analistas de datos a usuarios avanzados. Las herramientas que incluye son poderosas y lo suficiente maduras que pueden ser utilizadas en sistemas Enterprise por desarrolladores BI para modelos de datos complejos.

Por otro lado, y no menos importante, es el modelo de negocio de tipo Freemium propuesto por Microsoft para Power BI el que se basa como un servicio de análisis empresarial basado en la nube, donde para comenzar puedes crear una cuenta en PowerBi.com totalmente gratis con 1GB de espacio disponible, o bien contratar Power BI Pro por US$ 9.99 al mes con 10GB de espacio en la nube.

Además, independientemente de la cuenta gratis o Pro, tienes a tu disposición gratis:

Power BI Desktop: herramienta unificada para desarrollo de reportes y paneles interactivos para el análisis de datos que se instala en tu PC integrando Power Query, Power Pivot, Power View y Map
App Power BI: App para móviles especialmente diseñada para tener acceso a informes y paneles compartidos en la nube para Windows, iOS, and Android.

Con todas estas características, Power BI cumple con el propósito de democratizar el acceso a los datos y la toma de decisiones a diferentes niveles en una empresa y hacer que la inteligencia de negocios y análisis ya no sea el privilegio pocos, sino de muchos, donde cada persona en la empresa ya sea esta pequeña o mediana, tiene a su disposición una potente herramienta que le permitirá aportar en la mejora de la competitividad de la empresa dentro de su área de trabajo.

Por eso, como decía al comienzo, si aún no has incursionado en BI o has encontrado que es un proyecto de tecnología muy caro y complejo, entonces no esperes más para probar Power BI.

Lo primero que deberías hacer es bajar Power BI Desktop aquí y conectarte a una fuente de datos conocida tuya, la que podría ser algunos de los archivos de datos que hoy estés utilizando, como por ejemplo, datos en libros/hojas Excel, archivos de texto con formato CSV, tablas en una base de datos Access, etc.

Luego puedes crear tu cuenta gratis en el servicio PowerBI.com en la nube, donde la única exigencia es que ingreses una cuenta de correo de tu empresa. Así, ya estarás en condiciones de publicar en la nube tu primera visualización creada con Power BI Desktop. Finalmente, en tu celular bajas la App Power BI la que te permitirá ver todo lo que hayas publicado.

Todo esto no te costará nada, solo tu tiempo invertido en probar, lo que seguramente te reportara beneficios una vez que veas los resultados de tus primeras visualizaciones de los datos que usas en el día a día.

Web y Móviles: La importancia de un Diseño Responsivo

Es probable que su empresa o negocio ya tenga su página web, o si aún no la tiene esté pensando en ya implementarla. Cualquiera sea el caso, es importante tomar conocimiento de algunos hechos directamente relacionados a las páginas webs y los usuarios que la visitan.

El primer hecho tiene que ver en con el acceso a internet: Las cifras mundiales hace años muestran un incremento sostenido del uso de dispositivos móviles para acceder a internet. En el caso de Chile, las cifras 2015 de la Subtel indican que en Chile “internet móvil representa un 77% de las conexiones” (Enlace a información de Subtel).

El segundo hecho tiene que ver con el diseño de una página web: Desde hace ya un tiempo, se viene usando el término de página web con “Diseño Responsivo” o bien “Pagina Web Responsiva”, para señalar que la página se adaptará al tamaño del dispositivo que se esté utilizando, y por lo tanto, los contenidos de la página y la navegación estará optimizada ya sea un Smartphone, Tablet, Notebook, o PC, independientemente del tamaño de su pantalla. Dicho de otra manera, una página responsiva le permite al usuario tener una muy buena experiencia de navegación usando su dispositivo de preferencia.

Dicho esto, en el caso de Chile, de 10 personas que intenten visitar su página web, prácticamente 8 lo harán vía dispositivo móvil (típicamente un Smartphone) y solo 2 por PC o Notebook. Por lo tanto, si su página web no es responsiva, 8 usuarios tendrán una mala experiencia al navegar (letras pequeñas, gráfica no ajustada a tamaño de pantalla, uso excesivo del zoom). El resultado más probable es que muchos de estos usuarios no visitaran nunca más a su página.

Ahora bien, otro hecho no menos importante, fue el anuncio a comienzos del 2015 realizado por Google:”… las webs que no estén preparadas para móviles, el 21 de abril perderán posicionamiento con respecto a otras webs optimizadas”. En dicha fecha Google comenzó aplicar este anuncio con la intención de mejorar el ranking de los sitios que fueran amigables con la navegación desde dispositivos móviles. Es decir, en una búsqueda realizada con Google desde dispositivos móviles, únicamente serán mostrados los sitios que son amigables con la navegación móvil.

La clara conclusión, es que su página web debe estar preparada para recibir el máximo de visitantes, independientemente del dispositivo que usen para conectarse a internet, pues de lo contrario perderá la mayoría de los visitantes, y la mejor forma de estar preparado es adaptar o convertir su actual página web a una responsiva, o en caso que esté planeando tener su primer página, que esta sea una Pagina Web Responsiva.

Self Service BI using Excel 2010 + PowerPivot

Always Excel has been used as a tool by end users for BI analysis in a self-sufficient fashion. The biggest problems with Excel are its limitations in size of the data that can be stored and the complexity of BI analysis that can be performed. For those reasons, when the end user is facing such limitation, he/she needs to get help from the IT department. This ultimately leads to the typical problem in which IT must to assign IT staff to analyze the requirements with the user, and then continue with technical specifications and finally build an application.

The good news is that if you use Excel 2010 you can download the free PowerPivot add-in and the Excel limitations previously mentioned will be solved. In that way you can start to enjoy an excellent tool to do Self-Service Business Intelligence.

What is PowerPivot?

PowerPivot for Excel has the ability to take the Self-Service BI to an unprecedented level. PowerPivot exploits the familiarity of Excel while adding a powerful BI analysis engine, along with new data compression algorithms that let you load large data sets in memory. PowerPivot technically is the implementation of Vertipaq, now with the new name xVelocity, which is defined as In-Memory Analytic Engine.

With PowerPivot users can process huge amounts of data at an incredible speed. Using Data Analysis Expression (DAX new language) in addition to the standard features of Excel, advanced users can easily create more complex applications based on relationships between tables in a database from different origins and other sources such as Excel spreadsheets maintained by you at your computer. In many cases, PowerPivot for Excel can establish relationships between tables automatically, and when it is not possible you can easily set up the relations.

Praxis

To illustrate all this, the following is a case studio tested with a database that includes a table of 10,000,000 transactions (TxMaster), and three related tables: Product Categories (ProdCat) Products (Prods ) and Locations (Stores). All these tables are maintained in a SQL Server database.

Let us start with the end result achieved after establishing a connection to a SQL Sever database to load the data, setup the table’s relationships, and finally assemble the analysis report, graphics and filters (Slicers).

Final Result : Excel Dashboard

If we look at new things in the Excel Ribbon section, we can see the PowerPivot tab and as first option on the left side the PowerPivot Window item. If you click on the latter you are switched to the new section of PowerPivot, which is really where is performed all the handling of data to be used by the Excel spreadsheet via a Pivot Table.

In the next picture we have selected Data View, in particular TXMaster table with 10 million transactions (loaded into the computer memory, in this case a modest Notebook with Intel Core Duo and 4Gb memory). In the tabs above you can navigate through the rest of the related tables.

PowerPivot Window – TxMaster Table

Note that you can add columns to any table loaded. Just point under Add Column and then enter the formula. The formulas are similar to Excel formulas, however the variables are referencing the fields names in the tables and not cells in particular. Additional you can use the new language DAX for more specific calculation. We can see more details of the DAX in a future post.

The table below shows the Product.

PowerPivot Window – Products Table

If you click on Diagram View you will see the diagram with the relationships between the tables we are using.

Power Pivot Window – Diagram View

It is interesting to note that in this diagram you can do a lot of things, for example, create hierarchies as in the case Category / Product. Also, among other things, you could define KPIs, and most importantly in the Get External Data section, you can add data from virtually anywhere (SQL Server, Oracle, DB2, etc.., Etc..).

If we return to the Dashboard, this was created using Pivot Table, applied to the data defined in the PowerPivot window.

In this dashboard there are four important elements to highlight. The first one is the PowerPivot Field List, i.e., the set of measures and dimensions for the analysis of our cube, which is displayed automatically when you create the PivotTable. We will not go into details of how to assemble the table and graph analysis, but this is achieved by simple drag and drop fields from the tables on the sections of Row Labels, Column Labels and Σ values.

Regarding the Excel file, this can take a lot of space, since all data in your tables will be stored in the file. However, PowerPivot has very good data compression ratio, in this case the final size of the Excel file was approximately 62% of the size occupied by the tables in SQL Server.

An important item is to indicate that everything that was defined in PowerPivot is not lost when you need to update your information, that is, re-loads the data sources to incorporate either new records or data updates in the tables. PowerPivot will apply the already defined data relationships and then re-calculate all the aggregated columns and will update all the information for a fresh analysis.

Well, to finish just add that this is a sample of what you can do today with PowerPivot for Excel, without going into further details. As you can see, PowerPivot is a real opportunity to enter the world of Self-Service Business Intelligence (SSBI).

SSBI – Self-Service Business Intelligence.

You could call it a tool that helps the Data Analytics allowing users to access and work with corporate information to perform their own queries and reports without dependence on IT department.

It is widely known the conflict that occurs between an IT department and end users, primarily with respect to the report requirements of the end users requested to the IT department and the slow response received, which conduct to long waiting lists to satisfice such requirements. For long time end users have resolved to use some tools to at least solve their needs in a self-sufficient fashion. In this sense, the widespread use of Excel is the clearest example of how many users have substituted the slow or no response of the IT department to such requirements.

This conflict has been characterized by the term Shadow IT or Shadow Systems, to indicate that non-IT departments begin to produce their own solutions supported by end-user oriented tools that end up in some cases to build these systems in the shadows which are characterized to be out of the control and management of the IT department.

In the area of Business Intelligence also we can see this conflict, clearly intensified by the time we live, where requests for information and analysis are very changeable and requiring information now, because tomorrow could be too late to take an important business decision.

In the evolution of BI systems, always has been end-user tools that allow to create their analysis reports, however, the continuous change that we are facing has made the original DWH and DataMart cannot respond the current demand for information analysis, which is not only based on data stored in these DWH and DataMart, but also in other types of external data and / or subject to continuous change.

In that way has born the approach and trend of the SSBI. The idea, in general of many tools available in the market, is that both the IT department and end users may take benefit of such technology.

Thus, a good SSBI solution should offer easy to use features for the end user, in order to create reports and graphs analysis of corporate data sources and other ad-hoc data sources which are external data and/or with very special features.

In such scenario, the IT department focuses on maintaining a good infrastructure and service access to their DWH, DataMart, and OLAP cubes, allowing end users to develop their reports with data controlled by IT and the external data manipulated by the user. At the same time, IT can provide facilities to maintain a centralized repository with user-generated reports, and have under control security and confidentiality aspects.

No less important in this approach would be the collaboration of IT to educate end users about the content and structure of DWH, DataMart, and OLAP Cubes, so the end user is clear about the available information and the levels of details that can be analized.

Thus, a SSBI solution seems to be the happy world for IT and End Users: IT does not feel that the reports created by users are Shadow Systems, as they depend on the databases maintained by IT, while the long list of reporting requirements decrease, the end users with the SSBI tool can iterate several times to get what they need (no requirements are not understood or misunderstood by IT). Of course, IT will have to monitor closely their databases so that any query created by a user does not produce a degradation of services, and thus help create new database objects that allow optimal implementation of those more complex queries.

Finally, nothing more to add, just to say that the trend today with the adoption of SSBI approach is illustrated by the interest of companies and their wide range of products offered, for example, we have Microsoft (PowerPivot), SAP (BusinessObjects Explorer), IBM (Cognos Express), Information Builders (WebFOCUS Visual Discovery), and Targit, MicroStrategy and SAS Institute, representing the segment of pure BI system providers.

According HP Alpha End-of-Life Roadmap, the support for Tru64 UNIX AlphaServer stops in 2012

Most probable is that your systems on the AlphaServers boxes are running silently without important operational support. However, such situation will change in the future without the official support of HP and without spare parts. Add to this that each time there is less availability of Tru64 UNIX specialists.

Maybe the main problem with the Tru64 UNIX AlphaServer systems is regarding to suffer hardware and configuration problems due to the age of the systems. In the coming years, spare parts for Alphaservers should be a real problem in order to maintain normal levels of availability of the system running on such technology, because buying spare parts should be difficult and expensive.

Are you prepared to continue using Tru64 UNIX AlphaServer today and in the near future?

The recommendation is to have a clear Roadmap for the continuity of the system running under TRU64 UNIX Alphaserver. The roadmap will depend of each particular case, however the most typical solutions are: migrate to another platform (Linux for example) or run your systems on an AlphaServer virtualized software. Both solutions should use modern hardware like Intel x64. However, depending on the particular case, an analysis of the PROS and CONS of each solution must be put over the table.

Interesting should be to know some aspects of the utilization of the Tru64 UNIX AlphaServer in your company. Important points to take in account are:

Main server purpose: Application Server, Web Server, Database Server
Programing Languages
Databases
Installation Date
Replacement plans: Migration to Linux, Emulation, Just retirement
HW support: Contract with 3^rd party to provide spare parts and services. Own spare parts?
SW support: Own or Contract with a 3^rd party.

El soporte de HP para Tru64 UNIX AlphaServer termina el año 2012

Lo más probable es que sus sistemas en las maquina AlphaServers se están ejecutando perfecto silencio, sin un apoyo operacional importante. Sin embargo, esta situación va a cambiar en el futuro sin el soporte oficial de HP y sin piezas de repuesto. Añádase a esto que cada vez hay menos disponibilidad de especialistas Tru64 UNIX.

Tal vez el principal problema con el sistema AlphaServer Tru64 UNIX es con respecto a sufrir problemas de hardware y configuración debido a la edad de los sistemas. En los próximos años, las piezas de repuesto para AlphaServers serán un verdadero problema para mantener los normales niveles de disponibilidad del sistema que se opera bajo esta tecnología, porque la compra de piezas de repuestos será difícil y costosa.

¿Está usted preparado para continuar con Tru64 UNIX AlphaServer hoy y en el futuro cercano?

La recomendación es tener un plan claro para mantener la continuidad del sistema que opera bajo Tru64 UNIX Alphaserver. El plan de trabajo dependerá de cada caso particular, sin embargo las soluciones más típicas son: migrar a otra plataforma (Linux, por ejemplo) o bien ejecutar sus sistemas en un software de AlphaServer virtualizado. Ambas soluciones deberían utilizar hardware moderno como Intel x64. Sin embargo, dependiendo del caso particular, un análisis de los pros y contras de cada solución se debe poner sobre la mesa.

Interesante seria conocer algunos aspectos de la utilización de AlphaServerTru64 UNIX en su empresa. Puntos importantes a tener en cuenta son:

• El propósito principal del servidor: Servidor de aplicaciones, servidor web, servidor de base de datos
• Los lenguajes de programación
• Bases de datos
• Fecha de instalación
• Los planes de remplazo: la migración a Linux, la emulación, dar de baja
• Soporte HW: Contrato con la terceros para proporcionar repuestos y servicios. Partes y piezas propias de repuesto?
• Soporte SW: personal propio o el contrato con una 3 ª parte.

Self-Service Business Intelligence (SSBI).

Se podría definir como una herramienta que ayuda al Data Analytics permitiendo a los usuarios acceder y trabajar con información corporativa para realizar sus propias consultas y reportes sin mayor dependencia del departamento IT.

Es ampliamente conocido el conflicto que se produce entre un depto. IT y los usuarios finales, primeramente respecto a las necesidades de información que los usuarios finales solicitan a IT y la lenta respuesta de este, lo cual conduce a largas listas de espera para satisfacer tales requerimientos. Es así como desde hace mucho tiempo los usuarios finales han recurrido al uso de algunas herramientas que les permitan al menos satisfacer sus necesidades en forma autosuficiente. En este sentido el extendido uso de Excel, es el ejemplo más claro de cómo muchos usuarios han suplido la lenta (y a veces nula) respuesta del dpto. IT a sus requerimientos.

Este conflicto ha sido caracterizado por el termino Shadow IT o Shadow Systems (Sistemas o TI en la sombra), para señalar que los diferentes departamentos comienzan a producir sus propias soluciones apoyados por herramientas orientadas a usuario final que terminan en algunos caso por construir estos Sistemas en la sombra los que se caracterizan por no estar bajo control y administración del dpto. IT.

En el tema de Business Intelligence también se cae en este conflicto pero más bien intensificado por los tiempo en que vivimos, donde los requerimientos de información y análisis de datos son muy cambiantes y además requerir información ahora, pues mañana pude ser muy tarde para tomar una decisión empresarial importante.

En la evolución de los sistemas BI, siempre ha habido herramientas de usuario final que le permiten a estos crear sus reportes de análisis, sin embargo, el continuo cambio al que estamos enfrentados ha hecho que los DWH y DataMart que inicialmente se diseñaron queden cortos para la actual demanda de información de análisis, que no solo se basa en los datos almacenados en esos DWH y DataMart, sino que también necesita incorporar otros tipos de datos externos poco estructurados y/o sujetos al cambio continuo.

Así, ha surgido el enfoque y tendencia del SSBI. La idea, en general de las diferentes herramientas ofrecidas en el mercado, es que tanto el dpto. IT como los usuarios finales se vean beneficiados (No queremos peleas en que el Dpto. IT odia, por ejemplo, el uso de Excel por parte de los usuario finales, y que estos critiquen al dpto. IT por su lentitud o nula respuesta a sus requerimientos).

De este modo, una buena solución SSBI debería ofrecer funcionalidades fáciles de utilizar por un usuario final para crear variados reportes y gráficos de análisis basados en fuentes de datos corporativos y otros datos ad-hoc en que las fuentes de datos son externas y de características muy especiales.

En este escenario, el departamento IT se concentra en mantener una buena infraestructura y servicio de acceso a sus bases de datos DWH, DataMart, Cubos OLAP, dejando que los usuarios finales desarrollen sus reportes con datos controlados por IT y externos manipulados por el usuario. A la vez, IT puede dar facilidades para mantener un repositorio centralizado con los reportes generados por los usuarios, y encargarse de los tema de seguridad y confidencialidad.

No menos importante, en este sentido seria la colaboración de IT en educar a los usuarios finales sobre el contenido y estructura de los DWH, Datamart y Cubos OLAP, de manera que el usuario final tenga claro los niveles de profundidad en los que puede llegar hacer análisis.

Así, una solución SSBI parecer ser el mundo feliz para IT y Usuarios finales: IT no siente que los reportes creados por los usuarios son Shadow Systems, ya que dependen de las Bases de Datos mantenidas por IT, a la vez que baja la presión de las largas listas de requerimientos de reportes, y los usuarios finales con la facilidades de uso de su herramienta SSBI pueden iterar varias veces hasta llegar a lo que necesitan (no hay requerimientos no entendidos o mal interpretados por IT). Por supuesto, que IT tendrá que monitorear más de cerca sus BD de manera que cualquier consulta creada por un usuario no signifique una degradación de los servicios, y por lo tanto colaborar creando nuevos objetos de BD que permitan la óptima ejecución de aquellas consultas más complejas.

Para finalizar, nada más que agregar que la tendencia de hoy en día por la adopción del enfoque SSBI queda de manifiesto por el interés de las empresas y por su amplia oferta de productos de esta naturaleza por parte de los mayores actores en el rubro, como es el caso de Microsoft (PowerPivot), SAP (BusinessObjects Explorer), IBM (Cognos Express), Information Builders (WebFocus Visual Discovery). Por otro lado, también tenemos a los proveedores de sistema BI puros tales como Targit, MicroStrategy y SAS Institute.