The number pad

Como parte de las actividades de Converciencia , fui parte de un Taller de Datos que buscaba compartir herramientas y métodos de análisis de datos. En el taller que impartí nos enfocamos a dos métodos que a mi gusto son muy útiles a la hora de analizar gran cantidad de datos: Análisis Factorial (PCA) y Análisis Cluster. Como ejemplo de Análisis Factorial, utilizamos los datos de la evaluación de graduandos del Ministerio de Educación  de Guatemala.  Esta evaluación es administrada a todos los estudiantes que se gradúan de nivel medio. Es una evaluación que mide competencias en matemática y lenguaje. Dentro de los datos tomados por el Ministerio de Educación, se encuentra una serie de variables que miden diversos aspectos de cada uno de los estudiantes. Se tiene al rededor de 200 variables que miden desde el tipo de vivienda, la localidad donde viven, la educación de los padres, y otros factores que pudieran influir en el rendimiento de los alumnos. Con esto rea...

El ser humano siempre ha intentado predecir el futuro. El misticismo, la fortuna y la astrología han sido reflejo del deseo del humano de ver el provenir. Hoy en día tenemos otras herramientas para predecir el futuro. La ciencia provee, de alguna manera, una ventana al futuro por medio de utilizar leyes naturales y las leyes de la lógica para realizar inferencias. Por ejemplo, al soltar una piedra a la orilla de un puente, podemos predecir que la piedra caerá, esto debido a la Ley de la Gravedad.   Sin embargo, para muchos ámbitos de la vida aún no poseemos leyes naturales que puedan describirlos a cabalidad. Los terremotos, huracanes y la economía son algunos ejemplos de fenómenos que no podemos predecir del todo. Si bien es posible describirlos de una manera más certera, aún no poseemos un entendimiento de dichos fenómenos para poder formular leyes naturales como en la física o química. En el caso de las elecciones, no poseemos una teoría general que nos permita predeci...

La ciencia de datos es una herramienta que ha venido a revolucionar el mundo actual. Cada vez tenemos acceso a más y más datos, los cuales son generados cada segundo por medio de nuestras interacciones en las redes sociales, así como transacciones en el mundo real. Tradicionalmente las encuestas han sido los principales indicadores de intención de voto para elecciones. Sin embargo, es posible utilizar la ciencia de datos  para obtener y analizar tendencias de la población de una manera complementaria a las encuestas.  Muchas veces las encuestas son objeto de crítica y de incredulidad, debido a que pueden presentar datos inesperados, y a veces hasta inconsistentes. Es necesario recordar que en este aspecto, las encuestas presentan dos funciones: la recolección de datos y la inferencia, a partir de dichos datos, del comportamiento de toda la población. Esto se realiza con cierta significancia estadística, lo cual quiere decir que siempre se está sujeto a un error debi...

A mediados de este año tendremos nuevas elecciones en Guatemala. Las elecciones siempre son una excelente oportunidad para realizar investigación. Son sucesos que generan mucha expectativa y atención, y por ende, una buena fuente de datos y un muy buen laboratorio para experimentar modelos. Para las elecciones anteriores, realicé un modelo de proyección  que estimaba los resultados de la primera vuelta. Utilizando datos de las encuestas publicadas, hice un modelo utilizando Cadenas de Markov, el cual arrojó datos, con un mes de anticipación, con un margen de un 3% de los valores obtenidos en la primera vuelta.  Para estas elecciones, he decidido realizar otro análisis, esta vez un poco más a detalle. Para esto, he dividido el proceso en tres partes: Minería de datos Análisis de datos Proyección  Minería de Datos En este artículo describiré un poco de la primer parte del proceso. Antes de pensar en modelos de proyección, es importante considerar...

Con el inicio del mundial me dediqué a jugar un poco con datos para realizar modelos de predicción de los encuentros. Ha sido una buena experiencia para pensar más en lo que en realidad significa realizar modelos de predicción, así como para ponerle más entusiasmo al torneo. En primer lugar, es importante hablar sobre lo que significa predecir  o proyectar  un resultado. Es imposible predecir el futuro como tal, sin embargo, es posible crear modelos que den una tendencia hacia algún resultado. Modelos determinísticos se basan en leyes fundamentales para modelar fenómenos. Por ejemplo, en la física, los modelos de movimiento de los cuerpos ofrecen trayectorias teóricas que describen su movimiento. En la práctica, estos modelos dan resultados aproximados de las trayectorias, debido a errores de medición, incertezas, y demás errores presentes en los parámetros y variables presentes. Por esto, dichos modelos presentan un modelo con cierto margen de error . Con métodos más p...

Many people say we are in the information era, but it seems that we are passed this. Nowadays, information is within everyone's reach, about everything and as much as we want. Data is not the issue anymore, at least most of the time. The real issue is  how to analyze the data.  It seems that having information is not the problem now, but actually having too much  data. One of the places in which we can find too much data are social networks. The richness of social networks is that they are a continuous flow of interesting data, what I like to call social data .  Social data is so rich as you can extract information from it in so many ways. One is to analyze what people express over a specific topic on social media. To this end, I developed  a way to identify the most important ideas found on a stream of user comments. Basically an algorithmic summary tool.  With a data set of a few tens of user comments, it is easy to grasp the general fe...

The presidential election is just few days away and this is the perfect time to jump into the prediction game as many others had ( Nate Silver , Sam Wang ,  Drew Linzer , and others). One way to estimate the outcome of the election results is to use data from polls. Many factors can be taken into consideration when performing a projection, such as historical trends, media coverage, debates, etc., but the advantage of considering polls is that it gives a data that is chronologically close to the desired event. We can think about the election as a guessing game: How much does each candidate measure  on election day? We are measuring  each candidate on the population on election day and polls give a good source of information on how this measurement is currently changing. It is important to realize that these measurements are dynamic  and get affected by events.  Every time big polls are published, knowing the current measurement makes it to change . Th...