Ir al contenido principal

Temperatura de Datos y Acceso

El concepto de temperatura de datos y acceso podemos aplicar lo desde dos componentes y siempre teniendo en cuenta el contexto sobre el cual estamos trabajando:
  • La temperatura de los datos hace referencia al momento en el cual se han producido esos datos, por ejemplo si nos encontramos en medio de una conferencia y alguno de los asistentes realiza una publicación sobre la misma, podemos hablar que ese dato es muy caliente, puesto que acaba de producirse en la línea temporal. En función del negocio en el que nos encontremos, la temperatura de los datos influirá en mayor medida en la toma de decisiones y en los análisis que debamos realizar.
  • Acceso, vendrá determinado por el instante en el que accederemos a los datos, por ejemplo siguiendo el caso anterior, si almacenamos y analizamos un histórico de publicaciones de hace un año, estos serán datos menos calientes, siendo además su volumen mayor que los producidos en el día de hoy.  


            Este factor debe ser tenido en cuenta a la hora de diseñar una solución de Big Data al determinar las necesidades de almacenamiento a corto, medio y largo plazo y por supuesto el coste requerido. La temperatura de los datos inicialmente se puede clasificar en los siguientes tipos:
  • Calientes, datos que se acaban de generar con un % de acceso muy elevado.
  • Templados, datos con un cierto componente temporal que disponen de un % de acceso muy elevado.
  • Fríos. datos básicamente históricos.



            En la siguiente imagen podemos ver una tabla donde para esta clasificación, que nos muestra órdenes de magnitud a tener en cuenta en el tratamiento de los mismos sobre diferentes variables como son el volumen de datos, el tamaño de los elementos, latencia, durabilidad, velocidad de respuesta durante el análisis de datos y el costo previsto para su almacenamiento.


Comentarios

Entradas populares de este blog

Machine Learning soluciones a los problemas

  El aprendizaje automático, o Machine Learning (ML), es una rama de la inteligencia artificial que se centra en la creación de sistemas que pueden aprender y mejorar a partir de la experiencia sin ser explícitamente programados para cada tarea específica. Este campo ha ganado una gran relevancia en los últimos tiempos debido a los avances en el procesamiento de datos, la disponibilidad de grandes volúmenes de información y el incremento en la capacidad de computación y soluciones Cloud. Vamos a explorar algunos conceptos fundamentales de ML, que problemas surgen en la práctica, como podemos limpiar los datos y que técnicas podemos emplear, que es la validación cruzada y algunos desafíos específicos que plantean los algoritmos. Conceptos Fundamentales de Machine Learning Tipos de Aprendizaje Aprendizaje Supervisado : En este tipo de aprendizaje, el modelo se entrena utilizando un conjunto de datos etiquetados, lo que significa que cada ejemplo de entrenamiento viene con una etiquet...

Despliegue de un IDP en Cognito AWS e Integración con una Web en Sprint Boot

  Introducción En este artículo vamos a describir el proceso de despliegue de un proveedor de identidad (IDP) en Amazon Cognito e integración con una aplicación web desarrollada en Sprint. Se detallan las fases necesarias, las tareas principales dentro de cada fase, junto con recomendaciones para asegurar un proceso exitoso. Fases Necesarias Configuración de Cognito En esta fase se creará el pool de usuarios, el grupo de usuarios y las políticas de autenticación y autorización en Cognito. Tareas Principales: Crear un pool de usuarios en Cognito para gestionar las identidades de los usuarios. Definir los atributos de usuario necesarios para la autenticación y autorización. Configurar las políticas de autenticación para determinar los métodos de acceso (por ejemplo, nombre de usuario y contraseña, autenticación social). Crear un grupo de usuarios para agrupar a los usuarios con permisos específicos. Definir las políticas de autorización para determinar los permisos de acceso a los re...

El Falso Mito de la Planificación en Scrum

 Introducción Hoy nos vamos a salir un poco del tema principal y vamos a hablar un poco de Scrum (y el mito para algunos de porque no tienen planificaciones).  Scrum es un marco de trabajo ágil para la gestión de proyectos, ha ganado popularidad en los últimos años debido a su enfoque flexible y adaptativo. Sin embargo, un mito común que rodea a Scrum es que no requiere planificación. Este artículo tiene como objetivo desmitificar esta idea explorando los elementos que apoyan y contradicen el mito de la planificación en Scrum, y llegar a conclusiones sobre la importancia de la planificación en este marco de trabajo. Elementos que Apoyan el Mito Énfasis en el Empirismo: Scrum promueve un enfoque empírico, donde el aprendizaje y la adaptación se basan en la experiencia y la retroalimentación. Esto puede llevar a la idea de que la planificación detallada no es necesaria, ya que los planes pueden cambiar a medida que avanza el proyecto. Ciclos Cortos de Desarrollo: Scrum se basa ...