Cómo crear un embudo de datos efectivo para filtrar la información que necesitas

En 2022, se generan diariamente 2.5 quintillones de bytes de nuevos datos en todo el mundo. Si bien parte de estos datos serán útiles para el análisis, puede ser difícil y consumir mucho tiempo ordenarlos. Al crear un embudo de datos efectivo, podrás filtrar de manera más fácil los datos que necesitas.

¿Qué es un embudo de datos?

Un embudo de datos se refiere a la forma en que limitas la cantidad de datos que permites en tu repositorio maestro de datos.

Una buena forma de entender un embudo de datos es compararlo con los embudos de contratación que una herramienta de recursos humanos aplica cuando utiliza software para examinar los currículums de los solicitantes de empleo. Los recursos humanos ingresan los requisitos para un puesto vacante en un software de análisis que filtra los currículums entrantes y crea un embudo de datos más pequeño de solicitantes para un puesto específico. Esto permite que los recursos humanos y los gerentes de contratación se concentren en tareas más importantes en lugar de hacerlo manualmente.

El filtrado también funciona en los datos. Por ejemplo, una empresa de ciencias de la vida que estudia una molécula en particular para su potencial en la lucha contra enfermedades eliminó todas las fuentes de investigación de datos entrantes que no mencionaban la molécula por su nombre. Los objetivos eran ahorrar almacenamiento y procesamiento y llegar a conclusiones más rápidamente. Aunque la eliminación de todos esos datos superfluos funcionó para esta empresa, controlar un embudo de datos es un acto de equilibrio entre cuántos datos necesitas en comparación con cuántos puedes permitirte almacenar y procesar.

¿Cómo decides qué datos son importantes?

El alto costo de almacenamiento y procesamiento, ya sea interno o en la nube, está obligando a las empresas a evaluar cuántos datos necesitan para el análisis empresarial.

En algunos casos, decidir qué datos descartar es fácil. Probablemente no quieras el ruido de los saludos de red y máquinas en tus datos, pero decidir qué datos relacionados con el tema excluir es más difícil. También existe el riesgo de que los equipos de análisis puedan pasar por alto una información importante debido a los datos excluidos.

Por ejemplo, utilizando los datos que normalmente recolecta, un minorista del Reino Unido podría no haber descubierto que las amas de casa realizaban la mayoría de sus compras en línea mientras sus esposos estaban fuera en juegos de fútbol.

Ejemplos como este, de información inesperada pero impactante, son la razón por la cual los grupos de TI y de negocios deben ser cuidadosos al tomar decisiones sobre cuánto estrechar el embudo de datos entrantes.

3 mejores prácticas para controlar un embudo de datos

1. Resalta los casos de uso que tus análisis están respaldando y los datos que crees que necesitan

Esto debe ser un ejercicio de colaboración entre TI/ciencia de datos y los usuarios finales. ¿Deseas incluir quejas de productos en las redes sociales cuando estás analizando tus datos de ventas e ingresos? Y si estás estudiando tasas de enfermedades en tu área de servicios médicos en Nueva York, ¿te importa lo que sucede en California?

2. Determina qué tan precisa deben ser tus análisis

El estándar de oro para la precisión de los análisis es que alcancen al menos un 95% de precisión en comparación con las conclusiones que los expertos humanos en el tema obtendrían, pero ¿siempre necesitas un 95%?

Tal vez necesites un 95% de precisión si estás evaluando la probabilidad de un diagnóstico médico basado en ciertas condiciones de salud de los pacientes, pero un 70% de precisión podría ser suficiente si estás pronosticando cómo serán las condiciones climáticas dentro de 20 años.

Los requisitos de precisión tienen un impacto en el embudo de datos, y es posible que puedas excluir más datos y estrechar tu embudo si solo estás buscando tendencias generales a largo plazo.

3. Prueba la precisión de tus análisis de forma regular

Si tus análisis demuestran una precisión del 95% al implementarse por primera vez, pero disminuye al 80% con el tiempo, tiene sentido revisar los datos que estás utilizando y recalibrar el embudo de datos.

Tal vez haya nuevas fuentes de datos disponibles que no estaban disponibles originalmente y deberían utilizarse. Si agregar estas fuentes de datos amplía el embudo de datos, pero aumenta los niveles de precisión, vale la pena el costo.

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Big Data, allí encontraras muchos artículos similares a Cómo crear un embudo de datos efectivo para filtrar la información que necesitas , tenemos lo ultimo en tecnología 2023.