Científico de datos Preguntas de entrevista & Respuestas

Respuesta modelo

El equipo de marketing gastaba $200K al mes en captación de usuarios en 5 canales, sin una imagen clara del ROI por canal. Construí un modelo de atribución multitoque con cadenas de Markov, analizando 6 meses de datos de recorrido del usuario. El análisis reveló que un canal que consumía el 30% del presupuesto aportaba solo el 8% de las conversiones, mientras que la búsqueda orgánica estaba infravalorándose en un factor de 3x. Presenté los hallazgos al CMO con visualizaciones claras. Reasignaron $60K mensuales del canal de bajo rendimiento, lo que aumentó la tasa de conversión global un 22% en el trimestre siguiente.

Respuesta modelo

Construí un modelo de segmentación de clientes que recomendaba eliminar un nivel del programa de fidelización. El vicepresidente de Éxito del Cliente se opuso con fuerza: ese nivel incluía a sus defensores más activos. En lugar de defender el modelo en abstracto, profundicé en los datos y comprobé que el vicepresidente tenía razón en parte: esos clientes tenían un NPS alto pero una contribución de ingresos baja. Revisé el análisis para incluir proyecciones de valor de vida del cliente e ingresos por referidos atribuibles a la defensa de marca. El modelo actualizado mostraba que valía la pena mantener ese nivel, pero necesitaba reestructurarse. Redujimos el coste del programa un 40% sin perder el segmento de alta defensa. La lección principal: los modelos capturan lo que se mide, y en ocasiones el interlocutor sabe lo que usted no está midiendo.

Respuesta modelo

Puse en producción un modelo de previsión de demanda para una empresa de comercio electrónico que se comportaba bien en backtesting, pero se degradó gravemente en las tres semanas siguientes al lanzamiento. La causa raíz fue la deriva de datos: los datos de entrenamiento cubrían períodos estables, pero lanzamos justo antes de que un competidor realizara un cambio de precios importante que alteró los patrones de compra. Implementé un pipeline de monitorización que rastreaba en tiempo real las distribuciones de variables de entrada y las distribuciones de predicciones del modelo. Cuando la deriva supera un umbral, el modelo se reentrena automáticamente con datos recientes. También añadí un retorno a heurísticas simples cuando la confianza cae por debajo de un umbral. La experiencia me enseñó que desplegar un modelo es solo la mitad del trabajo: la monitorización y la degradación controlada son la otra mitad.

Respuesta modelo

El equipo directivo quería entender por qué nuestro motor de recomendaciones sugería a veces productos aparentemente aleatorios. Tenía 15 minutos en la reunión de dirección. En lugar de explicar el filtrado colaborativo con matemáticas, usé una analogía: 'Imagine un vendedor de librería que recuerda todo lo que ha comprado cada cliente. Cuando usted entra, piensa en clientes similares a usted y recomienda lo que esas personas amaron.' Luego mostré 3 ejemplos reales de usuarios donde las recomendaciones tenían todo el sentido una vez que se veía la lógica de usuarios similares. También mostré 2 casos de fallo y expliqué que los estábamos resolviendo con filtrado basado en contenido como complemento. La dirección aprobó presupuesto adicional para el equipo de recomendaciones a raíz de esa presentación.

Respuesta modelo

Depende del contexto del problema y de la asimetría de costes de los errores. Para un modelo de detección de fraude donde los casos positivos son el 0.1% de los datos, primero elegiría la métrica de evaluación correcta: la precisión global no tiene sentido aquí, así que usaría el AUC de precisión-exhaustividad, F1, o una función de coste personalizada que pondera los falsos negativos por su coste de negocio. En el lado de los datos, probaría SMOTE para sobremuestreo sintético, submuestreo aleatorio con métodos de conjunto (como EasyEnsemble) o muestreo estratificado. En el lado del modelo, usaría pesos de clase para penalizar la clasificación errónea de la clase minoritaria. Algoritmos como XGBoost gestionan bien el desequilibrio con scale_pos_weight. También consideraría enfoques de detección de anomalías: si la clase minoritaria es suficientemente rara, enmarcarla como detección de anomalías en lugar de clasificación puede funcionar mejor. La clave es evaluar en un conjunto de reserva que refleje la distribución de clases del mundo real.

Respuesta modelo

El sesgo es el error derivado de supuestos demasiado simplistas: un modelo lineal que intenta ajustar una relación cuadrática siempre se equivocará, independientemente de los datos de entrenamiento. La varianza es el error derivado de la sensibilidad a las fluctuaciones en los datos de entrenamiento: un polinomio de alto grado ajusta perfectamente los datos de entrenamiento pero falla con datos nuevos. El compromiso: reducir el sesgo suele aumentar la varianza, y viceversa. En la práctica, comienzo con modelos simples (sesgo alto, varianza baja) y solo aumento la complejidad cuando las métricas de validación lo justifican. Las técnicas de regularización (L1, L2, dropout, parada temprana) permiten aumentar la capacidad del modelo controlando la varianza. La validación cruzada es esencial para estimar dónde se sitúa en el espectro sesgo-varianza. En cuanto a los conjuntos: el bagging reduce la varianza (Random Forest), mientras que el boosting reduce el sesgo (XGBoost). Elijo según si mi modelo base se ajusta poco o en exceso.

Respuesta modelo

Primero, defino la hipótesis y la métrica principal. Para un nuevo flujo de pago, la hipótesis podría ser 'el nuevo flujo aumenta la tasa de finalización de compra'. La métrica principal es la tasa de conversión, con métricas de guardia como los ingresos por sesión y el tiempo de carga de página. A continuación, calculo el tamaño de muestra mediante un análisis de potencia: para un incremento absoluto del 2% sobre una línea base del 10% con un poder del 80% y una confianza del 95%, necesito aproximadamente 15K usuarios por grupo. Aleatorizaría a nivel de usuario (no de sesión) para evitar experiencias inconsistentes. Ejecutaría el test durante al menos un ciclo de negocio completo para capturar los efectos del día de la semana. Para el análisis, utilizaría una prueba z de dos proporciones para la métrica principal y comprobaría los efectos de novedad examinando la trayectoria de la métrica a lo largo del tiempo. También segmentaría los resultados por cohortes clave de usuarios: el nuevo flujo podría ayudar a usuarios nuevos pero perjudicar a usuarios avanzados. Por último, consideraría las correcciones por comparaciones múltiples si se prueban varias métricas simultáneamente.

Respuesta modelo

L1 (Lasso) añade el valor absoluto de los pesos a la función de pérdida, mientras que L2 (Ridge) añade los pesos al cuadrado. La diferencia práctica clave: L1 lleva los pesos exactamente a cero, realizando una selección automática de variables. L2 reduce los pesos hacia cero pero nunca los alcanza, manteniendo todas las variables con una influencia reducida. Uso L1 cuando sospecho que muchas variables son irrelevantes y quiero un modelo disperso e interpretable, algo habitual en conjuntos de datos de alta dimensionalidad como la genómica o el texto. Uso L2 cuando la mayoría de las variables aportan alguna señal y quiero evitar que una sola domine, algo típico en conjuntos de variables bien seleccionados. Elastic Net combina ambas y es mi opción por defecto cuando no estoy seguro: consigue la dispersión de L1 con la estabilidad de L2 para variables correlacionadas. La intensidad de la regularización (lambda) siempre se ajusta mediante validación cruzada.

Respuesta modelo

Primero, resistiría la tentación de empezar a modelar. Dedicaría los primeros 2-3 días al análisis exploratorio de datos: perfilaría cada columna en busca de tasas de valores faltantes, distribuciones, valores atípicos e inconsistencias. Documentaría los hallazgos y los presentaría al propietario de los datos: a menudo puede explicar anomalías que de otro modo desperdiciarían semanas de investigación. Para los valores faltantes, mi enfoque depende del mecanismo: si faltan completamente al azar, la imputación funciona (mediana para numéricos, moda para categóricos, o imputación basada en modelos). Si no faltan al azar, la ausencia en sí misma es informativa y la codificaría como una variable adicional. Configuraría comprobaciones de validación de datos (Great Expectations o similar) para detectar futuros problemas de calidad en el momento de la ingesta. Solo después de establecer un conjunto de datos limpio y comprendido empezaría a modelar, y mantendría el primer modelo simple para establecer una línea base antes de añadir complejidad.

Respuesta modelo

No diría simplemente 'no' ni comprometería la calidad en silencio. Estructuraría el trabajo en capas de valor. Para el viernes, podría desplegar un modelo sencillo de filtrado colaborativo basado en interacciones usuario-elemento: no será perfecto, pero superará las sugerencias aleatorias actuales. Lo presentaría como Fase 1 con las limitaciones claramente documentadas. La Fase 2 (semanas 2-3) añadiría variables basadas en contenido y resolvería el problema de arranque en frío para nuevos usuarios. Describiría qué mejora de rendimiento pueden esperar de cada fase con métricas estimadas. Este enfoque entrega valor real de inmediato al tiempo que establece expectativas para la solución completa. También señalaría que apresurar el modelo completo para el plazo del viernes supondría saltarse la evaluación sin conexión y las pruebas A/B, lo que significa lanzarlo sin saber si realmente ayuda a los usuarios.

Respuesta modelo

Lo señalaría de inmediato, no después del despliegue ni en una retrospectiva. Documentaría el problema con evidencia que mostrara la correlación por aproximación (por ejemplo, la correspondencia del código postal con datos demográficos) y lo presentaría tanto al responsable técnico como a un interlocutor de negocio. Luego probaría el rendimiento del modelo con y sin esa variable. A menudo, eliminar la variable proxy tiene un impacto mínimo en la precisión global, pero reduce significativamente el impacto diferencial entre grupos. Si la variable es genuinamente necesaria para el rendimiento, exploraría técnicas de modelado conscientes de la equidad: posprocesamiento de probabilidades iguales, desensibilización adversarial o calibración entre grupos protegidos. También recomendaría implementar métricas de equidad como parte del pipeline de evaluación del modelo: no solo precisión, sino paridad demográfica e igualdad de oportunidades. El riesgo de negocio de desplegar un modelo discriminatorio (legal, reputacional, ético) supera con creces la ganancia marginal de precisión.

Respuesta modelo

Me tomo en serio el 'no convence': los expertos en el dominio suelen detectar problemas que las métricas no capturan. Primero, pediría ejemplos concretos de predicciones que les parecen incorrectas y buscaría patrones. Causas habituales: el modelo optimiza la métrica equivocada (alta precisión global pero mala calibración), el conjunto de prueba no refleja la distribución del mundo real, o el modelo captura patrones estadísticos que violan la lógica de negocio. Examinaría las predicciones del modelo sobre sus ejemplos concretos usando SHAP o LIME para explicar predicciones individuales. Si el modelo es técnicamente correcto pero viola las expectativas del dominio, puede que necesite añadir restricciones de reglas de negocio o ajustar la función de pérdida para penalizar ciertos tipos de errores con más peso. También comprobaría si hay fuga de datos: una puntuación de prueba sospechosamente alta combinada con escepticismo de negocio es una señal clásica de fuga.