Contexto
Gameram es una app social donde gamers encuentran personas para jugar, disponible en todas las Américas. El feed es donde empiezan esas conexiones.
El equipo de Machine Learning había desarrollado cuatro versiones nuevas del algoritmo de recomendación. Las métricas técnicas ayudan a comparar modelos, pero no dicen si el resultado tiene sentido para la persona del otro lado de la pantalla.
Pregunta de investigación: ¿qué hace que un feed sea “bueno” para quienes usan Gameram, y cuál de los cuatro algoritmos se acerca más a eso?
Enfoque
Antes de comparar los algoritmos, hacía falta una vara de medir. Por eso el estudio empezó definiendo criterios con las personas y, solo después, pasó a la evaluación.
Resultado
El equipo de ML pasó a contar con criterios definidos por los propios usuarios para comparar las versiones del feed, además de las métricas técnicas. Los resultados se presentaron en reportes orientados a la decisión para el CPO y el equipo de ciencia de datos.
Algunos detalles se omitieron por confidencialidad.