Los experimentos de negocios, especialmente en formatos digitales como las pruebas A/B, han explotado en la última década, y con buena razón. La experimentación promete el poder del método científico para reducir la incertidumbre: ¿Deberíamos lanzar este producto? ¿Qué mensaje maximiza el involucramiento de los consumidores? ¿Esta herramienta brindará el suficiente retorno sobre la inversión cuando la lancemos con todos los empleados?
Sin embargo, esa promesa tiene un precio que pocos líderes empresariales están preparados para pagar, y como evangelistas de la experimentación tenemos parte de la culpa. En nuestro entusiasmo no dedicamos el tiempo suficiente describiendo las inversiones organizacionales necesarias para aprovechar el pleno potencial de esta herramienta.
Los líderes empresariales suelen tener la impresión de que la experimentación es una brillante caja negra que simplemente se conecta a la organización: Entran los datos, las estadísticas hacen su magia y alguien en su equipo de ciencia de datos le brinda una cifra. Esta mentalidad de plug-and-play puede ser costosa, al ocultar resultados desordenados en un paquete agradable, que construye confianza infundada en datos y estrategias defectuosas.
He aquí un escenario que recientemente enfrentamos: imagine pasar medio año y varios millones de dólares en una serie de experimentos internos para probar rigurosamente las nuevas tecnologías de un vendedor potencial. A medio camino, el vendedor reporta resultados positivos y significativos para el negocio, por lo que pide concluir anticipadamente la prueba. Usted hace un equipo interno de científicos de datos analice los diseños, y descubre que el vendedor le dio poder estadístico insuficiente a las pruebas, los datos están llenos de confusiones y los resultados no son estadísticamente significativos. ¿Qué hacer? En nuestra experiencia, los costos hundidos y el razonamiento optimista del jefe lo llevan a tomar de todos modos la oferta del vendedor.
Si los experimentadores verdaderamente queremos traer el rigor de la ciencia a los negocios, tenemos la responsabilidad de abrir la caja negra, desglosar las estadísticas y complejidades operacionales, y sumar exactamente cuánto le costará a la organización aprovechar por completo esta herramienta. He aquí una lista para implementar experimentos empresariales.
Asegúrese de que pueda medir. Los experimentos dependen de la medición. Si no puede medir apropiadamente la atribución de un anuncio digital respecto a una venta, por ejemplo, no tendrá suerte haciendo un experimento para descubrir qué anuncios son realmente efectivos.
Pague por un buen traductor. Muchas veces, los experimentos quedan en manos de mercadólogos digitales o responsables de producto que carecen de la fluidez estadística para implementar y analizar apropiadamente los experimentos. La pericia estadística es necesaria para que funcione la experimentación. Igualmente importante es la habilidad de traducir. Cuando su “experto en estadística” está discutiendo un análisis de poder, por ejemplo, él o ella deberían ser capaces de usar términos que reflejen su apetito de riesgo para falsos positivos o negativos, el precio que usted está dispuesto a pagar financiera o temporalmente y un impacto lo suficientemente significativo para cambiar su estrategia. Al contratar, asegúrese de evaluar la habilidad de comunicar estos conceptos, a todos los colaboradores.
Encuentre una caja de arena para jugar. Antes de experimentar con algo importante, pruebe hacer una simple prueba A/B en un entorno que usted controle por completo. Por ejemplo, envíe una encuesta a los colegas: Invite a la mitad con un correo electrónico y a la otra mitad con otro, y vea qué versión brinda más correos abiertos y clics. Resuelva a mano el análisis de poder estadístico, analizando las implicaciones cada input, incluso si tiene que buscar en Google cada uno de los términos. Planee su implementación con tanto detalle como sea posible, considerando qué podría salir mal y escribiéndolo, de forma que posteriormente pueda llenar las brechas. A continuación, haga el experimento, reúna los datos y analícelos. Su experimento será burdo y sus resultados probablemente resultarán inútiles, pero la experiencia lo preparará para entender el éxito y cómo diseñar de mejor forma futuras pruebas.
Esparza experimentos en múltiples canales. La experimentación empresarial es como la inversión de riesgo, no como el trading intradiario. Las grandes “victorias” podrían ser pocas y muy espaciadas, pero esos ganadores normalmente tendrán un gran impacto. Conforme se mueve hacia experimentos más significativos, ensámblelos y láncelos como “portafolios". Dirija varios tratamientos a la vez, si su muestra lo permite. Si no, planee varios experimentos en diferentes canales, que corran ya sea simultánea o secuencialmente bajo la misma sombrilla estratégica. Encuadrar sus pruebas como un portafolio protege a cada una de presiones organizacionales para obtener resultados “positivos” a través de la manipulación.
Abrace el sistema de amigos. Como parte del esparcir sus apuestas, comprométase a experimentar con alguien más en una parte diferente de la organización. Aprenderán más de los errores y fracasos del otro que de cualquier libro de texto. Ayudarán a esparcir el conocimiento experimental a lo largo de la organización.
Hágalo publico. Cada vez más, los científicos de diversas disciplinas “prerregistran” sus experimentos, publicando diseños detallados y análisis planeados antes de un lanzamiento. Esta práctica ayuda a detectar errores, compartir aprendizaje y limitar a los experimentadores que pudieran estar tentados a manipular los resultados. Aunque la ventaja competitiva le prohíbe a la mayoría de los negocios el compartir de esta forma, debería haber pocas objeciones a llenar una plantilla con lo que planea hacer, cuándo y por qué, y publicarla internamente, como lo haría con un presupuesto anual.
Calcule su tiempo. En la primavera del 2018, Pandora publicó los resultados de un experimento respecto a una cuestión fundamental para sus negocios: ¿Qué nivel de publicidad empuja a subscribirse a los usuarios que no pagan, en lugar de simplemente dejar el servicio? El experimento requirió 21 meses para completarse y una muestra de 35 millones de usuarios. El conocimiento experimental, incluso en entornos de prueba relativamente más sencillos, como los productos digitales, requiere tiempo y escala.
Ajuste los incentivos. Como cualquier nueva iniciativa, los experimentos suelen fracasar debido a un “rechazo de órganos” culturales. Requieren tomar riesgos de corto plazo y soportar fracasos, todo al servicio del aprendizaje de largo plazo. Pocas empresas le aplauden el fracaso, incluso cuando de hecho se está arriesgando en bien del equipo. Si es serio acerca de la experimentación, necesita ajustar los incentivos empresariales tradicionales. Enlace los bonos a resultados en periodos multianuales o, mejor aún, a mediciones que muestren adherencia a procesos racionales de toma de decisiones. Además, para aligerar el prospectivo dolor de un experimento “fallido”, invite a las partes interesadas a lo largo de la organización a apostar sobre los resultados de cada experimento; incrementará el involucramiento, mientras que reúne retroalimentación sobre la intuición organizacional.
Los negocios se tratan de tomar decisiones operativas, de marketing y de producto en condiciones de incertidumbre. El método científico puede ayudarnos a reducir esa incertidumbre, a un precio –financiero, operacional y cultural– que las organizaciones deben estar dispuestas a pagar en un periodo de años. Entre más acepten esto los dueños de productos, directores generales, ejecutivos e inversionistas, será más probable que cosechen los beneficios de traer la ciencia al negocio.