El origen de los malos resultados con IA

Hoy todos los que trabajamos en innovación estamos parados sobre una arena más o menos parecida.

Los equipos tienen acceso a herramientas similares, todos pagamos los mismos modelos de LLM y accedemos a bibliotecas de prompts parecidas.

Sin embargo, los resultados que se van obteniendo son muy diferentes.

Mientras algunos equipos hablan de un renacimiento creativo; otros reciben una avalancha de ideas homogeneizadas y olvidables, como si todas hubieran salido de la misma persona.

Y la razón no está en qué modelo se utiliza, sino en algo que es muy anterior al arribo de la IA generativa: los cuellos de botella humanos que existen dentro de los procesos en las organizaciones a los que la IA responde de maneras diferentes.

Este es el argumento central de un nuevo working paper, escrito por investigadores de Harvard, Wharton, Northwestern y Columbia recién publicado en el Harvard Business Review.

En lugar de preguntar qué puede hacer la IA generativa, los autores plantean una pregunta más duradera: ¿cuáles son las restricciones cognitivas, sociales y organizacionales que históricamente han frenado la innovación y cómo interactúa la IA con cada una de ellas? Un escudo para blindar tu tiempo Para responderla, sintetizaron estudios empíricos recientes sobre IA generativa e innovación (diversidad de ideas, consumidores simulados por IA, evaluación algorítmica de ideas y análisis posterior al lanzamiento) junto con décadas de investigación sobre creatividad, toma de decisiones bajo incertidumbre y comportamiento del consumidor.

Para cada una de las cuatro etapas analizadas se hicieron las mismas tres preguntas: ¿cuál es la restricción humana subyacente?, ¿cómo la afecta la IA generativa cuando se utiliza de manera ingenua?, ¿y cómo habría que rediseñar el proceso de forma deliberada? La conclusión es importante: algunos de estos obstáculos la IA puede realmente eliminarlos.

Otros los empeora mientras parece estar ayudando.

Y hay algunos que ningún modelo futuro podrá resolver.

En la ideación, por ejemplo, un modelo entrenado para completar frases con las palabras más probables tiende, por diseño, a la respuesta típica.

Una vez que la leemos, quedamos fijados en ella y dejamos de generar las ideas raras que habríamos producido solos.

Y como todos los modelos “beben” de datos parecidos, empresas distintas convergen en las mismas direcciones: sube la productividad individual, baja la diversidad del mercado.

En la evaluación hay otra gran trampa.