Cómo incluimos ChatGPT en Shakers sin comprometer la experiencia de usuario

Con todo el mundo tech hablando de ChatGPT y de inteligencias artificiales generativas, y como Startup en plena fase de crecimiento, que disfruta de relativa agilidad a la hora de desarrollar nuevas features frente a productos más maduros, sentíamos que teníamos una gran oportunidad de probar y aprender a aprovechar esta tecnología.

En situaciones como esta, es tentador incorporar ChatGPT con calzador en el producto, olvidándote de lo más importante, tu usuario y/o tu negocio.

En este artículo explicaré cómo ha sido el proceso de diseño de una nueva funcionalidad en el marketplace de Shakers que integrara ChatGPT, sin olvidar lo más importante: garantizar la mejor experiencia de usuario.

Identificar potenciales problemas en el producto

Realizamos un ejercicio de research en el que analizábamos el User Journey de un freelance a la hora de aplicar y ser contratado para trabajar en un proyecto.

Detectamos 2 puntos en los que los porcentajes de conversión al siguiente paso del journey tenían mucho margen de mejora:

1. Reunión: Tras establecerse una conversación, tan sólo la mitad conseguían reunirse con el cliente (con una media de 3 candidatos por proyecto, nuestro target es conseguir el 100%)
2. Respuesta del cliente: Sólo el 70% de los clientes contestaban a los candidatos que escribían un mensaje de presentación (nuestro target también es el 100%)

Comenzamos una investigación más exhaustiva de los 2 problemas por separado.

Problema 1: reuniones

En este caso, lo teníamos más claro. Semanas antes, habíamos lanzado un MVP para validar el interés en una herramienta propia de gestión de reuniones, pero carente de muchas funcionalidades, como por ejemplo, la confirmación de la asistencia.

Directamente decidimos, que antes de plantearnos introducir funcionalidades complejas, neceistábamos ofrecer una versión más robusta que cumpliese con todas las funcionalidades básicas de la herramienta de gestión de reuniones.

Problema 2: respuesta del cliente

Este era flujo detallado desde que un freelance decide aplicar, hasta que comienza su conversación con el cliente.

Para esta parte del análisis, realizamos un análisis cuantitativo, en el que analizamos una a una las últimas 220 candidaturas, y otorgamos una puntuación del 0 al 3 a la calidad de la interacción del candidato con el cliente, obteniendo los siguientes resultados:

• A mayor calidad del mensaje de presentación enviado por el freelance, mayor era el porcentaje de respuesta del cliente.
• Los mensaje de presentación de más calidad conseguían cerrar más reuniones.
• El 72% de los freelance que acababan siendo contratados, habían iniciado su conversación con un mensaje de máxima calidad.

 

Relación entre la calidad de la interacción y resultado de la candidatura

Entender el por qué de estos problemas

Tras haber identificado correctamente cuáles eran los problemas a los que nos enfrentábamos, continuamos investigando el por qué de estos problemas:

• ¿Por qué nuestros clientes no participan en las conversaciones con los candidatos?
• ¿Por qué algunos candidatos no escriben mensajes de presentación?
• ¿Por qué el mensaje de presentación no es de la máxima calidad?

Para entender estos porqués, realizamos entrevistas con freelance y clientes, de las que obtuvimos la respuestas que buscábamos

1. Los clientes no establecen conversaciones con los freelances porque no consultan la información del candidato, sino que esperan dicha información a través del propio chat.
2. Los freelance no siempre escriben mensajes de presentación de calidad porque ya han dedicado su tiempo y esfuerzo disponibles en los pasos anteriores.

La solución

Comienza la parte divertida, ¿Podríamos integrar ChatGPT para solucionar alguno de los problemas mencionados? Bueno, antes de nada, consideramos que debíamos comenzar por otras soluciones.

En primer lugar, decidimos simplificar el flujo de aplicación, unificándolo con el envío del primer mensaje, y editando el output de dicho proceso. De esta forma, el usuario pasa de “presentar su candidatura” a “construir su mensaje de presentación”. Así, el usuario tiene la percepción de que toda la información que incluya durante el proceso, será visible en su mensaje de presentación al cliente y por tanto, es consciente de la recompensa de su esfuerzo en este paso.

Cambio en el flujo "aplicar a un proyecto"

En segundo lugar, añadimos los proyectos del portfolio como parte del mensaje de presentación enviado por el chat. Así, nos aseguramos que el cliente ve el portfolio del candidato, al llevar esta información a su entorno.

Y, ahora sí, cobra sentido aprovechar ChatGPT

En tercer lugar, decidimos utilizar toda la información que solicitábamos al freelance para posicionar su candidatura: (1) skills técnicas, (2) hitos profesionales, (3) proyectos del portfolio y (4) carta de motivación, junto con otra información que disponemos del proyecto: (1) nombre de la empresa, (2) industria de la empresa, (3) personalidad del interlocutor del cliente para enviar un prompt a ChatGPT y que construya un mensaje de presentación de calidad.

Ejemplo de mensaje de presentación creado por ChatGPT:

¡Hola XXX! ¿Cómo estás? Soy XXX, un desarrollador full stack freelance con experiencia en SQL Server, NodeJS, Next.js, My SQL, y React. Me complace presentar mi candidatura para formar parte del equipo de desarrollo de tu startup puntera, XXX. A lo largo de mi carrera, he trabajado en una variedad de proyectos que me han permitido desarrollar habilidades tanto técnicas como estratégicas. He conseguido algunos hitos destacados, como liderar un equipo de desarrollo en la creación de una aplicación web de gran escala para una importante institución financiera, y también he implementado con éxito una nueva solución de base de datos SQL Server para una startup de comercio electrónico. Como desarrollador full stack, estoy capacitado para enfrentar cualquier necesidad y siempre me esfuerzo por ofrecer soluciones innovadoras y de calidad. Además, tengo experiencia en trabajar en proyectos colaborativos, por lo que puedo garantizar que seré un gran colaborador en vuestro equipo. Me encantaría tener la oportunidad de reunirme contigo para conocer más acerca de tus objetivos y necesidades, y discutir cómo puedo contribuir al éxito de la empresa XXX. ¡Gracias por tu tiempo y consideración, y espero hablar contigo pronto!

Descubrimos que, si la información proporcionada por el usuario es incompleta, los mensajes generados por ChatGPT son muy similares y causan un efecto negativo en los clientes, por lo que decidimos:

• Solicitar un breve mensaje inicial de presentación al usuario.
• Editar el prompt que enviamos a ChatGPT para que reescriba su mensaje, en vez de generarlo desde 0.
• Permitir al usuario enviar su mensaje o la versión reescrita por ChatGPT (ya que muchos usuarios siguen prefiriendo sus capacidades de redacción, que las de una IA 😅)

Resultados

Al momento de escribir este post, todavía no hemos generado suficientes datos como para analizar correctamente los resultados. Actualizaré este post tan pronto como obtenga los resultados.

Estos son los objetivos que creemos que podemos alcanzar con la implementación de estos cambios: multiplicar x2 el porcentaje de proyectos con alguna candidatura seleccionada.

Mejoras esperadas en la conversión del happy path

Conclusión

Puede ser muy tentador lanzarse al uso de tecnologías con mucho hype en el mercado, pero es fácil caer en el error de comprometer la experiencia de usuario de tu producto.

Por ello, es importante mantener el proceso de diseño (problema — solución) en vez de correr como pollo sin cabeza a idear nuevas funcionalidades que incorporen tecnologías como ChatGPT y que te permitan gritar al mundo lo guay, moderno y puntero que es tu producto, sólo porque utiliza una tecnología que está en boca de todos.

En el caso de Shakers, ¿ChatGPT? Sí, pero sabiendo por qué y para qué.

¿Te hemos abierto el apetito de empezar a trabajar de una manera innovadora tus procesos de selección?