Deficiência comunicacional em interface conversacional: Avaliação de sucesso no atendimento com um Chatbot

Resumo

Chatbots são basicamente, interfaces conversacionais que buscam reproduzir com assertividade e naturalidade, conversas de texto antes realizadas somente entre humanos. Utilizado com frequência para automatizar atendimentos e esclarecimentos de dúvidas, o uso do chatbot vem se popularizando nas mais diferentes áreas, mas esbarra muitas vezes na qualidade das respostas e na falta de solução. Neste artigo, buscou-se avaliar o contexto de 319 conversas de uma grande empresa do setor financeiro para avaliar o sucesso de suas respostas e verificar se a classificação apresentada pelo chatbot (respondida / não respondida) estava de acordo com a análise contextual. Como resultado, foi possível verificar grandes disparidades entre o índice de sucesso apresentado pelo chatbot e sua real classificação baseada no contexto da conversa. Em decorrência desse fato, foram propostas melhorias no sistema para que se atingisse uma melhor experiência e usabilidade no design desta interface conversacional.