Apesar do sucesso comercial e da crescente presença dos aplicativos de ensino de idiomas, ainda há pouca informação disponível sobre os reais resultados obtidos por quem aprende com esse método de aprendizado. A Babbel se preocupa em oferecer transparência sobre como estudantes que se dedicam podem melhorar suas habilidades de conversação. É por isso que recentemente nos associamos a um time de especialistas de aprendizado de idiomas estrangeiros da Michigan State University (MSU), do qual o Dr. Shawn Loewen (à dir.) faz parte. O estudo desenvolvido por esses pesquisadores concluiu que, de modo geral, os participantes tiveram uma melhora em suas habilidades de conversação, bem como seus conhecimentos de gramática e vocabulário após utilizarem a Babbel durante cerca de 12 semanas.
O que diferencia a Babbel de outros aplicativos de ensino de idiomas e de vocabulário é o foco dado ao desenvolvimento das habilidades orais em situações práticas e cotidianas. Acreditamos que nosso método permite aos usuários adquirir confiança na hora de se comunicar em um novo idioma em situações do mundo real — e isso não apenas quando estão em um nível avançado, mas já logo após as primeiras lições. Para determinar a eficácia do método da Babbel e descobrir formas de continuar melhorando, costumamos realizar pesquisas com linguistas que estudam a aquisição de um segundo idioma. Em um projeto recente, meus colegas da Babbel e eu tivemos o privilégio de trabalhar com Daniel Isbell, estudante de doutorado, e com o Dr. Shawn Loewen, diretor do Programa de Estudos de Segundo Idioma da MSU.
Recrutamos universitários da MSU que têm o inglês como língua nativa para estudar espanhol com a Babbel. No início do projeto, as pessoas que participaram do estudo fizeram testes que avaliaram sua proficiência oral em espanhol, bem como seu conhecimento de vocabulário e gramática. Depois de cerca de 12 semanas estudando espanhol com a Babbel, quem concluiu o projeto refez os mesmos testes. Como grupo, é possível perceber ganhos estatisticamente significativos em proficiência oral, conhecimento de gramática e/ou vocabulário. As melhoras obtidas pelos universitários foram proporcionais ao tempo investido no uso do aplicativo. 96% das pessoas que utilizaram a Babbel por, pelo menos, 10 horas obtiveram melhores resultados nos testes de gramática e vocabulário. E 73% tiveram melhoras em suas habilidades orais. Por enquanto, o relatório completo do estudo está disponível neste link (em inglês). No entanto, os pesquisadores da MSU planejam publicar seus resultados em um periódico acadêmico.
Infelizmente, esse tipo de colaboração entre uma instituição acadêmica e um software comercial de ensino de idiomas ainda é pouco comum. Conversei com alguns dos coautores do estudo para descobrir o que eles tinham a dizer sobre o trabalho com a Babbel e, é claro, sobre os resultados de suas pesquisas.
De onde veio o interesse de vocês em estudar o aprendizado de idiomas a partir de aplicativos?
Dan: O que realmente me interessou foi perceber que havia pouca pesquisa acadêmica sobre o aprendizado de idiomas nesse contexto, apesar de centenas de milhões de pessoas recorrerem a aplicativos com essa finalidade, algumas das quais de forma exclusiva. Quando se trata de aplicativos comerciais amplamente utilizados, a quantidade de estudos acadêmicos rigorosos como o nosso é ainda menor. Por outro lado, como qualquer pessoa interessada na ciência do aprendizado de idiomas, eu não conseguia evitar meu ceticismo diante das afirmações feitas por algumas empresas, propagando a eficácia e a velocidade de aprendizado que seus aplicativos ofereciam. Por que então não tentar preencher essa lacuna e testar tais alegações?
Shawn: De modo geral, no campo da aquisição de um segundo idioma, os pesquisadores não costumam estudar a eficácia de produtos comerciais. Em parte, acho que é porque os aplicativos de idiomas não são vistos como sérios o suficiente para justificar um trabalho acadêmico.
Este projeto é um exemplo incomum de colaboração entre uma instituição acadêmica tradicional e um aplicativo de idiomas para realizar um estudo rigoroso dos resultados obtidos pelo uso de tal plataforma. Para a Babbel, o que esse estudo tem a oferecer é bastante útil: graças a ele, pudemos obter insights que serão levados em consideração por nossa equipe de produtos para reforçar a motivação dos usuários do aplicativo e ajudá-los a criar hábitos bem-sucedidos. Para vocês, quais são os benefícios desse trabalho conjunto?
Shawn: Do ponto de vista da pesquisa, uma das principais vantagens de trabalhar com a Babbel foi o acesso que tivemos a informações relativas ao tempo de aprendizado dos participantes e à sua forma de estudo. Sem a Babbel, não teríamos conseguido acompanhar com precisão a quantidade de tempo que os alunos gastam no aplicativo, a frequência com que o acessam nem as lições que fazem.
De um ponto de vista mais pessoal, foi muito interessante entrar em contato com a perspectiva interna de uma empresa de ensino de idiomas. Pesquisadores geralmente desprezam afirmações que consideramos ser exageradas sobre a rapidez e a facilidade com que alguém pode aprender um idioma. Por outro lado, do ponto de vista comercial, é difícil conseguir clientes para o seu produto se você não disser que ele é realmente eficaz. De todas as formas, e embora eu ainda seja bastante cauteloso com relação a certas afirmações que escuto por aí sobre aplicativos de ensino de idiomas, concordo que estudar um idioma é melhor do que não estudar nada.
Dan: Gostei muito do fluxo de trabalho que conseguimos estabelecer com relação aos dados dos participantes. Tivemos acesso a análises precisas da Babbel sobre essas pessoas. Ao mesmo tempo, conseguimos manter durante toda a pesquisa, e de forma exclusiva para a MSU, as medidas objetivas correspondentes (vocabulário, gramática e os resultados do teste de conversação). Isso foi realmente fundamental para garantir a independência e o rigor do estudo. O fato de a Babbel ter apoiado a independência dos pesquisadores foi fantástico.
No geral, os participantes deste estudo apresentaram uma melhora em sua proficiência oral, o que foi confirmado por uma pontuação mais alta em um teste chamado Oral Proficiency Interview (versão para computadores). Como vocês definiriam proficiência oral?
Shawn: Eu diria que proficiência oral é a capacidade de ter uma conversa com um falante do idioma.
Dan: Acho que a melhor forma de pensar sobre esse tema é analisar “o quanto você pode fazer com o idioma”. Pessoas com alta proficiência conseguem lidar com uma variedade de tarefas e situações (mais simples ou mais complicadas) sem muita dificuldade.
Este projeto foi incrivelmente valioso para as equipes de produtos e idiomas da Babbel. Os resultados nos permitem rastrear o uso do aplicativo pelos participantes considerando uma medida externa de proficiência oral. Isso nos permitiu ir além do feedback que costumamos obter de nossos usuários. De um modo geral, é verdade que as habilidades de conversação são mais difíceis de desenvolver e avaliar do que as habilidades de leitura, escrita e compreensão oral? Se sim, por quê?
Shawn: As habilidades de compreensão e expressão oral são mais difíceis de desenvolver por serem usadas em tempo real. Ou seja, os estudantes não podem parar para pensar sobre o idioma que estão usando. Isso precisa acontecer de forma meio que automática. Já com relação à leitura e à escrita, os estudantes dispõem de mais tempo para pensar naquilo que estão lendo ou que desejam escrever. Esse tempo extra nos permite pensar nas regras que conhecemos ou em qualquer outra informação que tenhamos sobre o idioma.
Dan: As habilidades de conversação são, certamente, as mais difíceis de ser avaliadas. Um dos motivos é prático: a avaliação requer um investimento maior em recursos, seja gravando um áudio para uma análise posterior, seja contratando um profissional treinado capaz de avaliar imediatamente cada teste de fala. Outro desafio relacionado à expressão oral é capturar seu lado interativo. Na maior parte do tempo em que falamos, estamos conversando com pessoas que não só respondem nossas perguntas, mas que também nos ajudam a construir um diálogo. Capturar tudo isso em uma situação de teste é bastante difícil. Já para avaliar nossa compreensão escrita, por exemplo, a simples leitura de um pequeno artigo já proporciona uma boa representação de como nossas habilidades podem ser utilizadas no mundo real.
Em média, os participantes do estudo usaram a Babbel por 9,6 horas durante cerca de 12 semanas. Alguns participantes que estudaram menos do que isso conseguiram melhorar sua pontuação em conversação, gramática e vocabulário, enquanto outros que estudaram mais do que isso não obtiveram melhoras nos três quesitos. De todas as formas, ficou evidente que o tempo de estudo dedicado à Babbel está relacionado a um melhor desempenho em vocabulário, gramática e conversação. O que pode explicar essa variação?
Dan: Para uma resposta simples, basta dizer que uma pessoa não é igual à outra: cada uma tem diferentes habilidades, experiências e comportamentos quando se trata de aprender um idioma. Além disso, as pessoas têm diferentes capacidades de memória: algumas se lembram de coisas com mais facilidade do que outras. As pessoas também se diferem no que diz respeito a habilidades auditivas. Aprender novos sons da fala, especialmente para adultos, é uma tarefa complicada — mesmo assim, algumas pessoas costumam ter menos problemas que outras.
Também é importante lembrar que vários participantes do nosso estudo tinham alguma experiência prévia com o espanhol. Além de ser a língua estrangeira mais ensinada nos EUA, o espanhol é o segundo idioma mais falado no país, depois do inglês. Assim, ao fazerem as lições da Babbel, os participantes que já tinham alguma experiência no idioma foram capazes de despertar ou reforçar algumas habilidades adormecidas. Isso pode explicar por que eles tiveram ganhos de aprendizado mais impressionantes.
Outra descoberta interessante que o estudo nos proporcionou diz respeito aos níveis de motivação dos participantes e à forma como essa motivação parece influenciar seus resultados de aprendizagem. De modo geral, o que podemos dizer sobre o impacto da motivação no progresso de alguém que está aprendendo um idioma alunos ou usando o aplicativo?
Shawn: A motivação tem sido considerada um ingrediente muito importante para o aprendizado bem-sucedido de um idioma. Isso me parece ainda mais relevante quando o estudante decide recorrer a um aplicativo para aprender de maneira autônoma. Como não contamos com nenhum professor ou com um grupo de colegas que nos obrigam a estudar, precisamos buscar uma motivação intrínseca para conseguirmos ir adiante.
Dan: Muitos dizem que a motivação é uma das maiores influências na aprendizagem de um idioma. Isso não é uma surpresa — e é bom ressaltar que isso se aplica também ao aprendizado de idiomas baseado em aplicativos. Quando estamos estudando um idioma, é muito importante que consigamos levar nosso plano adiante. Quando estamos motivados, costumamos desenvolver melhores hábitos e ter mais disciplina para aprender um idioma.
Shawn: Para mim, uma das maiores surpresas desse estudo foi descobrir que um aplicativo de idiomas é capaz de ajudar seus usuários a desenvolver alguma proficiência oral (habilidade de conversação). Eu nunca fui tão cético quanto alguns colegas pesquisadores, mas ainda assim duvidava que a Babbel, ou qualquer outro aplicativo, pudesse de fato ajudar seus usuários a desenvolver sua capacidade de fala. Nesse sentido, contar com uma avaliação reconhecida e de alto padrão como a Oral Proficiency Interview da ACTFL foi muito importante para mim. A princípio, eu acreditava que os usuários seriam capazes de ter algum progresso em seu conhecimento de gramática vocabulário. No entanto, esse tipo de conhecimento nem sempre é muito útil na hora de se comunicar oralmente. Afinal, nem sempre temos tempo para pensar nas regras ou explorar nossa memória em busca de vocabulário.
Gostaria de agradecer pelo tempo que vocês reservaram para esta entrevista.