The Babbel Blog

language learning in the digital age

Como a Babbel criou um teste de inglês on-line

Posted on dezembro 21, 2017 by

A parceria entre Babbel e Cambridge English traz a avaliação de idiomas para a era digital


 
 
Ben, nascido no Reino Unido, é Gerente de Projetos de inglês na Equipe de Didática da Babbel. Ele é um dos especialistas em idiomas que criam e otimizam nossos cursos. Além de ser um experiente professor e avaliador de inglês, tendo trabalhado em países como Alemanha e Espanha, Ben se diverte aprendendo os idiomas mais diversos e mais distantes do inglês, incluindo suaíli e tonganês. Neste artigo, ele escreve sobre como Babbel e Cambridge English, especialistas na avaliação de idiomas, uniram seus esforços para criar o Babbel English Test…
 

A Babbel já fornece uma plataforma para aprender idiomas on-line que ajuda as pessoas a se comunicarem com  confiança em um novo idioma em diferentes situações do dia a dia após pouco tempo de uso. Já faz um tempo, no entanto,  que queremos ir além e oferecer aos nossos usuários os meios para testar suas novas habilidades de inglês. Foi por essa razão que recentemente nos unimos ao  Cambridge English – com que 5 milhões de pessoas fazem um exame de idiomas anualmente – para desenvolver o Babbel English Test.
No campo do ensino e da certificação de inglês, o Cambridge English é reconhecido mundialmente por oferecer avaliações de qualidade, enquanto a Babbel possibilita o aprendizado de um novo idioma em qualquer lugar e a qualquer hora. O co-fundador da Babbel, Thomas Holl, explica: “Nossos objetivos como empresas são complementares: proporcionar uma experiência de qualidade para quem quer aprender idiomas. Então, para nós, parecia perfeito combinar o inigualável nível de conhecimento em avaliações de idiomas do Cambridge com a expertise da Babbel na aprendizagem de idiomas on-line!”
O resultado? Babbel English Test, em parceria com Cambridge English, já está disponível! É possível fazer o teste inteiramente on-line, oferecendo aos nossos usuários a oportunidade de avaliar com precisão suas habilidades de leitura e compreensão oral em inglês e certificar os níveis A1 a B1 e superior. O resultado é exibido em um certificado personalizado com foto, que pode ser incluído em seu CV ou compartilhado nas redes sociais e profissionais.
Ao longo da última década, a aprendizagem e a avaliação de idiomas on-line cresceram paralelamente. Agora é possível fazer muitos dos exames de inglês mais reconhecidos através de computadores – embora apenas em centros de teste especialmente designados para tanto – e os exames de papel tradicionais foram ficando pouco a pouco no caminho. O enorme potencial de uma avaliação digital por um preço justo, de alta qualidade e facilmente acessível era óbvio, mas a Babbel também percebeu que precisava de um parceiro com a experiência certa para  garantir que este teste atinja os padrões de alto nível. E essa empresa é Cambridge English.
Protótipos da primeira versão
No início do processo, decidimos criar o protótipo de um teste de nível A1 (iniciante) curto e simples, uma ideia de como a Babbel trabalharia com Cambridge e o modo como cada empresa poderia contribuir. Mais importante ainda, queríamos saber como as pessoas que aprendem um novo idioma conosco avaliariam a experiência em geral. Juntamente com os profissionais de Cambridge que trabalham com as habilidades de escuta e leitura, criamos um teste de 37 perguntas de nível A1 para avaliar essas habilidades.
Para nós que trabalhamos na Equipe de Didática da Babbel, obter o feedback de quem aprende com a Babbel já seria essencial para aprimorar constantemente o nosso conteúdo. Então, no final do protótipo A1, pedimos aos candidatos do exame que respondessem a uma enquete. Alguns comentários eram esperados, por exemplo, que a grande maioria achou o teste fácil demais. Isso é bastante normal no nível A1. No entanto, também descobrimos que uma grande parte dos estudantes não entendia o que A1 significava. Isso ocorre porque os nossos cursos são baseados nos níveis do CEFR. Para consertar isso, explicamos o que o nível significa dentro da descrição de cada curso.
Decidir fazer um teste, no entanto, especialmente um que avalia se uma pessoa atingiu ou não um nível específico de inglês, pode ser difícil se não houver a certeza de qual nível se pretende alcançar. Então usamos esse feedback para montar um modelo que abrangeria uma série de níveis ao invés de oferecer um único exame por nível. Isso significa que quem faz os nossos testes não precisa se preocupar com a pré-avaliação do seu nível, como seria o caso com os exames de nível individual.
Babbel English Test Certificate
 
Outro tema importante no feedback foi – surpreendentemente – que as pessoas gostaram de fazer o exame. Obviamente não posso falar por todos, mas quando eu fiz testes de idioma tradicionais no passado, sempre os achei bastante estressantes – jamais diria que foram divertidos. O que descobrimos, no entanto, é que as pessoas realmente gostaram da experiência de fazer este teste on-line, no conforto da sua própria casa e no seu próprio ritmo. Na verdade, várias pessoas comentaram que elas até gostariam de um teste mais longo.
 
 
Desenvolvendo o teste
Depois dessa experiência,  estávamos prontos para criar um teste mais abrangente, que avaliasse as habilidades dos níveis A1 a B1 e superior, seguindo um novo modelo de teste que desenhamos em colaboração com Nir Golan, o Product Owner Sênior da Babbel para Novas Iniciativas Empresariais. Ele também ajudou a avaliar o  esforço necessário para os engenheiros da Babbel construírem os vários modelos que tínhamos projetado. Afinal, quando um teste é on-line, a equipe de criação de conteúdo é apenas uma das várias equipes envolvidas.
Para esta iteração, as Equipes de Escuta e Leitura de Cambridge recolheram conteúdo para os vários níveis. Para determinar quais assuntos deveriam ser testados, eu recolhi o conteúdo de centenas de lições progressivas de inglês da Babbel para que nossos parceiros de Cambridge pudessem saber exatamente o que seria esperado dos nossos estudantes de inglês em termos de vocabulário e gramática nos vários níveis do CEFR, de acordo com o currículo da Babbel. Depois disso, a equipe da Cambridge chamou escritores especialistas em conteúdo de teste para conceber perguntas de acordo com o conteúdo da Babbel.
No entanto, também se utilizou outro conteúdo – aquele previamente utilizado em outras avaliações de Cambridge – que foi devidamente ajustado. Esse ajuste consiste em monitorar as respostas a essas perguntas para garantir que elas realmente estão avaliando com precisão o nível para o qual elas foram elaboradas e são adaptadas conforme necessário. Ao incluir esses chamados itens-âncora, pudemos comparar as respostas a essas perguntas com as respostas às novas perguntas para garantir com segurança que o Babbel English Test avalia de forma precisa os candidatos.
Ao longo de todo o processo, aprendi muito sobre avaliação de idiomas e sobre quanta reflexão e trabalho são necessários para desenvolver um exame justo e preciso. Na verdade, isso me levou a apreciar todos aqueles exames de alemão que eu fiz no passado e que até então eu não gostava…
Desde o lançamento do teste, estivemos trabalhando na sua otimização. Por uma questão de segurança e validez, implementamos um sistema de verificação de identidade para assegurar um processo de avaliação mais transparente, e monitoramos o feedback que recebemos dos candidatos para observar como eles se sentiamm sobre os resultados e a variedade de tópicos avaliados. Esperamos expandir o teste nos próximos meses para incluir níveis mais altos, até o nível B2 (intermediário alto). Também começaremos a examinar diferentes modos de avaliação. Um exemplo seria avaliar a contribuição de texto livre, ou seja, queremos expandir o teste para analisar a capacidade de escrita em inglês de quem faz o teste. Então fique de olho aqui no blogue!
No futuro, é completamente concebível que todos os exames de idiomas tradicionais abandonem seus formatos em papel e abracem o futuro digital. Até mesmo a avaliação da conversação acontecerá via webcam. Também é provável que haverá uma gama muito mais ampla de opções de avaliação, com a presença de empresas mais novas, além das tradicionais, criando seus próprios métodos de avaliação. No entanto, com essa mudança, será mais importante do que nunca assegurar que os testes on-line sejam precisos, válidos e tão rigorosos quanto suas versões presenciais. Combinar conhecimento profundo em avaliação com a experiência na aprendizagem de idiomas on-line, como Babbel e Cambridge fizeram, é absolutamente essencial. Também será a chave para continuar moldando a avaliação on-line para melhor atender às necessidades do estudante de idiomas – o que para um teste digital pode ser bem diferente das de uma avaliação tradicional.