Um concurso criado pela Netflix, a empresa de locação virtual de vídeos, oferecia US$ 1 milhão a quem conseguisse melhorar o sistema de recomendação de filmes do grupo, e foi encerrado no domingo com duas equipes ainda disputando acirradamente a liderança. O vencedor só será declarado no mês que vem.

» Modelos de inovação aberta exigem planejamento
» Netflix diz que 1 mi de usuários do Xbox usam seu serviço
» Netflix avalia entrega de filmes via Xbox 360

Mas o concurso, iniciado em outubro de 2006, já produziu pelo menos um legado impressionante. Deu forma a carreiras, propiciou a criação de pelo menos uma nova empresa e resultou em diversos estudos acadêmicos. Também alterou as opiniões dominantes sobre a melhor maneira de criar os sistemas automatizados que cada vez mais se encarregam de ajudar as pessoas a fazer escolhas sobre livros, filmes, roupas, restaurantes, notícias e outros bens e serviços que adquirem na Internet.

Os chamados sistemas de recomendação são modelos de computação que preveem o que uma pessoa poderia apreciar com base em uma avaliação estatística das preferências declaradas que ela registra, seus passados padrões de consumo e escolhas semelhantes realizadas por grande número de outras pessoas ¿e tudo isso é tornado possível pela facilidade com que se pode recolher e rastrear dados sobre o uso da Internet.

"O concurso da Netflix será estudado durante anos pelas pessoas que desejam aprender como realizar modelos de previsão estatística", disse Chris Volinsky, um cientista da AT&T Research e líder de uma das duas equipes que terminaram o concurso na liderança.

A maior lição aprendida, de acordo com membros das duas equipes, é sobre o poder da colaboração. Não foi uma única percepção, algoritmo ou conceito que permitiu a elas superar a meta estabelecida pela Netflix três anos atrás: melhorar as recomendações de filmes oferecidas pelo software interno da empresa em pelo menos 10%, nos termos da comparação entre avaliações previstas e avaliações efetivas dos consumidores quanto aos filmes alugados, em uma escala de um a cinco estrelas.

As equipes afirmam que, em lugar disso, a fórmula do sucesso foi reunir pessoas com capacitações complementares e combinar diferentes métodos de solução de problemas. Isso foi se tornando mais e mais aparente à medida que a disputa evoluía. A equipe de Volinsky, BellKor's Pragmatic Chaos, passou muito tempo em primeiro lugar e foi a primeira a superar a marca dos 10% em melhoria. O grupo na verdade representa um coletivo de sete pessoas que representam outras equipes, e seus membros são estatísticos, especialistas em aprendizado por máquina e engenheiros da computação, dos Estados Unidos, Áustria, Canadá e Israel.

Quando a BellKor anunciou no mês passado que havia superado o limiar dos 10% de melhora nas avaliações de recomendação, deu início a uma corrida final de 30 dias, nos termos das regras do concurso, para que os rivais tentassem superá-la. Isso resultou em nova rodada de fusões entre equipes, para os rivais da BellKor, com a criação de um consórcio mundial de cerca de 30 membros, conhecido, apropriadamente, como Ensemble (o conjunto).

Nas últimas semanas, as propostas de melhoria apresentadas pela BellKor e pela Ensemble não paravam de chegar. Poucos minutos antes do prazo de encerramento do concurso, no domingo, a mais recente proposta da equipe Ensemble mostrou ligeira vantagem diante do trabalho da BellKor, no placar de liderança do concurso - por margem de 0,1%.

"O concurso em certo sentido foi uma corrida para unir o maior número possível de equipes", disse David Weiss, que está fazendo doutorado em ciência da computação na Universidade da Pensilvânia e é membro da Ensemble. "A surpresa foi que a abordagem colaborativa funcionasse tão bem, e que tentar todos aqueles algoritmos, codificá-los e uni-los tenha excedido por margem tão larga as nossas expectativas".

Ao que parece, os participantes evoluíram à medida que a disputa evoluía. Quando começou o concurso da Netflix, Weiss era um dos três alunos de quarto ano da Universidade Princeton, em companhia de David Lin e Lester Mackey, a participar de uma equipe chamada Dinosaur Planet. Lin, que se formou em matemática, deixou a universidade para se tornar operador de derivativos em Wall Street.

Mas Mackey, que está fazendo doutorado na Universidade da Califórnia em Berkeley, trabalhando no Laboratório de Inteligência Estatística Artificial, diz que "os interesses que tenho agora foram influenciados pelo trabalho que realizei para o concurso da Netflix".

O software de sistemas de recomendação, aponta Mackey, se tornará uma ferramenta cada vez mais comum para ajudar as pessoas a localizar produtos e informações úteis em meio à explosão de dados e ofertas que disputam sua atenção na Web. "Muitas dessas técnicas se propagarão pela Internet", previu.

Essa é certamente a esperança para Domonkos Tikk, um cientista da computação húngaro que faz parte da Ensemble. Tikk, 39, e três colegas mais jovens começaram a trabalhar no concurso pouco depois que ele foi lançado, e em 2007 se aliaram ao grupo de Princeton. "Quando entramos no concurso da Netflix, não tínhamos experiência alguma em filtragem colaborativa", disse.

No entanto, com base naquilo que aprenderam, Tikk e seus colegas criaram uma empresa, a Gravity, que está desenvolvendo sistemas de recomendação para clientes comerciais, entre os quais sites de comércio eletrônico e uma operadora de telefonia móvel europeia.

Ainda que a equipe da Ensemble tenha conseguido ultrapassar a da BellKor no placar público, isso não faz dela necessariamente a vencedora. A BellKor continua em primeiro lugar, disse Volinsky, e a Netflix contactou a equipe para informá-la do fato no domingo.

E, em um fórum online, outro dos membros da BellKor, Yehuda Koren, que trabalha como pesquisador para o Yahoo em Israel, disse que sua equipe tinha "placar de teste melhor que o da Ensemble", a despeito do que indica do placar público do concurso.

A BellKor vence, então? Certamente ainda não, de acordo com Steve Swasey, porta-voz da Netflix. "Não temos vencedor ainda", disse.

O vencedor, ele afirmou, provavelmente não será anunciado antes de setembro, em um evento capitaneado por Reed Hastings, o presidente-executivo da Netflix. A empresa de locação de filmes não está fazendo uma pausa para beneficiar seus esforços de relações públicas, disse Swasey; a questão é que o vencedor ainda não foi determinado.

O placar do concurso na Web se baseia nos números submetidos pelas equipes, ele explicou. Mas em seguida, os especialistas internos e consultores externos da Netflix trabalham para validar os resultados das equipes, avaliando os códigos submetidos, os documentos de projeto e outros materiais. "É uma questão realmente complexa", disse Swasey.

Na Hungria, Tikk não parecia muito otimista. "Não recebemos qualquer notificação da Netflix", ele declarou em entrevista por telefone. "Por isso, acredito que as chances de que tenhamos vencido são bastante baixas. Mas valeu a tentativa".

Tradução: Paulo Migliacci ME