A explicação para os erros das pesquisas (e por que o Datafolha erra mais)

Trazemos agora a terceira e última coluna na carona da pesquisa de torcidas Datafolha/2014. Inicialmente, abordamos a estranha ocultação do estudo por parte do instituto. Em seguida, mediante a publicação, analisamos seus resultados. Agora vamos mais a fundo: por que estudos do gênero apresentam falhas – e por que o Datafolha prima por potencializá-los?

1)      O limite matemático (e a tal “margem de erro”)

Esqueçam a bobagem do “desconheço alguém que já tenha sido pesquisado”. É possível que você morra sem conhecer respondentes simplesmente porque é impossível entrevistar 200 milhões de brasileiros (a não ser através de um recenseamento demográfico). Para superar adversidades, a ciência estatística elaborou métodos confiáveis com base em espaços amostrais e margens de erro. Não cabe aqui explanar sobre o tema, mas acreditem: há confiabilidade desde que se delimitem amostras relativamente próximas ao universo a ser pesquisado. Três mil entrevistas podem mapear todo o país com erro aproximado de 3 pontos percentuais. Os 4.340 questionários da pesquisa Datafolha (margem de erro: 2 p.p) configuram quantitativo interessante e superior à média verificada. De qualquer maneira, seremos sempre reféns dos limites impostos pela própria matemática.

2)      O limite amostral (por economia ou conveniência)

Conforme dito acima, para que uma pesquisa seja confiável, a amostra precisa ser fiel ao universo pesquisado. Um dos grandes obstáculos é orçamentário, pois não é fácil enviar pesquisadores aos quatro cantos de um país continental e com configuração de torcidas tão plural. Por isto, pesquisas nacionais são coisa “pra gente grande” – como o Datafolha. Mas aí o instituto pisa na bola.

Em consulta ao Sistema de Registro das Pesquisas Eleitorais do TSE*, encontramos exatamente a pesquisa Datafolha a que nos referimos, bem como a listagem de cada município pesquisado.

*Pesquisas que mensuram intenção de voto (como foi o caso) necessitam de registro e publicação no site do Tribunal Superior Eleitoral. Um prato cheio para as análises presentes nesta coluna.

Dinheiro não é problema para o conglomerado. Remunerado em R$ 266.200,00 pela Empresa Folha da Manhã S.A (Folha de São Paulo), o Datafolha visitou 207 cidades em 26 unidades federativas (menos Roraima).  Embora tenha contemplado quase todo o país, nada menos que 2.030 questionários (46,7% do total) foram aplicados no estado de São Paulo! E mais: das 207 cidades, 60 ficavam no estado – o que representa 29% do total. Lembrando que São Paulo concentra apenas 21% da população brasileira e 11% do total de municípios.

Para piorar, capitais de estado sequer foram visitadas, como Palmas ou Aracaju. Outras cidades importantes como Blumenau, Chapecó, Londrina, Campos dos Goytacazes e Juiz de Fora também não foram contempladas.

3)      O limite humano – parte 1 (falhas e manipulações durante o processo)

Aqui, as limitações são impostas pela própria falibilidade humana. Isto porque questionários são passíveis de manipulação e de erros de transcrição por parte dos pesquisadores, sem que os institutos tenham influência direta no fato. Vejam como foi descrito o “sistema interno de controle, verificação, conferência e fiscalização de coleta de dados” da pesquisa:

 “Os pesquisadores envolvidos na realização desta pesquisa são treinados pelo Instituto e recebem instruções específicas para cada projeto realizado. A maior parte da coleta será feita com a utilização de tablet e questionário eletrônico. São checados, no mínimo, 30% dos questionários de cada pesquisador, seja in loco por supervisores de campo ou, posteriormente, por telefone. Internamente, todo o material é verificado e codificado. Antes do processamento final e emissão dos resultados, realiza-se processo de consistência dos dados.”

Ou seja, garante-se a checagem de um número pequeno de questionários. Se uma quantidade superior a esta for alterada, restará um material inócuo para publicação. Reside aí a necessidade de capacitação e de um rigoroso controle da mão-de-obra por parte das empresas do ramo.

4)      O limite humano – parte 2 (o intelecto do brasileiro médio)

A averiguação do questionário completo aplicado pelo Datafolha traz à tona a limitação nas opções de times de futebol a serem votados:

Fig 01

Parece coincidência que os 18 “votáveis” sejam basicamente os que aparecem nos resultados finais da pesquisa?

Fig 02

Soa inacreditável. Por questões que envolvem o fracasso do sistema educacional brasileiro, uma parcela dos respondentes é incapaz de atribuir torcida a clubes não listados no questionário – ainda que exista a opção “Outros”.  O analfabetismo funcional, que gera severas dificuldades na interpretação do que se lê, é uma realidade no país. O problema seria superado caso se possibilitasse votação em uma gama maior de clubes de futebol, o que não acontece.

Diante do exposto, podemos chegar às seguintes CONCLUSÕES com relação à pesquisa Datafolha/2014 (e muitas outras do mesmo instituto):

-A concentração de questionários no estado de São Paulo infla, irremediavelmente, os números das equipes do estado. Este benefício é verificado em maior escala para torcidas da capital (Corinthians, São Paulo, Palmeiras e Portuguesa) do que para as do interior (Ex: Santos, Ponte Preta, Guarani, Botafogo/SP, etc).

-A exclusão de importantes cidades brasileiras prejudica o resultado de torcidas (Ex: Londrina, Chapecoense, etc). Em alguns casos, a ausência de toda uma região (como a zona da Mata Mineira ou certas capitais do Norte e Nordeste) subestimam o tamanho das torcidas do Rio de Janeiro (Flamengo, Vasco, Botafogo e Fluminense).

-A exclusão de clubes do Norte/Nordeste da lista de votação (Ex: Sport, Santa Cruz, Náutico, Ceará, Fortaleza, Remo, Paysandu, etc) oculta o significativo tamanho de suas torcidas. Todas, absolutamente todas, bem maiores do que a torcida da Portuguesa de Desportos.

Um grande abraço e saudações!

Post scriptum (05/08/2014):

1)      Em declaração ao Blog de Mauro Cezar Pereira, o diretor de opinião do Datafolha afirmou que, apesar do excesso de questionários em São Paulo, os dados seriam ponderados de acordo com a composição populacional de cada estado. É certo que haja tal aplicação em algum nível, mas fica a pergunta: se as entrevistas poderiam ser feitas na proporção exata (já que o instituto viajou às localidades), qual a garantia de que a normatização se deu na escala correta?

2)      Alguns leitores chamam atenção para o fato de o questionário clubístico ser executado de maneira “espontânea”, ou seja, dando liberdade para que o entrevistado escolha seu time de sua preferência. Mesmo que a ideia fosse esta, o fato de os 18 clubes citados serem quase que exatamente os únicos listados (com honrosas exceções da Seleção e do Sport) leva a questionamentos quanto à real aplicação do método.

E-mail da coluna: teoriadosjogos@globo.com

Siga @vpaiva_btj

Curtam o blog Teoria dos Jogos no Facebook!

Novamente, esta coluna não seria possível sem a providencial ajuda do amigo Clayton Silvestre

23 comentários sobre “A explicação para os erros das pesquisas (e por que o Datafolha erra mais)

  1. O Datafolha erra principalmente na escolha dos municípios que integram as mesorregiões dos estados auferidos. Todos os Estados Brasileiros são divididos por Mesorregiões e uma pesquisa séria tem que escolher o principal município de cada mesorregião. Se não haver isso, pode existir distorção e até má fé. Exemplo: Norte Central Paranaense – Londrina
    Baixada Santista – Santos Zona da Mata – Juiz de Fora Sertão Pernambucano – Serra Talhada

  2. A verdade que essa pesquisa é para o simples argumento de favorecimento aos clubes de RJ e SP na divisão de cotas da TV. Enquanto o IBGE não colocar essa pergunta no próximo censo, estaremos refém dessas bairrisses.

    1. Nao saberemos o numero exato ,mas acredito nas pesquisas , sabe porque ? Se vc procurar como já procurei por venda de camisas originais , vai perceber esta realidade! O Flamengo é o que mais vende em todo Brasil , depois vem os 4 paulistas , os 3 cariocas junto com os 2 mineiros e os 2 gaúchos .
      Gostaria de ver um censo para ter noção de tamanho real , mas as torcidas maiores sao estas mesmo…

  3. Perfeito. A pesquisa parece ter sido “encomendada” por um grupo de pessoas que orientaram até a manchete a ser dada , falando de “empate dentro da margem de erro”. Gostaria de ver como seria tratada se a diferença de 4 pontos ,que pela margem de erro pode chegar a 8 , caso fosse para o time paulista !!!

    A Lusa é realmente outro enorme mistério. Na última pesquisa feita pelo próprio DataFolha na cidade de São Paulo , o clube não tem nem 100 mil torcedores. Não é preciso ser nenhum grande expert para saber que o grande núcleo de torcedores deles é na cidade de São Paulo. Mas , de acordo com essas duas pesquisas ( cidade de SP/2008 e a última ) , vimos que a Lusa tem 100 mil torcedores na cidade de SP e 1.9 milhão na RM , interior do estado e até mesmo Brasil a fora !!!!

    Só isso já tira por completo a credibilidade

  4. Vendo dessa forma acredito que o vasco passe os times paulistas e até o corinthias ficaria atras no norte e nordeste, cara não consigo entender corinthias com mais torcida que o vasco no norte e nordeste.

    1. Vasco? Torcida onde? nem no rio de janeiro ultimamente, dificil acreditar que o flamengo cresceu nessa pesquisa, nao ganha nada faz tempo, , está sempre lutando pra nao cair, nao paga, nao contrata, nao vende, torcida nao vai ao estádio, caindo subitamente a audiência na tv, a divida maior dos clubes brasileiros, nao mesmo, nao da pra engolir mais essa historia de que o flamengo eh a maior torcida do brasil

  5. Acho que a pesquisa é sim muito falha. Entretanto discordo quando você diz “A concentração de questionários no estado de São Paulo infla, irremediavelmente, os números das equipes do estado.”
    Pelo que eu entendi, os resultados são ponderados pela participação real de cada estado no país. Desta forma, mesmo que São Paulo tivesse 90% dos entrevistados, os votos dados neste estado não ultrapassariam o correspondente os 21% ao que ele tem “direito”.

  6. Se isto acontece com um simples desejo megalomaníaco dos paulistas por simples times de futebol, imagina o que não acontece na esfera politica. Essa persistência dos institutos de pesquisas de São Paulo em querer colocar o sccp regional como a maior torcida do Brasil já esta beirando a loucura, já disse e repito, somente o conceituado e competente I.B.G.E. para pôr fim a este assunto, e quando isto acontecer, os lunáticos paulistas irão ver que seu clube nem na segunda maior torcida do Brasil ele se coloca.

  7. E completando meu comentário: Toda vez que o flamengo está por baixo no campeonato, ou por vez o corinthians ganha algum titulo, entra em ação essas pesquisas oportunas, como se as pessoas fossem débeis. Se o Brasil olhar bem, a única cultura e formação de opinião que o Brasil segue São Paulo, é a cultura industrial.

  8. Muito bom esse site! Nunca entendi como aqui no Norte/Nordeste, em especial, no Maranhão, de onde teclo, o Corinthians aparece na frente do Vasco em número de torcida, só para citar como exemplo. Sou Flamenguista de carteirinha e desde criancinha, nunca usei outra camisa de time que não a do meu Mengão (exceção da seleção brasileira!) mas nunca consegui entender esse ranking de clubes que colocam, repito, o time paulista como segundo colocado. Sem querer ser clubista, mas não precisa ser especialista no assunto para perceber que tem algo errado nesses levantamentos. No Norte/Nordeste, por exemplo, predominam as torcidas de Flamengo, Vasco disparado. O Corinthians perde até para os times regionais. E ainda que o estado de São Paulo seja o mais populoso do país e a torcida corintiana lá seja de fato a maior, mas isso não é condição suficiente para elevar o time a segundo colocado em nível nacional às vezes dando a entender que pode estar até a frente do Flamengo. Acho isso um absurdo! Não sei se por má vontade, má fé, tendenciosidade ou simplesmente ingenuidade, o que duvido muito, só sei que há algo de errado nessas pesquisas.

    1. A torcida corintiana é predominante no Estado de São Paulo, no Sul de Minas e no Paraná (maior que Atlético-PR e Coritiba). Em Santa Catarina, divide com o Flamengo. Negar, o mínimo, a segunda colocação ao Corinthians é imbecilidade ou mau caratismo.

  9. O ideal seria q, nas próximas eleições, além de escolher seu candidato, o cidadão apontasse seu time do coração na urna eletrônica, em uma tela q permitisse TODOS os clubes de futebol do país. Pelo menos teríamos um painel interessante do tamanho das torcidas a partir dos 16 anos. Seria o processo mais confiável.

    Mas eu sei q é utopia.

  10. Eu gostaria de ver uma pesquisa atual somente do meu estado do Rio de Janeiro, pois não vejo a hora da torcida do Fluzão bater a do Vasco, tenho certeza que este feito está próximo, principalmente agora que o Vasco é um frequentador assíduo da segunda divisão. Saudações Tricolores!

  11. Concordo com você em algumas colocações. Mas você foca muito em SP por qual motivo? Porque não focar no que todo mundo sempre diz: que quem aponta o Flamengo como time tem um segundo time, principalmente no Norte/Nordeste? Você cita isso, que não há opção na planilha de votos, mas não fala sobre essa tema sempre polêmico.

    Assim como a Datafolha parece ser bairrista, você pareceu ser flamenguista.

    Agora aos demais amigos, é nítido, basta ver nos jogos em Goiás, Bahia, e Recife, que Corinthians, São Paulo e Palmeiras tem mais torcida nessa região do Brasil que qualquer carioca (exceção o Flamengo), tendo em vista a lotação do setor visitante quando os paulistas jogam nessas cidades. Torcedor pra mim é isso, antes de tudo, consumidor, que acompanha o time quando possível.

  12. Caros,

    sabe o masoquista, que gosta de sofrer ou ser enganado? é você leitor, desse tema, nesse blog (nada contra o seu autor ou o Blog, mas contra o conteúdo da matéria).

    Vou explicar: deixa ver se entendi direito. Nessas pesquisas, a Lusa apareceu, em algumas edições, com contingente igual a Flu, Bota e outros tradicionais de maior força. ABSURDO!!!

    Coríntians e Fla, perderam (ganharam) 10 milhoes de torcedores nos últimos 6 anos. MEGA ABSURDO, COMPLETAMENTE FORA DA REALIDADE.

    E tem gente que ainda lê matérias sobre esse tipo de pesquisa.
    Esqueçam isso. Só mesmo no Censo do IBGE pra ter dados confiáveis.
    E essas margens de erro utilizadas também são irreais.

    Abço.
    Adelmo

  13. O que me intriga mais e ninguém falou nada, é o fato do SCCP aparecer em primeiro lugar no questionário.
    Qual o critério? Ordem alfabética em cada Estado?
    Ninguém percebe que esse critério de disposição dos times no questionário foi escolhido “a dedo”?
    Não precisa ser um grande estudioso para saber que pessoas com um menor grau de instrução tendem a escolher sempre os primeiros nomes de um questionário de pesquisa, principalmente, se elas não estiverem muito ligadas ao assunto (alguém já viu aquelas pesquisas fakes na TV, em que o entrevistador na rua pergunta de determinada pessoa pública que não existe e o entrevistado comenta sobre ela?).
    O fato do SCCP estar em primeiro no questionário simplesmente sugestiona aqueles que não se importam com o futebol a lembrar do nome do time mais falado na mídia e o escolherem na pesquisa, até para não gastar muito tempo com algo que pouco lhes importa.
    Sou paulista e, com certeza, posso afirmar que o questionário foi feito visando SP, mas apenas um clube, o SCCP. Só que mesmo assim, o tiro saiu meio que pela culatra. Deu errado, vai ver que algum estagiário deixou escapar o release do assunto e a pesquisa teve que ser publicada dessa forma.

  14. Complicado. Nem você nem o Mauro parece que entenderam a resposta do instituto. Fizeram mais pesquisas em SP pq tinha pesquisa de governador lá. Óbvio que nacionalmente ponderaram o resultado. Mas, de fato, a pesquisa tem problemas. Do jeito que o questionário foi feito o favorecimento ao Corinthians, e outros na primeira fila, é óbvio. O fato de muitas cidades não terem sido pesquisadas também, principalmente sabendo que em um mesmo Estado a variação é muito grande de influência de torcidas de RJ e SP por exemplo, a depender da região. Mas aí só pesquisando 50000 pessoas para resolver. E outro, insolúvel, muitos torcedores torcem para 2 times, um ‘local’ e outro ‘nacional’. Então, a depender, da fase do time, a pessoa pode escolher um ou outro.

  15. Caro Vinícius Paiva,

    acho muito curioso você questionar e bater tanto nessa pesquisa, sendo que no ano passado você fez um tal de um painel de percepção com critérios simplesmente pífios. Você não demonstrou metodologia nenhuma que seus especialistas usaram e ainda usou médias aritméticas simples, o que não é usado em nenhum trabalho estatístico sério. Concordo com alguns questionamentos que você fez, porém, para um dito economista, você deveria tecer comentários com fundamento.

    O que tem a ver ter mais pesquisados em SP? O que interessa é ter uma amostragem significativa. Pesquisar o dobro de pessoas em determinada região não quer dizer absolutamente nada conquanto as médias sejam normalizadas. E você cita uma subestimação das torcidas do RJ, quando na verdade uma amostragem menor nas regiões que você disse terem sido menos pesquisadas podem deturpar os resultados inflando os números.

    Perceba também que existem torcedores e “torcedores”. Mais importante que quantificar os torcedores, é qualificar os mesmos, e meros simpatizantes inflam os números de torcidas cariocas, já que a pesquisa é fechada.

    Por fim, o que mais me surpreende é você atribuir o número de torcedores de times cariocas fora do RJ ao “charme” e à praia. Conte a história completa, como a influência da mídia carioca em regiões com futebol fraco. Creio que o Almanaque da Rádio Nacional (disponível em .pdf na internet). Ademais, gostaria de saber como você aferiria a vantagem numérica da torcida do Flamengo numericamente, haja vista que ela não se reflete em absolutamente nenhum aspecto verificável (audiência, público no estado, arrecadação, etc.)

    Creio que agora que você não tem mais o blog hospedado no GE, não faz mais nenhuma questão de não escancarar seu flamenguismo.

    Caso se interesse, posso dar uma consultoria gratuita em estatística, já que seu painel de percepção me parece uma piada de mau gosto (tanto o primeiro quanto o segundo)

    abraço
    Rogério

    Prezado Rogério: esperneie à vontade. Grato pela preferência e volte sempre.

    1. Bom, se você acredita que estou “esperneando” ao invés de fazer uma crítica fundada, paciência.

      O que me intriga é que você, uma pessoa que se auto-intitula o mapeador das torcidas, com, segundo você mesmo, “modéstia à parte”, tecer um comentário irônico como esses é no mínimo estranho.

      Aceite, seus posts são tendenciosos e seu Painel de Percepção são ridículos. Inclusive você deveria se envergonhar de tornar esses conteúdos públicos, uma vez que contribui para a reprodução da ignorância.

      Abraço

      Rogério

  16. Todos nos sabemos que pesquisa sobre politica é uma coisa completamente diferente de pesquisas sobre torcida, pois a nivel politico não temos nichos, e sobre torcida sim, tem ruas que tem mais palmeirenses do que Corinthians, em outras tem mais sao paulino e em outra mais Santistas, isso também ocorrem em bairros, cidades e etc. Então fica muito facil direcionar as pesquisas, pois eles sabendo aonde estão determinados nichos de torcedores de um determinado clube, pode-se muito bem, eles fazerem as pesquisas nestes lugares. dando uma imagem distorcida da realidade…Por isto a timemania é a mais correta pois vota quem quer e não ficamos presos a pesquisas encomendadas ou mal intencionada. Vejam vi que aqui a maioria dos que comentaram são do Rio, e vou dizer uma coisa, o Santos é muito prejudicado com estas pesquisas, pois em nenhuma delas são feitas na baixada Santista onde tem mais de 1,500 milhoes de pessoas, somando-se a isto o grande ABC, tambem não entra nas pesquisas e nesta região temos mais de 3 milhoes de torcedores e quem mora aqui em Sampa sabe que nestas regioes é o grande fogo da torcida Santista, ou seja somando-se baixada Santista e o Grande ABC, tem mais população do que Belo Horizonte e ou Porto Alegre… então veja que mesmo assim sendo descartada aonde fica o foco da torcida do Santos estamos empatados com tecnicamente, com VASCO, PALMEIRAS, GREMIO, CRUZEIRO E ETC. ou seja se fossem feita nesta regiões bateria com os resultados da mais fidediguina pesquisa que é a timemania… Compacutui com vcs Cariocas, o Santos tambem é boicotado pela midia bairrista que tem em são paulo…

Deixe uma resposta