“Os números não mentem. Mas os mentirosos fabricam números.” A frase é do ex-presidente da República que foi governador de Minas Gerais, Itamar Franco.

 

E ele tem razão! Manipular dados é uma indústria tão grande quanto a que desenvolve pesquisas. E a culpa não é só dos institutos que as realizam, mas também dos interlocutores que as interpretam com interesses, digamos assim, nem sempre tão claros ao público.

 

Por que as pesquisas “erram” tanto principalmente sobre as eleições e a saúde?

 

Mas há razão para o debate. Números influenciam tomadas de decisões e artigos de jornalistas ávidos por dados que enchem e justificam reportagens. E o que não faltou nos últimos anos foram informações – catastróficas ou otimistas – que rechearam páginas e páginas de analistas e artigos caudalosos na imprensa especializada, desde o bug do milênio (falha dos computadores que traria o caos na virada do ano 2000), até o boom da internet, quando começou a revolução com popads.

 

Grandes previsões significam muito dinheiro e todos prosperam. Afinal, não há muitos dólares, nem felicidade, em análises melancólicas. No final, o bug do milênio não foi a tragédia anunciada e as empresas de internet, e todo mundo sabe o final. A bolha explodiu e os dados de muitos institutos sobre o crescimento do comércio eletrônico para consumidores finais e entre empresas apenas comprovam o óbvio. Quem arrisca a fazer estimativas, está colocando o pescoço na guilhotina. “A única certeza que temos, quando fazemos uma previsão numérica, é que ela está errada”, declara Dario Dal Piaz, na época vice-presidente para a América Latina do Yankee Group.

 

Antes que o interlocutor da frase acima processe o autor deste artigo e os clientes do instituto citado o abandonem, é preciso entender a declaração dentro do contexto, assim como antes de acreditar em um dado é necessário saber a metodologia da pesquisa. No caso do Yankee Group, que no Brasil que teve foco no setor de telecomunicações, Dal Piaz acrescentou que não fornece aos clientes um cenário único quando faz um relatório. Ele trabalhava ao menos com cinco perspectivas, que vão desde um ambiente conservador até um otimista. “Sempre fazemos um tratamento estatístico correto, mas importa pouco”, acrescentou o executivo.

 

“Nossos clientes estão em busca de diferentes visões de futuro.”

 

De fato o que os institutos de pesquisas vendem uma visão privilegiada do amanhã. Nem sempre acertam, é verdade. Mas atire a primeira pedra quem nunca errou. “Se alguém fala que não erra, nem sabe que está errando”, acredita Ruy Mendes, na época diretor-geral da IDC Brasil, um dos mais tradicionais institutos de pesquisa quantitativa do mercado de TI. “Prever o futuro não é um trabalho de quiromancia”, afirmou Alfredo Pinheiro, diretor-geral do Gartner Group Brasil.

 

 

Institutos de pesquisa que fabricam resultados?

 

O problema não é falhar, mas sim como lidar com o erro. Os jornalistas, por exemplo, publicam erratas com letrinhas tão miúdas quanto cláusulas suspeitas de contratos com o consumidor.

 

Alguém tem o hábito de ler erratas?

 

A maioria dos institutos alerta que faz revisões sistemáticas dos seus dados ou, publicam a probabilidade de que aquele dado se confirme. Um erro bastante comum é usar uma informação ad infinitum. As análises mudam à medida que os cenários se alteram.

 

“É um mercado dinâmico”.

 

“Se muda a opinião do consumidor, altera-se o potencial de consumo”.

 

“Eles podem errar, mas erram pouco”.

 

Gartner em novembro de 1999, previu o declínio do e-business. Mas o mesmo instituto engatou-se no louco trem do bug do milênio, fazendo alardes. Na virada do ano 2000, nada ou quase nada aconteceu.

 

As pesquisas podem errar?

 

A credibilidade é o bem que os institutos vendem. Quando a perdem, o negócio vai embora. Veja o caso da Andersen, envolvida nas fraudes fiscais da empresa norte-americana Enron. Uma das mais respeitadas auditorias do mercado virou pó numa velocidade mais rápida que o colapso das empresas de internet. Se errar faz parte do negócio, perder a confiança dos clientes é fatal.

 

Aposta tudo

 

Quando esteve no Brasil, o presidente mundial da Intel na época, Craig Barret, usou uma série de dados sobre o mercado brasileiro de tecnologia, de telecomunicações, de governo eletrônico e de internet banking para passar a mensagem de que o país tinha condições de alçar uma posição mundialmente mais importante naquele período. Quando chegou aos dados de comércio eletrônico fez um comentário. “Eu acho essa previsão muito conservadora”, afirmou para uma plateia de empresários brasileiros naquele momento.

 

Os dados em questão, da IDC Brasil, diziam que o comércio eletrônico brasileiro tinha movimentado 5 bilhões de dólares em 2001 e chegaria a 20 bilhões de dólares em 2006. “Não somos conservadores, mas responsáveis”, responde Ruy Mendes. “Só divulgamos números se conseguirmos defender as evidências.”

 

A polêmica comprova que futebol, eleição e estatísticas são polêmicas.

 

Por que as pesquisas passam longe de alguns resultados?

 

É comum encontrar números diferentes sobre o mesmo assunto em muitos institutos sérios. E não há nada de errado nisso, apenas metodologias e critérios diferentes.

 

Quer um exemplo?

 

Qual a quantidade de pessoas que acessam a internet no Brasil? O Ibope eRatings, divisão do Ibope.com na época, contou com 22,1 milhões de usuários em junho de 2002. A IDC Brasil estimava, no final daquele ano, o contingente de 14,8 milhões.

 

Loucura? Não.

 

O Ibope faz a pesquisa por telefone em 500 residências e considera os acessos realizados de casa, trabalho, cyber cafés e escolas. A IDC Brasil chega a sua estimativa através da base instalada de PCs no Brasil e do número de vendas de computadores.

 

Para construir seus números, os institutos de pesquisas consultam diversas fontes. Para chegar ao total de PCs vendidos no Brasil, a IDC não colhe apenas informações dos fabricantes, consulta também revendedores, grandes empresas e indicadores do desempenho da economia.

 

“Os clientes precisam, com essa massa de informações, traçar suas conclusões”.

 

Veja o que diz um dos consumidores dos produtos destes institutos. “A infinidade de informações que recebemos nos priva da correta compreensão da evolução das tecnologias, dos produtos e dos fornecedores. Precisamos de um grande filtro e um grande conselheiro.”

 

“Quem achar que pode fazê-lo sozinho está enganado ou, no mínimo, ocioso.”

 

Aprenda a entender as pesquisas

 

1) Conheça a metodologia. Um relatório tem pouca utilidade se você não souber as definições contidas no estudo, o universo pesquisado e os critérios usados pelo analista. Muitas empresas, ao venderem suas pesquisas, abrem espaço para que você converse com o analista responsável.

 

2) Antes de acreditar em qualquer dado, faça pelo menos quatro perguntas sobre ele. Você conseguirá saber se ele faz sentido, ou não, muito antes do que imagina.

 

3) Antes de comprar ou acreditar numa pesquisa, conheça melhor a companhia que a realizou. Assim como tudo na vida, há institutos sérios e outros nem tanto. Avalie quanto tempo tem no mercado, qual a credibilidade que conquistou neste período e se suas previsões e estatísticas têm sido coerentes ao longo do tempo.

 

4) Uma pesquisa não vale para a vida toda. Os institutos estimam seus dados baseados em cenários e diversas variáveis. Se eles mudam, os resultados, por consequência, são alterados. Exemplo: ao calcular a demanda de PCs um instituto considera desde informações dos fabricantes, distribuidores e empresas que compram até dados de crescimento do PIB brasileiro, estimativa de expansão do setor de TI. Portanto, colar um número e usá-lo numa transparência para a vida toda é como utilizar dados de pesquisa eleitoral mesmo depois do resultado da eleição. O ideal é saber de quanto em quanto tempo os institutos revisam seus dados.