- Os mesmos dados podem produzir resultados diferentes. 57 pesquisadores analisaram um mesmo conjunto de dados e, para as quatro questões de pesquisa estudadas, chegaram a resultados que, em alguns casos, apontavam para direções opostas.
- As escolhas feitas durante o delineamento do estudo e a análise dos dados têm impacto. A maneira de definir e medir as vraiáveis utilizadas na pesquisa teve influência relevante nos resultados.
- Isso não significa que a ciência não seja confiável. Ao reunir os resultados de diferentes análises, os pesquisadores encontraram respostas gerais para duas das quatro questões investigadas, embora uma delas ainda tenha apresentado evidências mais sugestivas do que conclusivas.
A confiabilidade da pesquisa científica depende não apenas dos dados utilizados, mas também das decisões tomadas ao longo de uma investigação. É possível, portanto, que pesquisadores capacitados analisem as mesmas informações e encontrem resultados e cheguem a conclusões diferentes. Foi justamente essa possibilidade que um grupo internacional de pesquisadores decidiu colocar à prova.
Confiabilidade da pesquisa científica é testada com os mesmos dados
Para realizar o estudo, 57 pesquisadores independentes receberam o mesmo conjunto de dados e quatro questões ainda sem respostas definitivas na área de negócios internacionais. Cada um realizou sua própria análise, tomando decisões sobre como trabalhar com as informações disponíveis.
A base utilizada reunia informações sobre mais de 2.100 empresas japonesas e mais de 26 mil subsidiárias que atuavam em 155 países entre 1991 e 2009. A colaboração envolveu pesquisadores de 41 instituições e foi a primeira iniciativa desse tipo na área de negócios internacionais. Publicado na Journal of International Business Studies, o artigo reúne pesquisadores de 20 países e tem entre seus autores Jorge Carneiro, pesquisador da FGV EAESP.
O resultado revelou uma diferença importante entre as análises. Nenhum dos pesquisadores utilizou exatamente a mesma forma de trabalhar com os dados. Além disso, para as quatro questões investigadas, diferentes analistas encontraram estimativas distintas. Isso significa que a análise de um único pesquisador poderia gerar uma conclusão bastante diferente da análise de outro.
O que pode aumentar a confiabilidade da pesquisa científica?
Apesar das diferenças, o estudo trouxe uma conclusão importante: resultados diferentes não tornam a ciência incapaz de produzir conhecimento confiável. Quando os pesquisadores reuniram as diferentes análises, foi possível identificar um padrão convergente de resposta para duas das quatro questões em investigação. Em uma delas, porém, os autores consideram que as evidências ainda foram mais sugestivas do que conclusivas.
Outro resultado considerado positivo foi a relação entre as expectativas teóricas dos pesquisadores e as evidências empíricas encontradas. Foi interessante notar que os pesquisadores pareceram ajustar suas expectativas a priori depois de observar os dados, em vez de simplesmente buscar resultados que confirmassem aquilo que já pensavam, o que sugere capacidade de reflexão.
Para os autores, isso reforça a importância de uma ciência mais aberta. O estudo defende que expectativas teóricas, escolhas metodológicas, dados e códigos utilizados nas pesquisas sejam disponibilizados de forma transparente, permitindo que outros pesquisadores compreendam e avaliem os caminhos que levaram aos resultados. No caso deste estudo me particular, os dados e códigos utilizados pelos diversos pesquisadores estão disponíveis publicamente.
O trabalho mostra que reconhecer a influência das escolhas individuais não significa abandonar a busca por evidências confiáveis. Pelo contrário, comparar diferentes análises pode ajudar a separar aquilo que depende das decisões de um pesquisador daquilo que permanece consistente ao considerar diferentes caminhos metodológicos.
Assim, o principal aprendizado do estudo é que a confiabilidade da pesquisa científica pode ser fortalecida quando a produção do conhecimento é mais transparente, colaborativa e aberta à comparação de diferentes perspectivas.
Leia o artigo na íntegra.
