Artigo - WordPress.com

Avaliação de Artigos Científicos em Marketing: Uma Proposição do Comitê Científico
de Marketing da ANPAD (2015-2016)
Autores: Vinicius A. Brei, Salomão A. de Farias, Celso A. de Matos e José A. Mazzon
Resumo
Nesse artigo, o Comitê Científico de Marketing da ANPAD (2015-2016) propõe um conjunto
de reflexões e sugestões para avaliação e elaboração de pareceres para artigos científicos
submetidos aos congressos e aos periódicos científicos de marketing. Analisamos o processo
de submissão e revisão de artigos nos principais congressos – o Encontro Nacional da
ANPAD (EnANPAD) e o Encontro de Marketing da ANPAD (EMA) – e periódicos de
marketing. Mostramos quais são os diferentes papéis e como atuam num processo de revisão
os cientistas da academia brasileira de marketing – autores, editores, revisores, Comitê
Científico e Líderes de Tema da ANPAD. Traçamos algumas sugestões a respeito do
comportamento/postura de um revisor e analisamos quais são os elementos essenciais de um
bom artigo. Por fim, propomos uma grade de avaliação (critérios) com o objetivo de ajudar os
revisores a elaborarem seus pareceres a pesquisas teórico-empíricas, ensaios teóricos e casos
de ensino.
Palavras-chave: Artigos científicos; Pareceres; Critérios; Marketing; ANPAD
TEXTO PRINCIPAL
“Trate todos os manuscritos da mesma maneira que você
gostaria que o seu fosse tratado” (Benos, Kirk, & Hall, 2003)
1. INTRODUÇÃO
A ciência se desenvolve por meio das descobertas científicas e pela avaliação da
qualidade destas por outros cientistas. Nos congressos e periódicos científicos essa avaliação
se dá por meio do processo de avaliação cega (blind review) dos artigos submetidos,
utilizando-se um parecer científico (e sistemático). O parecer científico é um trabalho
voluntário, não remunerado, no qual um pesquisador (o revisor) oferece seu tempo e
conhecimento em prol do avanço do conhecimento científico, ao criticar um artigo de outro
pesquisador (o autor). Quanto mais competentes forem os cientistas envolvidos – autores e
revisores – e quanto mais maduro, detalhado e criterioso for esse processo, maior a chance de
um determinado campo científico avançar. De forma curiosa, em nenhum campo científico
existem regras determinísticas e inflexíveis sobre o que é um bom artigo científico e sobre
como avaliá-lo. Essas regras surgem por consenso, tradição e convenções estabelecidas entre
os cientistas mais experientes de determinado campo. Em seguida, elas são aprendidas e
aplicadas (podendo também ser melhoradas) pelos cientistas mais jovens. No Campo
1
científico do marketing no Brasil também vale essa regra. Tratando-se de uma área do
conhecimento menos madura do que em outros países (especialmente nos Estados Unidos), é
natural que haja menos consenso e mais incerteza sobre o que é um bom artigo científico,
como ele deve ser avaliado, e se o mais importante é a quantidade da produção ou a sua
qualidade (i.e., contribuição concreta para o avanço do conhecimento). Nesse artigo, o Comitê
Científico de Marketing da ANPAD procura contribuir para o avanço do Campo, propondo
um conjunto de reflexões e sugestões para avaliação de artigos científicos em marketing.
A relevância da proposição dessas reflexões para avaliação de artigos científicos é
ancorada em alguns fatos. Primeiro, a ciência num determinado campo científico só avança
com a formação de um relativo consenso – i.e., compatibilidade de cosmovisão – sobre a
distinção entre o que é uma boa e o que é uma má pesquisa. A definição desses critérios é
sinônimo da maturidade científica de uma determinada ciência. Segundo, a definição desse
consenso deve ser baseada na observação de padrões de qualidade internacionais, utilizados
nos melhores congressos e periódicos do mundo. Terceiro, observa-se uma disparidade muito
grande da qualidade dos pareceres dos revisores brasileiros de congressos e periódicos. Os
membros do atual Comitê Científico de Marketing – todos com pelo menos 15 anos de
participação nos eventos científicos e sendo editores e/ou pareceristas dos principais
periódicos brasileiros – percebem essa disparidade habitualmente. Em congressos, em bancas
e mesmo em conversas formais ou informais com Editores, Líderes de Tema e com outros
pesquisadores, nota-se que uma reclamação comum dos autores é a baixa qualidade e a
frequente diferença de qualidade dos pareceres recebidos. Quarto, os pareceristas
(provavelmente os mais juniores) geralmente não têm parâmetros claros e objetivos sobre o
que é um bom parecer ou ainda carecem da necessária experiência nesse processo. Quinto,
muitas vezes as sugestões sobre as melhores práticas de pareceres são sintetizadas em
editoriais de periódicos e/ou em artigos escritos por editores e/ou conselhos editoriais.
Entretanto, essas regras habitualmente se circunscrevem a um determinado periódico e/ou a
um determinado congresso científico (e.g., Kunnath, 2006; Lee & Greenley, 2009; Lepak,
2009; Shukla, 2010). Por último, a relevância da proposição dessas reflexões se dá porque não
identificamos, até hoje, um documento que servisse a tal finalidade para os congressos e
periódicos científicos brasileiros, em especial no Campo do marketing.
Esta proposição para avaliação de artigos no Campo de marketing no Brasil está assim
dividida: primeiro, analisamos o processo de revisão de artigos e os diferentes papéis dos
cientistas na academia brasileira – autores, editores, revisores, Comitê Científico e Líderes de
Tema da ANPAD. Segundo, traçamos algumas sugestões a respeito do
comportamento/postura de um bom revisor. Terceiro, analisamos quais são os elementos
essenciais de um bom artigo. Por fim, propomos uma grade de avaliação (critérios) para
pareceres de pesquisas teórico-empíricas, ensaios teóricos e casos de ensino.
2. O PARECER CIENTÍFICO EM PERIÓDICOS E CONGRESSOS
Nos periódicos científicos nacionais é seguido um processo semelhante àquele
adotado nos principais periódicos internacionais, com algumas diferenças decorrentes da
maturidade científica e do tamanho da comunidade de pareceristas disponíveis. Há um EditorChefe – pesquisador renomado de um determinado campo do conhecimento – que tem a
2
prerrogativa de dar três destinos possíveis para um paper: desk-rejection, encaminhamento
para os pareceristas ou aceite imediato (este algo raríssimo). O desk-rejection é a rejeição
imediata de um artigo decorrente de baixa qualidade e/ou inadequação do artigo à linha
editorial do periódico. O encaminhamento aos pareceristas pode ser mediado – nos casos dos
periódicos que recebem muitas submissões e/ou que têm uma linha editorial mais ampla –
pelos Editores Associados. Esses pesquisadores, geralmente com razoável trajetória e
influência num determinado campo científico, são especialistas em áreas temáticas
específicas. A partir de sua experiência, conhecimento do campo e com o auxílio das bases de
dados sobre os autores dos periódicos, encaminha o artigo para dois a quatro pareceristas,
para fazerem a análise pormenorizada do paper. Os pareceristas avaliam o artigo e
comunicam seus pareceres ao Editor Associado, que pode aprovar ou rejeitar o artigo. No
caso de rejeição, ela pode ser com ou sem direito a uma nova submissão. Se for dado ao autor
o direito de nova submissão, ela deve ser feita após os ajustes solicitados pelos pareceristas e
chancelados pelo Editor-Associado. Esse processo ocorre em rodadas (rounds) e em cada uma
delas há a chance de aprovação ou rejeição definitiva do artigo. Não há limite para o número
de possíveis rodadas de revisão, mas dificilmente esse número fica abaixo de duas e acima de
quatro rodadas. Uma representação gráfica dos passos desse processo nos periódicos
científicos pode ser vista na Figura 1.
Figura 1: Passos do Processo de Submissão e Revisão de Artigos a Periódicos Científicos
Autor&submete/revisa&o&
ar/go&
1&e&5&
4&
4&
5&
Legenda:&&
&
&
&
&
&
&
2&e&7&
Ar/go&
rejeitado&
Editor3Chefe:&desk3rejec/on&
(rejeição&sumária),&revisão&ou&aceite&
6&
2a&
(opcional)&
Editor3
Associado&
2&
2b&
3&
3&
2&e&7&
Ar/go&aceito&
Parereristas&
avaliam&ar/go&
&etapa&obrigatória&
&etapa&opcional&
Obs.: os passos 2 a 5 podem se repetir várias vezes, dependendo do número de rodadas (rounds) de pareceres.
Fonte: os autores.
Nos dois principais congressos científicos nacionais de marketing – o Encontro
Nacional da ANPAD (EnANPAD) e o Encontro de Marketing da ANPAD (EMA) – o
processo é um pouco diferente, pois ele é gerenciado não por um Editor e Editores
Associados, mas por um Coordenador de Divisão, um Comitê Científico e por 10 Líderes de
Tema, que compõem a divisão de Marketing e têm um mandato de dois anos. O Comitê
Científico é composto pelo Coordenador de Divisão – eleito por meio dos votos dos membros
da divisão na ANPAD a cada dois anos – e por três membros convidados pelo Coordenador.
3
O Coordenador de Divisão também propõe os nomes dos Líderes de Tema – pesquisadores
com características e papel semelhante ao do Editor Associado dos periódicos à ANPAD. Os
temas são divisões específicas do conhecimento – cujo número é definido pelo Comitê
Científico no início de sua gestão de dois anos – e, habitualmente, devem corresponder ao
estado-da-arte em termos de assuntos principais de uma determinada subárea do
conhecimento do marketing. Os nomes dos membros do Comitê Científico e dos Líderes de
Tema propostos pelo Coordenador de Divisão são propostos em encontro específico com a
Diretoria Nacional e com os demais Coordenadores de Divisões Acadêmicas da ANPAD,
momento em que todos votam pela aprovação ou rejeição dos nomes indicados pelo
Coordenador da Divisão.
Assim como nos periódicos científicos, o processo de revisão de um artigo também
inicia com a submissão dos papers, pelo autor, ao EnANPAD e o EMA. Após a submissão,
cada um dos Líderes de Tema avalia o teor do artigo e o distribui a dois pareceristas, que
foram previamente convidados (e manifestaram formalmente seu aceite, via site da ANPAD)
para compor o corpo de revisores de, pelo menos, um tema específico. Após concluídos, os
dois pareceres são enviados diretamente ao autor, havendo interferência do Líder de Tema
apenas quando há discrepância substancial entre os dois pareceres (ex.: um rejeita o artigo
com notas baixas e o outro aprova o artigo com notas altas). Neste caso, o Líder de Tema
convida um terceiro parecerista ou ele mesmo faz a avaliação do artigo, realizando um
julgamento de minerva sobre o aceite ou rejeição do mesmo. No EnANPAD e no EMA há
apenas uma rodada de revisão, ou seja, o autor não tem chance de reformular seu paper para
nova submissão e apresentação nesses congressos. Por essa razão e, principalmente, pela
maior importância dos periódicos científicos em relação aos congressos, o processo de revisão
de um artigo para um periódico é mais cuidadoso, criterioso e, portanto, mais demorado. Uma
representação gráfica dos passos desse processo nos congressos científicos da ANPAD pode
ser vista na Figura 2.
Figura 2: Passos do Processo de Submissão e Revisão de Artigos nos Congressos
Científicos da ANPAD
1&&
Autor&submete&o&ar,go&
para&uma&área/tema&
Ar,go&rejeitado&
2&ou&5& (por&formato)&
ou&por&parecer&
nega,vo&
ANPAD:&desk7rejec,on&(rejeição&
sumária&por&formato)&ou&envia&para&
pareceres&
2&
2a&
Líder&de&tema&
(realoca&para&
outro&tema&ou&
envia&para&
parecer)&
Legenda:&&
&
&
&
&
&
&
4&
3&
5&
Ar,go&aceito&
Parereristas&
avaliam&ar,go&
&etapa&obrigatória&
&etapa&opcional&
4
Obs.: 1. o passo 2a ocorrerá sempre que o Líder de Tema entender que o artigo foi submetido indevidamente ao
Tema que coordena (por incongruência de tema/método).
2. os passos 2 e 3 podem acontecer uma segunda vez, caso haja discrepância de pareceres dos revisores.
Neste caso, um terceiro revisor será escolhido pelo líder de tema.
Fonte: os autores.
Os critérios de julgamento de um artigo variam de acordo com o periódico científico e
com o congresso. No caso de periódicos, eles sempre têm relação estreita com a sua linha
editorial e com as contribuições apresentadas. No EnANPAD e no EMA são adotadas escalas
de 4 pontos para os critérios de julgamento, que abrangem aspectos como contribuição,
referencial teórico, método, discussão dos resultados, conclusões, forma/linguagem e
qualidade geral do artigo. Ao final, o parecerista sintetiza sua revisão em uma de quatro
alternativas: rejeitar, aceitar em caso de baixa competição, aceitar e aceitar
incondicionalmente. A escolha desta última alternativa significa que o artigo é muito bom e
deve ser aceito independentemente do nível dos demais artigos. As avaliações qualitativas são
transformadas em notas, que determinam o aceite ou a rejeição dos trabalhos. Os melhores
trabalhos são selecionados automaticamente pelo sistema da ANPAD e enviados para o
Coordenador da Divisão, que envolve o Comitê Científico e, dependendo de seu julgamento,
pode também envolver os Líderes de Tema no processo de escolha do melhor trabalho. Um
prêmio é dado ao melhor artigo dentre três finalistas selecionados.
A qualidade de todo esse processo depende, fundamentalmente, de uma pessoa: o
revisor (ou parecerista). O seu trabalho é crucial para a qualidade do processo de revisão e,
em última instância, para a seleção de artigos que contribuam para o avanço científico de um
campo do conhecimento.
3. O TRABALHO DO REVISOR
O processo de parecer científico tem características peculiares em que, de um lado (o
autor) submete um artigo, geralmente resultado de muito esforço e tempo dispendido. A
aprovação de artigos científicos tem, habitualmente, reflexo direto na progressão de carreira e
no reconhecimento do autor pelos pares. Do outro lado, temos o revisor, um pesquisador
convidado pelo Editor, pelo Editor Associado ou pelo Líder de Tema. O revisor faz um
trabalho voluntário, não remunerado, em que coloca seu tempo e seu conhecimento a serviço
do avanço da ciência, de forma praticamente anônima. Ao longo do processo seu nome é
conhecido apenas pelo Editor e/ou Editor Associado ou Líder de Tema, que fazem a mediação
dos contatos anônimos entre os dois lados (autor e revisores), conforme representado nas
Figuras 1 e 2. O poder de aceitar ou rejeitar o artigo está centrado nos revisores, que
praticamente não recebem reconhecimento algum pelo seu serviço voluntário, mesmo que ele
tenha colaborado substancialmente para o aprimoramento do artigo em revisão. Uma exceção
a essa falta de reconhecimento é quando seu nome aparece dentre a lista de pareceristas do
periódico ou do congresso científico e/ou quando ele ganha algum prêmio – algo não muito
comum – pelo(s) parecer(es) científico(s) destacado(s) realizado(s).
O fato do trabalho de revisor ser gratuito e anônimo (protegido pelo processo de blind
i
review) faz com que ele tenha características que o distanciam de um trabalho comum.
Primeiro, a generosidade de utilizar seu tempo e conhecimento geralmente não são
5
reconhecidos à altura, já que seu nome nunca sairá no artigo publicado no periódico ou
congresso. Segundo, a generosidade e o conhecimento do parecista são direcionados a uma
outra pessoa que ele não sabe quem é. Terceiro, possivelmente pela ausência de remuneração
e de reconhecimento público pelo trabalho, o processo de blind review coloca o revisor numa
posição de tentar fazer o parecer o mais rápido possível, muitas vezes de forma descuidada
e/ou desatenciosa. Uma eventual reação negativa ao seu parecer, por parte do Editor, do
Editor Associado ou do Líder de Tema que o convidaram, geralmente, é o único aspecto
coercitivo para evitar pareceres mal elaborados. Entretanto, isso não é uma regra. Por
exemplo, revisores voluntários na área médica ganham créditos para continuar seus estudos a
partir de revisões completas para alguns journals (Allen, 2013). Quarto, o anonimato protege
o revisor de ter que adotar uma atitude de respeito e civilidade que habitualmente adotaria em
outras situações de convívio social em que sua identidade é conhecida. Por fim, a função de
revisor exige uma honestidade de julgamento por vezes delicada, na medida em que – nos
casos em que o revisor também submeteu um artigo para o mesmo periódico ou congresso –
ele está disputando um espaço limitado de publicação. Nesta situação, um parecer muito
favorável pode tirar a possibilidade de publicação de seu próprio artigo submetido, caso ele
receba notas mais baixas do que as que atribuiu em seu parecer.
Ao contrário do que se imagina, o revisor tem vários benefícios derivados de seu
trabalho (Allen, 2013; Annesley, 2012): a) ele ganha experiência acadêmica; b)
reconhecimento entre os pares mais sêniores (Editores, Editores Associados e Líderes de
Tema); c) tem a chance de ampliar o seu conhecimento (teórico, metodológico ou empírico)
com pesquisas de ponta em sua área de atuação; d) pode aprender com os comentários feitos
por outros revisores (prática comum em top journals); e) aprende a responder a comentários
de Editores e outros revisores; f) aprende a avaliar artigos com base no que outros Editores e
revisores pensam; g) aumenta a possibilidade de fazer parte de Conselhos Editoriais no futuro.
Por isso, ser convidado para elaborar um parecer deveria visto como uma honra.
Diante de tais características da função de revisor, entendemos que existem alguns
padrões de comportamento desejados:
● competência: um revisor deve utilizar o máximo de seu conhecimento sobre o tema
para criticar o artigo, detalhando como o trabalho pode ser melhorado, a partir da
fronteira do conhecimento teórico e metodológico, sem esconder informações que
possam ajudar o autor;
● abrangência: o parecerista deve reconhecer os limites de sua capacidade e também de
sua incompetência, identificando se sua colaboração abrange todo o artigo ou se limita
a algum aspecto específico (ex.: uma determinada teoria ou algum método específico);
● forma: as sugestões ao artigo devem ser feitas em linguagem clara, objetiva,
identificando quando e como os comentários se referem a aspectos gerais ou
específicos do artigo. É fundamental que o revisor apresente sugestões e caminhos,
não apenas críticas, sejam elas genéricas ou específicas;
● postura: independente da qualidade do artigo, o parecerista sempre deve adotar uma
postura e linguagem respeitosa, generosa e inspiradora, ajudando o autor a melhorar
seu trabalho.
6
Em suma, o revisor deve adotar uma postura proativa e respeitosa, identificando onde
e como o artigo pode ser melhorado, a partir do conhecimento mais avançado que detém
sobre o campo, sempre a partir da identificação clara dos limites de sua competência. Num
processo típico, os revisores devem ser encarados como co-criadores do conhecimento
científico, mantendo o comprometimento com o processo (que pode demorar), e
estabelecendo bom relacionamento com Editores e autores, tal qual demonstrado na Figura 3.
Amanor-Boadu / International
Food and Agribusiness
Management Review / Volume 13, Issue 3, 2010
Figura 3: Visão Esquemática
do Processo
de Revisão
Fonte: Amanor-Boadu (2010, p. 74).
Figure 2. Schematic Overview of Reviewing Guidelines when Reviewers are Co-Creators of Scholarship
Além de padrões de comportamento, para que um revisor faça um bom trabalho é
necessário que Relationship
ele(a) reconheça
são os elementos essenciais de um bom artigo
1: Personalizequais
the Author
científico, o que Every
discutimos
no próximo tópico.
reviewer is first and foremost an author. Therefore, it is imperative that the review process
begins with the recognition of the humanness of the author, thereby facilitating reviewers’ full
engagement in the co-creation process. Failure to personalize authors often results in searing
4. ELEMENTOS
ESSENCIAIS
DE UM
BOM
ARTIGO
CIENTÍFICO
reviews
that are crafted solely
to wound
and exhibit
the reviewer’s
superiority over the author.
These are destructive to the scientific enterprise, and often a waste of time for both reviewers and
editors because such searing reports cannot be used to provide any useful guidance to authors on
how to essenciais
enhance their manuscript’s
quality.
As noted
by Goldbeck-Wood1998,
86), “Courtesy
. . . de artigo.
Os elementos
de um bom
artigo
científico
variam conforme
o tipo
is a core attribute of good reviewing.” One simple way to accord courtesy in the review process
Os principais tipos
de artigos
submetidos
periódicos
e of
congressos
científicos
is to think
and refer to
the author in theaos
second
person, instead
the third, and let
the author feelbrasileiros
ii
the
ensuing
conversation
in
the
review
report
by
crafting
it
carefully
with
appropriate
language
são :
and, daresay, humor (Harrison 2002).
● teórico-empíricos: baseados em dados primários e/ou secundários (qualitativos e/ou
Relationship 2: Think like a Coach, Not a Warrior
quantitativos), buscam aprimoramento de teoria, método ou aplicação/solução de
thinking of the Este
author éas oa colleague
or aopotential
reviewers situateno
theirCampo do
problemasByempíricos.
tipo com
maiorcollaborator,
número good
de submissões
mind frame as good coaches. Like good coaches, they begin with the assumption of talent and
objective
to provide guidance and make better—a mental model that helps facilitate a comarketinganno
Brasil;
creation environment during the review process. Jauch and Wall (1989) report the process that
● ensaios some
teóricos:
emthis:fundamentação
teórica
reviewersbaseados
use in achieving
They read the manuscript
as soonaprofundada
as it is received tosobre um
determine
their
expertise
in
being
able
to
contribute
and
assess
any
potential
for hipóteses
bias resulting ou outros
determinado tema, buscam sintetizar uma ou mais teorias, propor
from their own work and or violation of the blind review requirement. This is instructive
tipos de avanços teóricos sobre o assunto estudado. Não devem ser confundidos com
2010 International Food and Agribusiness Management Association (IAMA). All rights reserved.
74
simples revisões
de literatura, ainda que estas frequentemente sejam necessárias
para a
construção de ensaios teóricos;
● casos de ensino: descrição e análise de experiências e práticas organizacionais e/ou
profissionais, de forma pormenorizada e seletiva.
As características de cada um desses tipos principais de artigos variam. Entretanto, é
possível identificar alguns elementos essenciais e como deveria ser a análise de cada um
7
desses elementos por parte de um revisor. A avaliação deve seguir uma sistemática que
permita verificar a qualidade do texto tanto em termos de forma quanto de conteúdo.
Abstract ou Resumo. Síntese do artigo, deve trazer uma visão geral da contribuição
central do trabalho, a fundamental teórica, método e principais resultados e implicações.
Contribuição. Indiscutivelmente o aspecto mais central e importante de toda e
qualquer pesquisa, a contribuição abrange a clareza da questão de pesquisa ou objetivo do
trabalho, se este foi adequadamente atingido e, principalmente, a relevância de seu
atingimento. A contribuição mais robusta possível é aquela em que o autor demonstra a
relevância de sua pesquisa para o avanço nas dimensões teórica, metodológica e prática de
algum campo do conhecimento. Tais pesquisas são, no entanto, raríssimas. Na grande maioria
das vezes, a relevância estará limitada a apenas uma dessas três dimensões.
Alguns fatores colaboram para aumentar ou reduzir a relevância, devendo ser
observados pelos revisores em seus pareceres e julgamento sobre eventual aceite ou rejeição
de um artigo. Alguns desses fatores habitualmente aumentam a relevância de um artigo. Um
dos principais é o ineditismo ou originalidade, que pode ser teórico e/ou metodológico e/ou
pragmático (ou seja, a aplicação da pesquisa num novo contexto geográfico, organizacional,
de grupo ou individual). Replicações de estudos anteriores num novo contexto, usando o
mesmo método e fundamentação teórica, usualmente, não são tão relevantes quanto estudos
inéditos, ainda que isso não seja uma regra inflexível. Por exemplo, replicações que reforcem
a consistência de uma nova teoria e/ou que demonstrem a eficácia de um novo método de
pesquisa são positivas para o avanço científico, embora menos competitivas em termos de
publicações em periódicos consolidados. Cabe ao revisor avaliar a importância daquela
replicação específica para o seu campo do conhecimento. Por exemplo, aquelas que são
justificadas simplesmente por um novo contexto geográfico (ex.: replicação no Brasil de uma
pesquisa feita originalmente nos Estados Unidos, também conhecida como tropicalização),
sem a devida explicação do porquê o novo contexto é importante para a pesquisa, não devem
ser consideradas como relevantes. No Brasil ainda é hegemônico o critério de quantidade (de
artigos publicados) e a qualidade, embora relevante, tem ficado em segundo plano. Por
exemplo, um artigo revolucionário, propositivo de uma nova abordagem, que traga uma real
contribuição e que de algum modo seja atemporal deveria ter mais reconhecimento do que um
que apenas replica o conhecimento sem inovações ou contribuições concretas. Desse modo,
em periódicos mais qualificados é importante a comprovação do ineditismo e da real
contribuição que o artigo apresenta dentro de um campo especifico.
Portanto, um aspecto central para a relevância de um artigo é que o autor faça uma
discussão e posicione a contribuição de seu trabalho, seja em relação a teoria(s), método(s)
e/ou aplicações práticas anteriores. O tipo do artigo será determinante para esse
posicionamento. Artigos teórico-empíricos podem contribuir para avanços em cada uma das
dimensões. Ensaios teóricos geralmente limitam sua contribuição ao avanço de alguma teoria.
Casos de ensino usualmente focam na dimensão prática, sem contribuir para avanços teóricos
ou metodológicos. Em suma, é fundamental que o autor dê evidências claras sobre o tipo de
artigo que produziu. De forma similar, o revisor deve identificar o tipo de artigo que está
avaliando e calibrar sua expectativa e respectivo parecer a partir do que cada artigo se propõe.
O parecer não deve exigir do aquilo além do que é esperado (ex: uma contribuição
metodológica, a partir de um ensaio teórico), mas também não deve esperar menos do que ele
8
deveria fornecer (ex: uma descrição e análise detalhada de algum fenômeno de marketing,
num caso de ensino).
Fundamentação teórica. Nesta parte do artigo espera-se que o autor estabeleça os
limites e demonstre onde se encontra a fronteira do conhecimento de uma ou mais teorias
centrais à sua pesquisa. A apresentação deve ser objetiva e a narrativa deve demonstrar a
evolução das ideias sobre determinado assunto. Para isso, é importante a análise e citação das
obras clássicas e também as mais recentes sobre o tema, evidenciando como essas obras
contribuíram para a formação de uma ou mais teorias abordadas na pesquisa. Uma boa
fundamentação teórica também deve identificar os limites, virtudes, problemas, consensos e
divergências em torno de uma determinada teoria, aspectos esses que um revisor deve
procurar observar no artigo. É comum em trabalhos de abordagem positivista a utilização
desta seção para elaboração e apresentação das hipóteses a serem testadas. Deve-se perceber
claramente que existiu um esforço do autor em apresentar o estado da arte do conhecimento
na área, não significando que a fundamentação teórica deva ser extensa. A identificação de
lacunas teóricas, de pontos não bem explicados ou ainda não explorados são um nicho
interessante para um artigo competitivo.
Desenho de pesquisa e Método. Trata-se da descrição a respeito da estratégia
metodológica adotada pelo autor e dos passos para sua implementação ao longo da pesquisa,
podendo abranger: posicionamento epistemológico (positivista, interpretativo, etc.),
abordagem (quantitativa, qualitativa, mista), método(s) implementado(s) (survey,
experimento, modelagem, análise documental, entrevista, grupo focal, etnografia, etc.), tipos
de dados (primários ou secundários) e procedimentos relativos à coleta e análise de dados
(amostragem ou escolha de informantes, técnicas de coleta, preparação e análise de dados).
Resultados e Discussão. Em artigos teórico-empíricos, espera-se que o autor apresente
os resultados da pesquisa, de forma objetiva e da maneira que mais facilite a visualização e/ou
compreensão dos principais resultados derivados da análise dos dados coletados em sua
pesquisa de campo. A discussão dos resultados deve levar em consideração a fundamentação
teórica da pesquisa. Nela, o autor deve demonstrar como os resultados encontrados avançam,
complementam, alteram ou contradizem a teoria vigente. É também nesta seção que os
autores apresentam e analisam os testes das hipóteses, no caso dos artigos teórico-empírico
positivistas. Nos ensaios teóricos nem sempre existe uma seção de resultados e discussão,
ainda que artigos desse tipo também apresentem resultados, geralmente uma síntese de uma
teoria, novas proposições e/ou hipóteses a serem testadas em estudos futuros. Nos casos de
ensino também não é comum a apresentação de resultados e discussão, mas uma seção
equivalente, em que se faz uma síntese dos aspectos principais de uma determinada história
de organizações e/ou clientes, evidenciando porque aquele relato pode ser importante para o
avanço do conhecimento e/ou para o treinamento de professores e alunos de marketing.
Conclusões. Nesta seção o autor deve sintetizar os principais achados da pesquisa,
tendo como foco a contribuição do trabalho para o avanço teórico, metodológico ou prático
do marketing, tal qual descrita nas primeiras seções do artigo. Em trabalhos positivistas, essa
síntese pode também retomar as hipóteses testadas e sintetizar sua discussão, mostrando se o
que foi encontrado está de acordo com a previsão inicial e, quando não estiver, quais são as
possíveis explicações para a discordância. Em ensaios teóricos, o autor deve apresentar como
o artigo aprimora, redefine ou questiona uma dada teoria. Outra possível conclusão são
9
proposições a serem testadas, que devem ser sintetizadas nas conclusões. Em casos de ensino,
um resumo da situação descrita e porque ela merece ser estudada são os aspectos esperados
numa conclusão.
É comum – ainda que não seja sempre obrigatório – que sejam apresentadas
implicações para as organizações e/ou para outros stakeholders possivelmente envolvidos
com a pesquisa. As implicações gerenciais devem evidenciar como os resultados da pesquisa
podem impactar os gestores, a estratégia e implementação de marketing nas organizações.
Outras possíveis implicações da pesquisa são aquelas que possam impactar os consumidores,
sua relação com os produtos/serviços e com as empresas.
É fundamental que o autor também apresente e discuta as principais limitações da
pesquisa e como elas afetaram ou possam ter afetado os resultados encontrados e a
contribuição inicialmente desejada. Com o avanço de tecnologia de informação e a
massificação do acesso às principais bases de dados internacionais no Brasil, na grande
maioria das pesquisas em marketing não se espera que os autores tenham dificuldade para
encontrar artigos científicos e livros importantes para sua pesquisa. Assim, quase sempre as
limitações estarão circunscritas a aspectos metodológicos e/ou da aplicação/implementação
prática dos resultados.
Uma das características de uma boa pesquisa é que ela gera ou motiva a realização de
outras pesquisas relacionadas. Para que isso aconteça, é desejável que o autor apresente
sugestões de pesquisas futuras, podendo abranger quaisquer das dimensões teórica,
metodológica ou prática analisadas.
Referências. Nesta seção devem ser listadas todas as obras citadas no corpo do texto,
utilizando-se o formato exigido pelo periódico ou pelo congresso científico.
Anexos. Aqui devem constar todas as tabelas, figuras, quadros e todo qualquer tipo de
material complementar necessário para o desenvolvimento do artigo. A escolha da inclusão
ou não desses elementos no artigo deve ser guiada pelo critério de importância de cada um
deles para a construção do argumento central. Além de serem também formatados segundo as
normas do periódico ou congresso, um aspecto fundamental a ser observado é se esses
elementos complementares foram elaborados pelo autor de forma a sintetizar, simplificar e,
portanto, facilitar a compreensão por parte do leitor. Por exemplo, tabelas e gráficos devem
conter apenas as informações estritamente necessárias e devem ser apresentados da maneira
mais didática e visualmente estimulante possível.
Uma ressalva importante diz respeito à manutenção ou não da estrutura de seções
acima discutida e a orientação epistemológica do autor. Em trabalhos não positivistas,
especialmente os de orientação interpretativa, muitas vezes não haverá separação clara entre
as seções. Nos casos em que houver, com frequência não será exatamente a divisão acima
apontada. Como não há relativo consenso sobre seções-padrão para este tipo de artigo,
optamos por não apresentar uma proposta de estrutura de seções.
Após a apresentação e discussão dos elementos essenciais de um bom artigo
científico, passamos à parte mais importante desse trabalho, a apresentação de uma proposta
de grade de análise para as pesquisas de marketing.
5. PROPOSTA DE UMA GRADE DE ANÁLISE
10
Diante da impossibilidade de propor critérios de análise para todos os possíveis tipos
de artigos e relatos científicos, limitaremos nossas proposições aos três tipos principais de
artigos científicos usualmente submetidos aos periódicos e congressos científicos de
marketing: pesquisas teórico-empíricas, ensaios teóricos e casos de ensino. Para compor os
itens e os critérios de análise, consultamos literatura anterior que abordava tema semelhante,
seja com foco em outros campos da administração que participam dos congressos científicos
da ANPAD (por exemplo, Hoppen 1997), alguns dos principais periódicos científicos de
marketing – Journal of Consumer Research (JCR, 2015), Journal of Marketing (JM, 2015),
Journal of Marketing Research (JMR, 2015), Marketing Science (MS, 2015), outros
periódicos de marketing, de administração e de outros campos do conhecimento (Allen, 2013;
Annesley, 2012; Benos et al., 2003; Hames, 2007; Hempel, 2014; Lepak, 2009; Rogelberg,
Adelman, & Askay, 2009). Os resultados são apresentados na Figura 4.
Figura 4 – Proposta de Grade de Análise de Artigos Científicos na Área de Marketing
ITEM
Avaliação Geral
do Trabalho
ASPECTOS A SEREM AVALIADOS
-
Abstract ou
Resumo
-
Contribuição
(Introdução)
-
-
O título é adequado e reflete o conteúdo do manuscrito?
O artigo é inédito e oferece uma contribuição importante que justifique sua
publicação no periódico ou congresso científico?
Quais são as maiores forças e fraquezas do artigo? As fraquezas são superáveis (é
possível corrigir erros do artigo)?
Existem seções que podem ser eliminadas ou condensadas?
O autor atinge o objetivo que propôs (contribuição)?
O artigo é interessante para o público-alvo?
O artigo é bem escrito (linguagem clara, direta, evitando termos ambíguos,
expressões do senso comum, em português/inglês correto) e organizado, com
tamanho proporcional à contribuição proposta e à dificuldade do atingimento da
contribuição?
É sintético e contém: o propósito e contexto do trabalho, método, resultados e
conclusões?
O abstract está atraindo a atenção do leitor?
Existe uma questão ou objetivo da pesquisa claramente definido?
O autor explicita a relevância ou justificativa da pesquisa e discute sua
importância?
O foco da contribuição é teórico, metodológico ou prático?
O artigo é original/inédito?
A relevância do artigo é prejudicada ou aumentada em função de alguma
característica da pesquisa (ex.: ser uma replicação, uma adaptação)? No caso de
ser uma replicação ou adaptação, há justificativa convincente para isso?
É possível identificar de que tipo de artigo se trata (pesquisa teórico-empírica,
ensaio teórico ou caso de ensino)?
A contribuição do artigo leva em consideração as peculiaridades do tipo de artigo?
11
ITEM
Fundamentação
Teórica
ASPECTOS A SEREM AVALIADOS
-
Desenho de
Pesquisa e
Método
-
-
-
-
Resultados e
Discussão
-
-
-
O autor delimita os limites e demonstra onde se encontra a fronteira do
conhecimento de uma ou mais teorias centrais à sua pesquisa?
A fundamental teórica é precisa e apresentada de forma objetiva? A justificativa
para a escolha da(s) teoria(s) é feita de forma lógica e rigorosa?
O texto evidencia e discute a teoria?
Há análise/citação das obras clássicas e das mais recentes sobre o tema?
É feita uma análise de como essas obras contribuíram para a formação de uma ou
mais teorias abordadas na pesquisa?
Há identificação dos limites, lacunas, virtudes, problemas, consensos e
divergências em torno de uma determinada teoria?
(para artigos de orientação positivista) Há apresentação das hipóteses a serem
testadas?
(para artigos de orientação positivista) As hipóteses são elaboradas a partir da
fundamentação teórica?
A estratégia metodológica adotada pelo autor e os passos para sua implementação
ao longo da pesquisa estão suficientemente claros, detalhados e são
suficientemente robustos?
O posicionamento epistemológico (positivista, interpretativo, etc.) está claro
(mesmo que não explicitado no texto)? O método é coerente com o
posicionamento epistemológico?
A abordagem (quantitativa, qualitativa, mista) e seus passos para implementação
estão adequadamente descritos?
O(s) método(s) implementado(s) (survey, experimento, modelagem, análise
documental, entrevista, grupo focal, etnografia, etc.) estão adequadamente
descritos, respeitando a literatura especifica sobre o método?
A fundamentação teórica serviu para a instrumentalização/operacionalização dos
conceitos?
Os tipos de dados (primários ou secundários) coletados estão adequadamente
descritos?
Os procedimentos relativos à coleta e análise de dados (amostragem ou escolha de
informantes, técnicas de coleta, preparação e análise de dados) estão
adequadamente detalhados?
Princípios e práticas éticas habituais foram obedecidas?
Os resultados da pesquisa são apresentados de forma objetiva e da maneira que
facilite a visualização e/ou compreensão dos principais resultados, sem esconder
informações essenciais?
Os resultados são discutidos, levando-se em consideração a teoria apresentada na
Fundamentação Teórica? Há discussão sobre como os resultados encontrados
avançam, complementam, alteram ou contradizem a teoria vigente? A teoria guiou
as análises?
(para artigos teórico-empírico positivistas) Os autores apresentam e analisam os
testes das hipóteses?
Os resultados encontrados evidenciam uma regularidade empírica, generalizável
para outros contextos?
(para os ensaios teóricos) É apresentada uma síntese de uma teoria, novas
proposições e/ou hipóteses a serem testadas em estudos futuros?
(para os casos de ensino) Há uma síntese dos aspectos principais de uma
12
ITEM
ASPECTOS A SEREM AVALIADOS
-
Conclusões
-
-
-
-
-
determinada história de organizações e/ou clientes, evidenciando porque aquele
relato pode ser importante para o avanço do conhecimento e/ou para o treinamento
de professores e alunos de marketing?
(para os casos de ensino) A organização analisada é representativa/importante em
seu setor de atuação? O caso estudado traz alguma característica distintiva que
mereça ser analisada?
As conclusões são sucintas?
O objetivo do trabalho foi adequadamente atingido? Se não, o que não foi atingido
e por que? Como isso interfere sobre a contribuição/relevância final do artigo?
Há uma síntese dos principais achados da pesquisa, tendo como foco a
contribuição do trabalho para o avanço teórico, metodológico ou prático do
marketing, tal qual descrito nas primeiras seções do artigo?
As conclusões encontradas avançam de forma substantiva o conhecimento anterior
sobre o assunto?
(para artigos positivistas) A conclusão retoma as hipóteses testadas e sintetiza sua
discussão, mostrando se o que foi encontrado está de acordo com a previsão
inicial e, quando não estiver, quais são as possíveis explicações para a
discordância?
(para ensaios teóricos) O autor apresenta como o artigo aprimora, redefine ou
questiona uma dada teoria?
(para casos de ensino) É apresentado um resumo do caso descrito e porque ele
merece ser estudado?
(itens não obrigatórios) São apresentadas implicações para as organizações e/ou
para outros stakeholders possivelmente envolvidos com a pesquisa? As
implicações gerenciais evidenciam como os resultados da pesquisa podem
impactar os gestores, a estratégia e implementação de marketing nas
organizações?
(itens não obrigatórios) São discutidas possíveis implicações da pesquisa para os
consumidores, sua relação com os produtos/serviços e com as empresas?
As limitações da pesquisa são apresentadas e discutidas? Como elas afetaram ou
podem ter afetado os resultados encontrados e a contribuição inicialmente
desejada?
O autor apresenta sugestões de pesquisas futuras, conectando-as aos achados do
artigo?
Referências
- As referências selecionadas são relevantes, recentes e pertinentes?
Material
Complementar
(não obrigatório) - Tabelas, figuras, quadros são apresentados de forma a sintetizar,
simplificar e, portanto, facilitar a compreensão por parte do leitor?
Auto-Avaliação
do Revisor
Competência:
- usei todo o conhecimento que tenho sobre o tema para criticar o artigo, com rigor
científico, detalhando como o trabalho pode ser melhorado, a partir da fronteira do
conhecimento teórico e metodológico, sem esconder informações que possam
ajudar o autor?
Abrangência:
- Procurei limitar minha contribuição àqueles aspectos sobre os quais tenho domínio
e informei o Editor, Editor Associado ou Líder de Tema quando não tinha
capacidade de avaliar determinado aspecto do artigo?
13
ITEM
ASPECTOS A SEREM AVALIADOS
-
Concentrei minha avaliação em relação à contribuição proposta pelo autor (e não a
outras contribuições que ele não tenha proposto)?
Forma:
- Apresentei críticas e sugestões usando em linguagem clara, objetiva, identificando
quando e como os comentários se referem a aspectos gerais ou específicos do
artigo?
- Evitei comentários genéricos (por exemplo, “o manuscrito está muito longo”),
apresentando onde ele poderia ser melhorado?
- Apresentei sugestões e caminhos, não apenas críticas, sejam elas genéricas ou
específicas?
- Priorizei minhas críticas e sugestões, distinguindo os problemas possíveis e os
impossíveis de serem corrigidos; e também as correções mais importantes e as
menos importantes, sem fazer o trabalho para o autor?
- (para as pesquisas teórico-empíricas) Apresentei explicações alternativas para os
achados empíricos? O quão relevante é essa explicação alternativa? Ela é
consistente com os dados?
Postura:
- Independente da qualidade do artigo, adotei uma postura e linguagem respeitosa,
generosa e inspiradora, ajudando o autor a melhorar seu trabalho, atuando como
um comentarista, não como um crítico?
- Avaliei o(s) artigo(s) da maneira mais equitativa, imparcial, anônima e construtiva
possível? Se a imparcialidade não for possível por qualquer motivo, eu deveria
recusar o convite para avaliar.
- Informei o Editor, Editor Associado ou Líder de Tema a respeito de qualquer
problema ou conflito de interesse envolvido com a revisão do artigo?
- Terminei minha avaliação dentro do prazo, usando os critérios estabelecidos pelo
periódico ou congresso científico?
- Fui o revisor que eu gostaria de ter?
Fontes principais: Allen, 2013; Annesley, 2012; ANPAD (2015), Benos et al., 2003; Hames, 2007; Hoppen,
1997, Hempel, 2014; JCR (2015), JM (2015), JMR (2015), Lepak, 2009; MS (2015), Rogelberg, Adelman, &
Askay, 2009.
6. CONCLUSÕES
Aprender a ser um parecerista é como aprender a andar de bicicleta? Será que
podemos simplificar a este ponto o processo de avaliação de artigos científicos? Qual o papel
dos cursos de pós-graduação em administração no Brasil no treinamento dos futuros doutores
e pesquisadores neste relevante papel? Questionamentos diversos surgem e inquietam quem
faz ciência social no Brasil. Mais importante, cabe uma reflexão individual do valor do tempo
(escasso) dedicado a avaliação de artigos de diferentes periódicos, em especial por aqueles
que se dedicam mais e obtém uma reputação positiva junto a editores. Vale a pena? Afinal
não se ganha nada de concreto, apenas mais trabalho? É um trabalho de doação ou deve ser
visto como uma atividade imprescindível para evitar pesquisas que nada acrescentam à
Academia? Por exemplo, Jacoby (1978, p. 87) ironizava que “uma grande proporção da
literatura sobre a pesquisa do consumidor (incluindo marketing) não vale o papel em que é
14
impressa ou o tempo que se leva para ler”. Será que esta afirmação ainda seja válida no Brasil
em 2015 (apenas excluindo a questão da impressão, já que grande parte dos artigos está
disponível em mídia eletrônica, e assim, economizamos em papel e tinta)?
A qualidade da pesquisa é fundamental para o avanço de uma disciplina, que só pode
ser constituída com base num domínio de objetos de estudo, métodos, conjunto de
proposições definidas e consideradas como verdadeiras, por meio de investigações empíricas
(Brei, Rossi & Evrard, 2007). Os artigos científicos são o instrumento para esse processo de
maturação. Portanto, é fundamental refletir e agir para que tenhamos mais qualidade nas
publicações e avaliações, de forma a fazer com que também os autores avaliem a qualidade
das pesquisas que estão produzindo. Novamente citando Jacoby:
Uma coisa que precisamos aprender é que temos que parar de deixar que nossos
métodos e ferramentas existentes ditem e limitem nosso pensamento e nossa
pesquisa. Não há substituto para o uso de nossas mentes. O cérebro é ainda a
ferramenta mais importante que temos e seu uso deveria preceder e não suceder
a coleta de dados (1978, p. 95).
Também é importante ter consciência de reconhecer o que não sabemos, para que não
nos enganemos ou aos outros. Por isso, esse artigo procura oferecer uma contribuição para
que novos pesquisadores aprendam mais rapidamente a realizar pareceres mais qualificados e
que os pesquisadores mais sêniores reavaliem se estão adotando as melhores práticas nesta
função central para o avanço da ciência de marketing: os pareceres científicos.
7. REFERÊNCIAS
ANPAD – Associação Nacional de Pós-Graduação e Pesquisa em Administração (2015).
Instruções
para
submissão.
Acessado
em
19/04/2015
de
http://www.anpad.org.br/~anpad/eventos.php?cod_evento=1&cod_evento_edicao=78&c
od_edicao_subsecao=1136.
Allen, T. W. (2013). Peer review guidance: how do you write a good review? JAOA: Journal
of the American Osteopathic Association, 113(12), 916-920.
Amanor-Boadu, V. (2010). Reviewing, Reviewers and the Scientific Enterprises. Food and
Agribusiness Management Review, 13(3) 69-80.
Annesley, T. M. (2012). Seven reasons not to be a peer reviewer—and why these reasons are
wrong. Clinical chemistry, 58(4), 677-679.
Benos, D. J., Kirk, K. L., & Hall, J. E. (2003). How to review a paper. Advances in physiology
education, 27(2), 47-52.
Brei, V. A.; Rossi, C. A. V.; Evrard, Y (2007). As necessidades e os desejos na formação
discursiva do marketing: base consistente ou retórica legitimadora? Cadernos
EBAPE.BR, 5(4), 1-21.
Hames, I. (2007). Peer Review and Manuscript Management in Scientific Journals:
guidelines for good practice: Blackwell Publishing.
Hempel, P. (2014). The Developmental Reviewer. Management and Organization Review
10(2), 175-181. doi: 0.1111/more.12060.
15
Hoppen, N. (1997). Avaliação de artigos de pesquisa em sistemas de informação: proposta de
um guia (pp. 1-15): ENANPAD - Anais do Encontro Nacional da ANPAD.
Jacoby, Jacob (1978). Consumer Research: how valid and useful are all our consumer
behavior research findings? A state of the art review. Journal of Marketing, 42 (2), April,
87-96.
JCR – Journal of Consumer Research (2015). Instructions to Reviewers. Acessado em
19/03/2015 de http://www.ejcr.org/instr-revs.htm.
JM – Journal of Marketing (2015). Reviewer Guidelines. Acessado em 19/03/2015 de
https://www.ama.org/publications/JournalOfMarketing/Pages/ReviewerGuidelines.aspx.
JMR - Journal of Marketing Research (2015). Peer Review. Acessado em 19/03/2015 de
https://www.ama.org/publications/JournalOfMarketingResearch/Pages/JMRReviewProce
ss.aspx.
Kunnath, S. K. (2006). Reviewing Papers for JSE: A Plea to Authors, Potential Reviewers,
and Readers, Editorial. Journal of Structural Engineering, 132(9), 1333-1333.
Lee, N., & Greenley, G. (2009). Being a Successful and valuable peer reviewer. European
Journal of Marketing, 43 (1), 5-10.
Lepak, D. (2009). Editor's comments: What is good reviewing? Academy of Management
Review, 34(3), 375-381.
MS – Marketing Science (2015). Submission guidelines. Acessado em 19/03/2015 de
http://pubsonline.informs.org/page/mksc/submission-guidelines.
Rogelberg, S., Adelman, M., & Askay, D. (2009). Crafting a Successful Manuscript: Lessons
for 131 reviews. Journal of Business Psychology, 24, 117-121.
Shukla, S. (2010). How to Review an Article, Editorial. Indian Journal of Surgery, 72(2), 9396.
i
Existem dois tipos de processo de revisão habitualmente adotados nos periódicos científicos. O single-blind,
em que o revisor sabe quem são os autores e pode, por exemplo, acessar seus trabalhos anteriores e ver o avanço
apresentado na pesquisa em pauta. Existe também o double-blind, em que nem o revisor nem os autores sabem
uns dos outros. Praticamente inexistente no Campo do marketing, o single-blind é o mais usado em outros
campos do conhecimento, como na área médica (Allen, 2013).
ii
Neste artigo não serão considerados os Artigos Tecnológicos, em razão de ainda serem pouco comuns no
Campo do marketing no Brasil.
16