GOOGLE SCHOLAR METRICS E A PROPOSTA DO NOVO QUALIS:
impacto dos periódicos brasileiros de ciência da informação

GOOGLE SCHOLAR METRICS AND NEW THE NEW QUALIS EVALUATION SYSTEM:
impact of the brazilian journals of information science

Heloisa Costa1

Fábio Lorensi do Canto2

Adilson Luiz Pinto3

RESUMO

O presente trabalho mensura o impacto dos periódicos brasileiros de Ciência da Informação a partir da metodologia proposta pelo novo Qualis. Foram analisados os periódicos da coleção “Revistas Brasileiras” da Base de Dados de Ciência da Informação (BRAPCI) avaliados na área 31 do Qualis de 2016 e com classificação divulgada na lista prévia do Qualis em 2019. Foram identificados o FI (JCR), o CiteScore (SJR) e o Índice h5 (GSM) dos periódicos indexados. Utilizou-se o software Publish or Perish para cálculo do índice h5 dos periódicos não indexados, bem como para coleta dos dados de citação dos artigos publicados nos últimos cinco anos. Os dados receberam tratamento visando a eliminação de registros duplicados e documentos não citáveis. Foram calculadas a média de citações por artigo, o desvio padrão, o número de citações recebidas pelo artigo mais citado e o percentual de artigos sem citação. Os resultados sugerem que, embora a maioria de periódicos tenha aumentado seu nível de classificação, a proposta da nova metodologia Qualis não favoreceu a Ciência da Informação brasileira, considerando a não permanência de publicações no estrato A1. Por outro lado, aponta-se como positiva a adoção do índice h5 do GSM para a avaliação de periódicos sem FI ou CiteScore. Constatou-se ainda que a classificação preliminar do Qualis (2019) apresenta incongruências, tendo em vista a classificação de periódicos de índice h5 semelhantes em estratos diferentes. Por fim, verificou-se que o uso do software Publish or Perish implica na necessidade de tratamento dos dados, considerando os diversos erros apresentados.

Palavras-chave: Avaliação da produção científica. Periódicos científicos – Ciência da Informação. Google Scholar. Índice h5. Frequência de citações.

ABSTRACT

The present work measures the impact of Brazilian Information Science journals using the methodology proposed by the new Qualis. It analyses the journals in the “Revistas Brasileiras” collection of the Information Science Database (BRAPCI), which were designated to the area 31 of Qualis in 2016 and which had their classification published in the Qualis’ preliminary list in 2019. The FI (JCR), the CiteScore (SJR) and the h5 Index (GSM) of the indexed journals were identified. The Publish or Perish software was used to calculate the h5 index of the non-indexed journals, as well as to collect citation data of articles published in the last five years. The data received a treatment for the elimination of duplicate records and non-citable documents. The average number of citations per article, the standard deviation, the number of citations received by the most cited article and the percentage of articles without citation were calculated. The results suggest that, although most journals have increased their level of classification, the proposal for the new Qualis methodology did not favor Brazilian Information Science, considering the non-permanence of publications in A1 stratum. On the other hand, the adoption of the GSM h5 index for the evaluation of journals without FI or CiteScore is positive. It was also found that the preliminary Qualis classification (2019) presents inconsistencies, considering the classification of similar h5 index journals in different strata. Finally, it was found that the use of Publish or Perish software implies the need for data treatment, considering the various errors presented.

Keywords: Evaluation of scientific production. Scientific journals - Information Science. Google Scholar. h5 Index. Frequency of citations.

Artigo submetido em 13/01/2020 e aceito para publicação em 25/02/2020

1 INTRODUÇÃO

No contexto da avaliação da ciência, a citação se consolidou um dos elementos mais utilizados para mensuração do impacto da produção científica internacional, especialmente no que tange à publicação de artigos científicos em periódicos especializados (HOU, 2017; LARIVIÈRE; SUGIMOTO, 2018). Uma das aplicações que se destaca é a geração automatizada de indicadores de impacto baseados na frequência de citações recebidas por documentos, tais como o Fator de Impacto (FI) do Journal of Citation Reports (JCR), o CiteScore do Scimago Journal & Country Rank (SJR), o índice h5 do Google Scholar Metrics (GSM) (WALTMAN, 2016).

As métricas baseadas em contagem de citações vêm sendo amplamente utilizadas por agências governamentais de fomento para avaliação de desempenho de pesquisadores, disciplinas científicas, instituições e países (MUGNAINI; PIO; PAULA, 2019). No Brasil, um dos principais sistemas de avaliação é o Qualis CAPES, que tem por finalidade avaliar a produção científica com base em um sistema de classificação dos periódicos que publicam trabalhos de pesquisadores vinculados aos programas de pós-graduação.

Até 2017, o Qualis CAPES classificava os periódicos nas áreas do conhecimento as quais tinham aderência ou relevância. Além de aspectos técnicos e editoriais, o Qualis tinha como principal critério para definição dos periódicos de excelência a indexação nas bases de dados Web of Science (WoS) e/ou Scopus, e para algumas áreas, o FI da publicação. Em 2019, contudo, uma série de mudanças foram propostas pela CAPES, tais como a classificação de periódicos em uma única área (área mãe) e a inclusão do índice h5 do Google Scholar Metrics (GSM) para análise de periódicos sem FI e CiteScore.

Uma das vantagens do GSM é justamente possibilitar a análise de impacto de periódicos não indexados em bases comerciais, que no Brasil são a ampla maioria. Por este e por outros fatores, essa base de dados tem aumentado sua relevância no cenário da avaliação científica, com significativo número de pesquisas sendo realizadas com intuito compreender o funcionamento e os critérios de indexação e de coleta de dados de citação utilizados (JACSÓ, 2012a; HARZING, 2013; LÓPEZ-CÓZAR; CABEZAS-CLAVIJO, 2013; ORDUÑA‐MALEA; AYTAC; TRAN, 2019).

Nesse sentido, esta pesquisa tem por objetivo analisar o impacto de periódicos científicos brasileiros de Ciência da Informação (CI) com base nos indicadores adotados na nova metodologia Qualis proposta pela CAPES. Visando a aprofundar o estudo, objetiva também analisar estatisticamente o número de citações recebidas pelos periódicos no período adotado pelo índice h5 (2014-2018). São calculadas a média de citações por artigo, o desvio padrão, o número máximo de citação recebida pelo artigo mais artigo citado e o percentual de artigos sem citação.

Assim, além da avaliar o impacto das publicações conforme no novo sistema Qualis proposto, investiga o funcionamento do GSM, tendo em vista que o processo de indexação é automatizado e seus critérios não são plenamente conhecidos pela comunidade científica brasileira.

2 O QUALIS CAPES

O Qualis é um sistema de classificação de periódicos que tem por finalidade avaliar a produção científica brasileira. Se constitui na atribuição de um conceito a periódicos que publicaram trabalhos de pesquisadores vinculados a programas de pós-graduação do país, de acordo com as áreas do conhecimento a que possuem aderência ou relevância. O Qualis utiliza uma plataforma online de coleta e visualização de dados denominada Sucupira (PLATAFORMA SUCUPIRA, 2020).

Os títulos são classificados com base em 49 áreas de avaliação. Essas áreas são ainda agrupadas em dois níveis, sendo o primeiro nível formado por três colégios (Colégio de Ciências da Vida, Colégio de Humanidades e Colégio de Ciências Exatas, Tecnológicas e Multidisciplinar) e o segundo nível formado por nove grandes áreas (Ciências Agrárias, Ciências Biológicas, Ciências da Saúde, Ciências Humanas, Ciências Sociais Aplicadas, Linguística, Letras e Artes, Ciências Exatas e da Terra e Multidisciplinar). Na grande área Ciências Sociais Aplicadas, a área de avaliação 31 − Comunicação e Informação abrange as seguintes áreas básicas: Comunicação, Ciência da Informação e Museologia. Os periódicos são enquadrados em estratos indicativos de qualidade. Os estratos da avaliação Qualis do período 2013-2016 foram: A1, o mais elevado; A2, B1, B2, B3, B4, B5 e C, para periódicos não científicos. Nesse quadriênio, cada periódico foi avaliado em mais de uma área a qual tinha aderência, mas os critérios de avaliação variaram de acordo com cada área.

Em 2019, a CAPES estabeleceu uma proposta para um novo sistema de avaliação, cuja estratificação indicada é: A1, A2, A3, A4, B1, B2, B3, B4 e C, para periódicos não científicos. Além disso, os periódicos passaram a ser avaliados em apenas uma área. A chamada área mãe é aquela que teve a maior quantidade de trabalhos publicados pelo periódico durante o período de avaliação. Com base na definição de área mãe, é possível que periódicos de determinada área acabem sendo classificados em outra, caso o número de publicações seja maior. Havendo empate entre duas ou mais áreas, prevalece a que tiver o maior percentual de publicações em comparação ao total da área (COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR, 2019c).

Outra mudança ocorreu na metodologia, que passou de um sistema baseado em critérios qualitativos e quantitativos, para um com base em indicadores de impacto e um modelo matemático cuja fórmula não foi divulgada. Os indicadores de impacto considerados no Qualis são o FI, o CiteScore e o índice h5 do GSM. Para os periódicos que possuem tanto o FI quanto o CitesScore, foi considerado o de maior valor. Para os periódicos que não possuam esses indicadores, foi considerado o índice h5.

Para os periódicos não indexados no GSM, o índice h5 foi calculado por meio do software Publish or Perish (PoP), considerando o mesmo período de cinco anos. Nesse caso, os dados obtidos passaram por uma avaliação, visando corrigir distorções tais como as provocadas por “revistas terciárias, que tiveram seu h5 inflacionado pelas citações aos artigos publicados originalmente em outras revistas” (COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR, 2019d, p. 11).

Além disso, visando dirimir as diferenças entre os indicadores, foi desenvolvido um modelo de regressão, que faz uma correlação entre os valores de h5 e CiteScore, a fim de estimar um valor percentual comparativo. O estrato referência foi fixado por intervalos iguais de 12,5%. Os periódicos classificados nos quatro estratos “A” são aqueles com percentis acima da mediana e nos 4 “B” com percentis abaixo da mediana (COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR, 2019d). Assim, diferentemente da metodologia anterior, não foi fixado percentual máximo de periódicos para cada estrato.

As mudanças propostas no Qualis têm sido alvo de críticas da comunidade científica brasileira. Alguns fatores de descontentamento são a utilização dos mesmos critérios para avaliação de todas as áreas, sem levar em consideração as particularidades de cada uma, a avaliação de publicações em uma única área, a adoção de indicadores de referência de bases de dados internacionais, sem considerar bases nacionais como o SciELO (ABRASCO, 2019; CUETO, 2019).

2.1 Bases de Dados e Indicadores de Impacto

Além do registro e da recuperação da informação científica, a utilidade das bases de dados é evidenciada também no processo de avaliação das atividades da ciência, especialmente por meio de indicadores de impacto de citação que possibilitam a comparação em unidades de análise (MUGNAINI; PIO; PAULA, 2019). Atualmente, as três bases de dados mais utilizadas para a análise de citação são o JCR, o SJR e o GSM. As principais razões do uso dessas bases são a cobertura de diversas áreas do conhecimento e o registro dos dados de citação que possibilitam o cálculo automatizado de métricas para artigos, autores, periódicos, instituições e países (WALTMAN, 2016).

2.1.2 JCR e SJR

O JCR e o SJR são bases comerciais, com acesso por assinatura, que têm o objetivo de mensurar o impacto da produção científica utilizando indicadores bibliométricos. Os aspectos positivos e negativos de ambas vêm sendo amplamente examinados na literatura (VANCLAY, 2012; FERRER-SAPENA et al., 2016; WALTMAN, 2016; WALTMAN; TRAAG, 2017; LARIVIÈRE; SUGIMOTO, 2018). As principais características analisadas se referem à cobertura, políticas de indexação, citações, qualidade e padronização dos dados e indicadores calculados (LÓPEZ-CÓZAR; CABEZAS-CLAVIJO, 2013; KRAMPL, 2019).

O JCR indexa aproximadamente 12.558 periódicos, calculando indicadores métricos a partir dados de citação registrados na WoS. Possui boa cobertura temporal, contendo registros a partir de 1997 para algumas publicações. A cobertura geográfica, todavia, enfatiza periódicos de origem anglo-saxônica, especialmente EUA (4.423 periódicos) e Reino Unido (3.025 periódicos), que juntos são a origem de 59,3% das publicações. As principais áreas abrangidas são as ciências exatas e tecnológicas, a medicina e a ciências sociais, tendo em vista que cobre as coleções Science Citation Index Expanded (SCIE) e Social Sciences Citation Index (SSCI) (KRAMPL, 2019). Não abrange, contudo, aproximadamente 1.800 títulos do Arts & Humanities Citation Index (AHCI) e 7.000 títulos do Emerging Sources Citation Index (ESCI)4 (CLARIVATE ANALYTICS, 2020), o que é considerada uma falha de cobertura (LÓPEZ-CÓZAR; CABEZAS-CLAVIJO, 2013).

Uma vantagem do JCR são as variadas métricas disponíveis, com possibilidade de análises comparativas, extração de dados e relatórios. O principal índice é o FI de dois anos, calculado a partir do total de citações recebidas dividido pelo número de artigos publicados nos dois anos anteriores ao ano de análise (KRAMPL, 2019). Outras métricas calculadas são as variações do FI (de cinco anos e sem autocitações); o índice h; o Eigenfactor Score, que utiliza o mesmo cálculo do FI de cinco anos, excluídas as autocitações e com atribuição de peso maior para citações recebidas de periódicos de maior FI; o índice de imediatez, que mede a frequência média que um artigo de um periódico é citado no mesmo ano de sua publicação (KRAMPL, 2019). O JCR classifica os periódicos em categorias de assuntos, que permitem análises comparativas entre publicações de mesmo escopo temático (LEYDESDORFF; BORNMANN, 2016). Na categoria de CI (Information Science and Library Science), são 89 periódicos, sendo 36 dos Estados Unidos (40,4%) e 31 da Inglaterra (34,8%). Do Brasil são apenas dois títulos: o Informação & Sociedade e o Transinformação, que corresponde a 2,2%. O Perspectivas em Ciência da Informação possui métricas somente de 2010 a 2012 (CLARIVATE ANALYTICS, 2020).

Com cobertura mais ampla, o SJR indexa aproximadamente 24.701 periódicos, cujos dados de citação são extraídos da base Scopus. A cobertura temporal tem início em 1999 para aproximadamente metade do conteúdo. Também enfatiza as áreas de ciências, tecnologia e medicina, mas ao contrário do JCR cobre 3.654 títulos de artes e humanidades. Além disso, considerando o maior número de periódicos indexados, acaba por abranger mais publicações regionais e de idiomas que não o inglês (CABEZAS-CLAVIJO, 2013).

O principal indicador do SJR é o CiteScore, uma variação do FI com período de três anos e pesos distintos com base no impacto do periódico citante. Também mede o índice h e permite a exclusão de autocitações. Sua interface possibilita a extração de dados, a geração de relatórios estatísticos e possui ainda uma ferramenta de visualização.

O SJR indexa 210 periódicos de CI (Library and Information Science). Desses, 70 são dos Estados Unidos (33,3%), 61 da Inglaterra (29%), 52 dos demais países da Europa (24,7%) e apenas três do Brasil (1,4%): o Ciência da Informação, o Informação & Sociedade e o Transinformação. O periódico Perspectivas em Ciência da Informação também está indexado, mas categorias de Comunicação e Sociologia e Ciências Políticas.

Como se observa, a cobertura do JCR e SJR prioriza periódicos de língua inglesa, de países da América do Norte e Europa e das chamadas ciências duras. São consideradas, portanto, bases inadequadas para avaliação da produção de periódicos regionais e de áreas do conhecimento com pouca cobertura (HARZING, 2013; WALTMAN, 2016), a exemplo do que ocorre como os periódicos brasileiros de CI. A partir disso, indicadores métricos alternativos, tais como o GSM, passaram a ser testados para avaliação da produção científica não coberta pelas duas tradicionais bases de dados (ZHANG; LUN, 2019).

2.1.2 Google Scholar Metrics

O GSM foi lançado em 2012 como o objetivo de medir o impacto das publicações indexadas no Google Scholar. Desde então, passou por algumas atualizações e vem sendo considerado como possível alternativa ao JCR e SJR para mensuração da produção científica em nível nacional (ZHANG; LUN, 2019) e internacional (JACSÓ, 2012a; LÓPEZ-CÓZAR; CABEZAS-CLAVIJO, 2013). O GSM difere do JCR e SJR pelas políticas de seleção, cobertura e indexação de periódicos científicos (ORDUÑA-MALEA et al., 2016).

Com interface enxuta, o GSM permite somente a busca por título do periódico. Também é possível listar os títulos de maior impacto por categorias e subcategorias de assunto (as listas por assunto possuem 20 e por idioma 100 periódicos) e também por onze idiomas (inglês, chinês, português, espanhol, alemão, russo, francês, japonês, coreano, polonês, ucraniano e indonésio) (GOOGLE SCHOLAR METRICS, 2020).

Com indexação automatizada, os únicos critérios de inclusão divulgados são que o periódico tenha ao menos 100 trabalhos publicados no período de avaliação e ao menos uma citação. No menu de ajuda do GSM são divulgados detalhes técnicos que poderão favorecer a indexação de documentos, incluindo o uso de softwares de editoração e de repositórios. O ranking de periódicos é baseado no índice h5, que se refere ao número h de um periódico, em que h artigos publicados nos últimos cinco anos tenham sido citados no mínimo h vezes cada. O atual índice h5 compreende o período 2014-2018 com citações recebidas até julho de 2019, sendo também calculada a mediana h5 dos artigos que compõem o índice h5 (GOOGLE SCHOLAR METRICS, 2020).

Estudos vêm tentando compreender o seu funcionamento e testar a confiabilidade do GSM (JACSO, 2012; LÓPEZ-CÓZAR; CABEZAS-CLAVIJO, 2013; ZHANG; LUN, 2019). As vantagens evidenciadas são a gratuidade e a facilidade de utilização, aliadas ao reconhecimento da marca Google; fatores que podem favorecer a competição entre fornecedores do mercado de avaliação científica (JACSÓ, 2012a; ORDUÑA‐MALEA; LOPEZ-COZAR, 2014).

Além disso, a ampla cobertura engloba documentos de diversos idiomas, de publicações regionais e de países em desenvolvimento, reforçando sua posição como alternativas às bases tradicionais (ZHANG; LUN, 2019). O uso do índice h de cinco anos como principal (e única) métrica também é mencionada, sendo inclusive considerada por alguns autores como uma medida mais adequada que o FI de dois anos, por ser mais constante ano a ano e sem alterações abruptas decorrentes de um único artigo (HARZING, 2013; ORDUNA-MALEA; LOPEZ-COZAR, 2014).

Por outro lado, não faltam críticas ao GSM. A não divulgação do número de periódicos indexados ou de uma lista geral (master list) é apontada como falta de transparência. Como efeito, não se sabe o motivo da não indexação de periódicos que atendem aos requisitos técnicos e de impacto, a exemplo do que ocorre com o periódico Informação & Informação.

Outras críticas incluem a falta de padronização, que resulta em duplicação de entradas por título de algumas publicações (AYLLÓN; LOPEZ-COZAR, ORDUNA-MALEA, 2016). Esse erro foi detectado neste estudo com o periódico Informação & Sociedade: estudos, que aparece duplamente indexado (com e sem o subtítulo). Além disso, a cobertura temporal limitada impede análises mais amplas e dificultam a mensuração da produção científica em nível institucional (ORDUNA-MALEA; AYTAC; TRAN, 2019);

Estudos comprovam também erros em contagens de citações (JACSÓ, 2012a) e a possibilidade de manipulação do índice h5 de autores e periódicos por meio de citações falsas (LÓPEZ-CÓZAR; ROBINSON-GARCÍA; TORRES-SALINAS, 2014). Muitos dos problemas apontados são ainda decorrentes do próprio funcionamento de coleta de citações baseadas na web, que podem sofrer com instabilidade de documentos que desaparecem da rede de uma hora para outra.

A impossibilidade de extração de dados é outra falha latente. Análises métricas utilizando dados do GSM podem consumir muito tempo, inviabilizando a realização de estudos mais amplos (ORDUNA-MALEA; AYTAC; TRAN, 2019). Por estes motivos, o PoP é a ferramenta mais citada para realização de análises de citação com dados do GS.

A despeito das inúmeras pesquisas realizadas, não há unanimidade se o GSM é uma ferramenta suficientemente confiável para ser utilizada como fonte de indicadores oficiais de impacto produção científica. Pode ser útil de forma complementar, visando à coleta de indicadores para análise de periódicos não indexados em bases tradicionais, a exemplo do que foi feito no novo Qualis. Conforme conclui Jacsó (2012b), nenhuma base de dados é perfeita e capaz de representar fielmente a qualidade e o impacto da ciência. Somente uma combinação de vários indicadores bibliométricos com o processo de revisão por pares pode refletir a natureza multidimensional do real impacto científico de periódicos, pesquisadores e grupos de pesquisa.

3 PROCEDIMENTOS METODOLÓGICOS

Foram inicialmente selecionados 66 títulos da coleção “Revistas Brasileiras” da Base de Dados de Ciência da Informação (BRAPCI). Desses, foram selecionados os 46 periódicos que atenderam simultaneamente a dois critérios: ter sido avaliado na área 31 – Comunicação e Informação do Qualis (2016) e, ter a classificação divulgada na lista prévia de periódicos científicos do Qualis CAPES (2019).

A partir dos periódicos selecionados, foram identificados os estratos Qualis 2016 e 2019 (provisório). Foram identificados também o FI, o CiteScore e o Índice h5 (GSM) dos periódicos indexados. Foi calculado o índice h5 (2014-2018) por meio do software Publish or Perish, conforme metodologia proposta pelo novo Qualis. Foram utilizadas estratégias de busca nos campos ISSN e título (por extenso e sigla). Foram extraídos os dados da busca que apresentou maior número de resultados.

Foi utilizado o PoP também para coleta dos dados de citação do GS. Foram considerados artigos publicados no período 2014-2018, com citações recebidas até a data de coleta de dados (dezembro e janeiro de 2020). Os dados foram extraídos em arquivo CSV e receberam tratamento. Foram excluídos registros de material editorial, cartas, normas de publicação, e outros itens considerados não citáveis. Foi também realizada eliminação de registros duplicados, incluindo registros do mesmo artigo em idiomas diferentes, no qual foram somados os números de citações recebidas.

Por fim, os dados foram analisados utilizando a ferramenta de análise estatística do Microsoft Excel (LEVINE et al., 2012). Foram identificados o número de artigo publicados e o total de citações recebidas, a partir dos quais foram calculadas a média de citações por artigo. Foram calculados também o desvio padrão, o número de citações recebidas pelo artigo mais citado e o percentual de artigos sem nenhuma citação.

4 RESULTADOS E DISCUSSÃO

A Tabela 1 mostra o comparativo dos estratos Qualis (2016 e 2019) e os indicadores métricos dos periódicos analisados. Considerando a metodologia proposta pelo Qualis (2019), o FI foi o índice considerado para um, o CiteScore para três e o índice h5 (GSM) para 17 periódicos. Para os demais 25 periódicos, o índice h foi obtido por meio do PoP. Na comparação entre as duas avaliações Qualis, 20 periódicos aumentaram, 15 diminuíram e 11 mantiveram-se nos estratos de nível equivalente.

A distribuição quantitativa entre os estratos é de cinco periódicos no estrato A2 (11,11%), nove no A3 (20%), cinco no A4 (11,11%), quatro no B1 (8,89%), 16 no B2 (35,56%) e seis no B4 (13,33%). A maioria, portanto, foi classificada abaixo da mediana, o que indica uma posição geral desfavorável dos periódicos nacionais da CI diante dos periódicos internacionais de CI bem como das demais disciplinas que compõem a área 31 da CAPES.

Tabela 1 - Classificação Qualis e indicadores de impacto dos periódicos brasileiros de CI

Título	Qualis (2016)	Proposta (2019)	FI	CiteScore	h5	h51
Encontros Bibli	A2	A2	---	---	10	11
Informação & Informação	A2	A2	---	---	---	12
Informação & Sociedade	A1	A2	0.173	0.175	8	9
Liinc em revista	B1	A2	---	---	8	9
Perspectivas em Ciência da Informação	A1	A2	0.1012	0.154	12	15
Transinformação	A1	A2	0.373	0.209	13	15
Acervo	B2	A3	---	---	6	7
Brajis	B1	A3	---	---	5	6
Ciência da Informação	B1	A3	---	0.111	5	7
Em Questão	A2	A3	---	---	7	9
InCID	B1	A3	---	---	6	9
Informação & Tecnologia	B5	A3	---	---	---	5
PontodeAcesso	B1	A3	---	---	---	5
RDBCI	B1	A3	---	---	6	8
RECIIS	B1	A3	---	---	9	12
Comunicação & Informação	B2	A4	---	---	5	5
Logeion	B5	A4	---	---	---	6
Perspectivas em Gestão & Conhecimento	B1	A4	---	---	10	13
RBBD	B1	A4	---	---	5	7
Revista ACB	B2	A4	---	---	5	6
Atoz	B2	B1	---	---	---	5
Informação em Pauta	B5	B1	---	---	---	4
Informação@Profissões	B5	B1	---	---	---	5
RICI	B1	B1	---	---	1	3
Ágora	B1	B2	---	---	3	3
Archeion Online	C	B2	---	---	---	2
Bibliocanto	NC	B2	---	---	---	2
Biblionline	B5	B2	---	---	---	4
Biblioteca Escolar em Revista	B3	B2	---	---	---	3
Biblos	B3	B2	---	---	---	2
Ciência da Informação em Revista	B5	B2	---	---	4	4
Conhecimento em Ação	B5	B2	---	---	---	3
Folha de Rosto	B5	B2	---	---	---	2
Inclusão Social	B4	B2	---	---	3	5
Informação Arquivística	B5	B2	---	---	---	4
Informação na Sociedade Contemporânea	NC	B2	---	---	---	2
Múltiplos Olhares em CI	B5	B2	---	---	2	3
P2P e Inovação	C	B2	---	---	---	5
REBECIN	B5	B2	---	---	---	3
TPBCI	B1	B2	---	---	---	3
Analisando em Ciência da Informação	B5	B4	---	---	---	2
Cajur	NC	B4	---	---	---	2
Convergência em CI	NC	B4	---	---	---	1
Iris - Informação, Memória e Tecnologia	B3	B4	---	---	---	2
Memória e Informação	NC	B4	---	---	---	2
PBCIB	B1	B4	---	---	---	3

Fonte: Dados da pesquisa.

Notas: 1 - Índice h5 do período 2014/2018 gerado no Publish or Perish. 2 - Índice de 2012. 3 - Em negrito, os indicadores supostamente utilizados pelo Qualis (2019).

Constata-se a ausência de títulos classificados no primeiro estrato da proposta do novo Qualis, considerando a diminuição de classificação de três periódicos do estrato A1 para o A2. A nova metodologia não favoreceu os periódicos de maior impacto, pois caso fosse mantida a metodologia anterior, as publicações recentemente indexadas no ESCI da WoS atenderiam ao critério final para classificação no estrato A1. Ressalta-se, contudo, que na avaliação de 2016 havia limitação do percentual de periódicos classificados em cada estrato, de modo que a indexação na WoS, por si só, não garantiria a classificação destes periódicos no estrato A1.

De forma geral, os periódicos agrupados em cada estrato possuem equivalência nos índices, especialmente os de mesma fonte. Algumas incongruências, contudo, foram identificadas. O periódico RECIIS possui índice h5 igual a 9, superior a todos os periódicos do estrato A3, estrato em que foi classificado, e superior ao periódico Liinc em Revista, classificada no estrato A2. O periódico Informação & Tecnologia, que passou do estrato B5 para o estrato A3, não está indexado no GSM e o índice h obtido por meio do PoP foi 5, mesmo índice de periódicos classificados nos estratos A4 e B1. Questiona-se ainda a classificação do periódico Perspectiva em Gestão & Conhecimento no estrato A4, considerando que a publicação está indexada no GSM e possui índice h5 igual a 10, superior aos periódicos do estrato A3. Vale dizer que em todos esses casos, a utilização do índice h5 como parâmetro não exigiria qualquer análise suplementar, mas tão somente a simples comparação entre os valores obtidos pelos periódicos.

Conforme mencionado, a CAPES utilizou um modelo de regressão para comparação de periódicos com base em indicadores distintos, como por exemplo, o CiteScore e o índice h5. A fórmula desse modelo não foi divulgada. No caso do periódico Ciência da Informação, que um índice 0.111 do CitesScore equipara a publicação a periódicos com índice h5 maior ou igual a 5 e menor ou igual a 9, aproximadamente. Isso implica dizer que a indexação dos periódicos no SJR e no JCR e, consequentemente, obtenção dos respectivos índices de impacto, possibilita uma avaliação significativamente superior em comparação ao uso do índice h5.

Assim como foi constatado por Jacsó (2012a), há divergências entre o índice h do GSM e obtido por meio do PoP. Nesse caso, as divergências podem ter sido agravadas pela diferença entre a data final de coleta de dados de citação do GSM (jul. 2019) e da presente pesquisa (dez. 2019 - jan. 2020). Deve-se ressaltar ainda que o índice h (PoP) obtido nesta pesquisa não pode não ser o mesmo obtido pela CAPES, considerando as diferentes datas de coleta de dados e eventuais correções promovidas pela agência no processo de avaliação.

A Tabela 2 mostra o resultado da análise estatística baseada na frequência de citações recebidas pelos artigos. Os periódicos distribuídos em cada estrato apresentam resultados similares, o que implica dizer que os indicadores utilizados pelo Qualis refletem com certo nível de precisão o impacto das publicações.

Tabela 2 - Análise estatística do número de citações no GS dos periódicos brasileiros de CI

	Título	n.	cit.	m.	dp.	mx.	% 0
A2	Encontros Bibli	177	489	2,76	5,32	46	38,98%
	Informação & Informação	243	462	1,90	4,09	28	53,08%
	Informação & Sociedade	228	650	2,85	19,70	296	52,63%
	Liinc em revista	220	365	1,65	3,74	29	55,90%
	Perspectivas em Ciência da Informação	294	893	3,03	5,40	34	39,79%
	Transinformação	134	556	4,15	7,32	57	24,59%
A3	Acervo	178	240	1,34	2,54	18	56,18%
	Brajis	172	193	1,12	2,22	15	59,89%
	Ciência da Informação	319	168	0,52	1,69	19	81,82%
	Em Questão	222	438	1,97	2,82	18	35,58%
	InCID	150	252	1,68	3,98	29	60,07%
	Informação & Tecnologia	31	46	1,48	3,88	16	83,88%
	PontodeAcesso	160	125	0,78	1,56	12	62,50%
	RDBCI	228	305	1,33	1,86	16	44,30%
	RECIIS	170	365	2,14	7,96	98	55,89%
A4	Comunicação & Informação	172	91	0,52	1,73	13	80,82%
	Logeion	73	154	2,10	6,94	46	58,91%
	Perspectivas em Gestão & Conhecimento	279	693	2,48	4,80	42	52,69%
	RBBD	608	205	0,33	1,14	11	84,38%
	Revista ACB	177	150	0,84	1,80	16	64,41%
B1	Atoz	69	91	1,31	1,85	8	53,63%
	Informação em Pauta	95	78	0,82	2,80	20	77,90%
	Informação@Profissões	95	42	0,44	1,38	8	84,22%
	RICI	179	111	0,62	1,50	13	71.51%
B2	Ágora	70	34	0,48	1,15	7	77,15%
	Archeion Online	36	9	0,25	0,64	3	83,34%
	Bibliocanto	41	31	0,75	4,36	28	90,25%
	Biblionline	110	30	0,27	0,93	5	90,91%
	Biblioteca Escolar em Revista	63	40	0,63	1,14	5	63,50%
	Biblos	190	50	0,26	0,95	9	87,37%
	Ciência da Informação em Revista	165	75	0,45	1,18	10	78,79%
	Conhecimento em Ação	45	23	0,51	1,34	8	73,34%
	Folha de Rosto	127	25	0,19	0,50	3	83,88%
	Inclusão Social	149	57	0,38	1,01	6	82,56%
	Informação Arquivística	76	54	0,70	1,93	13	77,64%
	Informação na Sociedade Contemporânea	51	12	0,23	0,86	5	90,20%
	Múltiplos Olhares em CI	131	19	0,14	0,74	6	94,66%
	P2P e Inovação	88	69	0,78	1,44	6	66%
	REBECIN	83	38	0,45	1,08	8	72,29%
	TPBCI	119	112	0,94	1,91	9	66,39%
B4	Analisando em CI	13	7	0,53	0,96	3	69,32%
	Cajur	90	17	0,18	0,51	3	85,6%
	Convergência em CI	47	5	0,10	0,37	2	91,49%
	Iris	11	2	0,18	0,40	1	81,81%
	Memória e Informação	8	2	0,25	0,70	2	87,5%
	PBCIB	36	54	1,50	1,59	7	36,11%

Fonte: Dados da pesquisa.

Notas: n. = número de documentos recuperados; cit. = citações recebidas; m. = média de artigo citado; dp. = desvio padrão; mx. = artigo mais citado da série; % 0 = Porcentagem de artigos com citação zerada.

Diferenças substanciais são observadas entre periódicos posicionados acima da mediana (estratos A) e os posicionados abaixo (estratos B). Os de classificação superior apresentam maior produtividade (número de artigos publicados) e maior número de citações recebidas, que se refletem em melhores resultados nos demais critérios analisados. Um padrão comum entre a maioria dos periódicos classificados abaixo da mediada é a baixa produtividade (inferior a 100 artigos) e um elevado número de artigos sem nenhuma citação.

Os periódicos classificados no estrato A2 possuem média de citação superior a 1,5 por artigo, contêm artigos com alto número de citações recebidas e percentual de artigos sem citações entre 24,5% e 60%, resultado de um maior impacto dos artigos geral dos artigos publicados. Também possuem desvio padrão mais elevado, considerando a maior variação entre artigos sem citação e os mais citados.

Gradativamente, os resultados agrupados nos estratos sofrem diminuição. A utilização dos índice h5 para comparação entre os títulos, contudo, promove algumas discrepâncias, como classificação de periódicos com resultados similares em estratos diferentes.

5 CONSIDERAÇÕES FINAIS

As mudanças na metodologia de avaliação do Qualis periódicos propostas pela Capes tornaram a avaliação estritamente objetiva, limitada aos indicadores de impacto de citação calculados a partir de bases de dados científicas reconhecidas internacionalmente. Embora ainda seja prematura qualquer análise de mérito dessa nova proposta, alguns aspectos positivos já podem ser identificados, tais como facilitar a própria atividade de avaliação da Capes e a adoção do índice h5 dos periódicos indexados no GSM, pois possibilita a análise de impacto de periódicos que não possuem FI ou CiteScore, que no caso dos periódicos nacionais de CI são a ampla maioria. Nesse sentido, o uso do GSM como ferramenta de análise alternativa vai ao encontro no que vêm sendo sugerido pela literatura.

Uma problemática foi identificada na utilização do Publish or Perish para cálculo do índice h dos periódicos não indexados. Foram detectadas diversas discrepâncias nos dados coletados, tais como a duplicação de registros, a contagem incorreta de citações e a indicação de artigos de periódico diverso do pesquisado. Dependendo do caso, tais erros podem influenciar no índice h do periódico e, por consequência, influenciar na classificação Qualis. Assim, os critérios de correção desses erros devem ser divulgados detalhadamente pela Capes, visando garantir a transparência do sistema de avaliação e possibilitar aos editores revisar os procedimentos.

Os resultados sugerem que, embora a maioria de periódicos tenha aumentado seu nível de classificação, a nova metodologia do Qualis não favoreceu os periódicos brasileiros de CI de maior impacto, considerando a inexistência de títulos no Estrato A1. Caso fosse mantido os mesmos critérios da avaliação anterior, havia possibilidade de classificação de mais cinco periódicos no estrato A1, considerando a recente indexação destes no ESCI da Web of Science.

Assim, o avanço de qualidade e internacionalização de publicações de qualidade da CI nacional, tais como a Encontros Bibli, a Em Questão, a Informação & Informação entre outras, acabaram não sendo favorecidas na nova metodologia proposta.

REFERÊNCIAS

ABRASCO. Fórum de Coordenadores de Pós-Graduação em Saúde Coletiva. Apreciação da proposta de Qualis periódico referência. Disponível em: https://www.abrasco.org.br/site/coordenadoresdepos/wp- content/uploads/sites/2/ 2019/08/Carta-ABRASCO-sobre-Proposta-Qualis-Referencia.pdf. Acesso em: 20 jan. 2020.

CLARIVATE ANALYTICS. Web of Science Core Collection: Emerging Sources Citation Index. 2017. Disponível em: http://wokinfo.com/media/pdf/ESCI_Fact_Sheet.pdf. Acesso em: 20 jan. 2020.

COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Aprimoramento do processo de avaliação da pós-graduação: esclarecimentos a respeito do Qualis Periódico e avaliação da produção intelectual. jul. 2019. 2019c. Disponível em: https://www.capes.gov.br/images/novo_portal/documentos/DAV/avaliacao/18072019_Esclarecimentos_Qualis2.pdf. Acesso em: 21 nov. 2019.

COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Infográfico: processo de avaliação da pós-graduação é aprimorado, jul. 2019. 2019b. Disponível em: https://www.capes.gov.br/36-noticias/9731-processo-de-avaliacao-da-pos-graduacao-e-aprimorado. Acesso em: 21 nov. 2019.

COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). História e missão, 24 set. 2019. 2019a. Disponível em: https://www.capes.gov.br/historia-e-missao. Acesso em: 22 nov. 2019

COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Qualis Periódicos e classificação de produção intelectual. Avaliação, Instrumentos de apoio, jul. 2019. Disponível em: https://www.capes.gov.br/avaliacao/instrumentos-de-apoio/qualis-periodicos-e-classificacao-de-producao-intelectual. Acesso em: 21 nov. 2019.

COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Relatório do Qualis Periódicos: Área 31: COMUNICAÇÃO E INFORMAÇÃO. 2019d. Disponível em: https://www.capes.gov.br/images/Relatorio_qualis_periodicos_referencia_2019/Relatorio_qualis_comunicacao_informacao.pdf. Acesso em: 23 nov. 2019.

COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Tabela de Áreas de Conhecimento/Avaliação, 21 mar. 2018. Disponível em: https://www.capes.gov.br/avaliacao/instrumentos-de-apoio/tabela-de-areas-do-conhecimento-avaliacao. Acesso em: 22 nov. 2019.

CUETO, M. A história das ciências e o Qualis Periódicos. Hist. cienc. saude-Manguinhos, Rio de Janeiro , v. 26, n. 4, p. 1083-1084, dez. 2019. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-59702019000401083 &lng=pt&nrm=iso. Acesso em: 28 jan. 2020.

ELSEVIER. Scopus. 2019. Disponível em: https://www.elsevier.com/pt-br/solutions/scopus. Acesso em: 21 nov. 2019.

FERRER-SAPENA, A. et al. The Impact Factor as a measuring tool of the prestige of the journals in research assessment in mathematics. Research Evaluation, v. 25, n. 3, p. 306–314, 2016. DOI 10.1093/reseval/rvv041.

HARZING, A. A preliminary test of Google Scholar as a source for citation data: a longitudinal study of Nobel prize winners. Scientometrics, v. 94, n. 3, p. 1057–1075, 2013. DOI DOI 10.1007/s11192-012-0777-7.

HOU, J. Exploration into the evolution and historical roots of citation analysis by referenced publication year spectroscopy. Scientometrics, Dordrecht, v. 110, n. 3, p. 1437-1452, 2017. DOI:10.1007/s11192-016-2206-9. Disponível em: https://www.semanticscholar.org/paper/Exploration-into-the-evolution-and-historical-roots-Hou/96ccbf8256fa87ef3bc4a23add78ad65bb06ef53. Acesso em: 02 dez. 2017.

JACSÓ, P. Google Scholar Metrics for Publications: the software and content features of a new open access bibliometric service. Online Information Review, v. 36, n. 4, p. 604-619, 2012. Disponível em: https://www.emerald.com/insight/content/doi/10.1108/14684521211254121/full/html. Acesso em: 10 dez. 2020.

JACSO, P. Grim tales about the impact factor and the h-index in the Web of Science and the Journal Citation Reports databases: reflections on Vanclay’s criticism. Scientometrics, Dordrecht, v. 92, n. 2, p. 325-354, 2012. Disponível em: https://link.springer.com/article/10.1007/s11192-012-0769-7. Acesso em: 10 jan. 2020.

KRAMPL, A. Journal Citation Reports. Journal of the Medical Library Association, v. 107, n. 2, p. 280-283, Apr. 2019. DOI dx.doi.org/10.5195/jmla.2019.646. Acesso em: http://jmla.pitt.edu/ojs/jmla/article/view/646. Acesso em: 23 jan. 2020.

LARIVIÈRE, V.; SUGIMOTO, C. R. The Journal Impact Factor: a brief history, critique, and discussion of adverse effects. arXiv, Springer Handbook of Science and Technology Indicators, 2018. Disponível em: https://arxiv.org/ftp/arxiv/papers/1801/1801.08992.pdf. Acesso em: 20 jan. 2020.

LEVINE, David M. et al. Estatística: teoria e aplicações usando microsoft® excel em português. 6. ed. Rio de Janeiro: LTC, 2012.

LEYDESDORFF, L.; BORNMANN, L. The operationalization of “Fields” as WoS Subject Categories (WCs) in evaluative bibliometrics: the cases of “Library and Information Science” and “Science & Technology Studies”. Journal of the Association for Information Science and Technology, v. 67, n. 3, p. 707-714, 2016. DOI: 10.1002/asi.23408

LÓPEZ-CÓZAR, E. D.; CABEZAS-CLAVIJO, A. Ranking journals: could Google Scholar Metrics be an alternative to Journal Citation Reports and Scimago Journal Rank? Learned Publishing, v. 26, n. 2, p. 101–114, Apr. 2013. DOI 10.1087/20130206. Disponível em: https://arxiv.org/abs/1303.5870. Acesso em: 25 jan. 2020.

LÓPEZ-CÓZAR, E. D; ROBINSON-GARCÍA, N.; TORRES-SALINAS, D. The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators. Journal of the Association for Information Science and Technology, v. 65, n. 3, p. 446-54, 2014.

MUGNAINI, R.; PIO, L. A. S.; PAULA, A. de S. A. de. A comunicação científica em periódicos no Brasil: índices de citação, indexação e indicadores bibliométricos na avaliação da ciência. In: CARNEIRO, F. F. B.; FERREIRA NETO, A.; SANTOS, W. dos (org.). A comunicação científica em periódicos. Curitiba: Appris, 2019. p. 173-202.

ORDUÑA-MALEA, E. et al. La revolución Google Scholar: destapando la caja de Pandora académica. Granada: Editorial Universidad de Granada, 2016. ISBN 978-84-338-5985-3.

ORDUÑA‐MALEA, E.; AYTAC, S.; TRAN, C. Y. Universities through the eyes of bibliographic databases: a retroactive growth comparison of Google Scholar, Scopus and Web of Science. Scientometrics, v. 121, n. 1, p. 433-450, 2019. DOI: https://doi.org/10.1007/s11192-019-03208-7.

ORDUÑA‐MALEA, E.; LÓPEZ-CÓZAR, E. D. Google Scholar Metrics evolution: an analysis according to languages. Scientometrics, v. 98, p. 2353–2367, 2014. Disponível em: https://arxiv.org/ftp/arxiv/papers/1310/1310.6162.pdf. Acesso em: 25 jan. 2020.

PLATAFORMA SUCUPIRA. 2020. Disponível em: https://sucupira.capes.gov.br/sucupira/. Acesso em: 20 jan. 2020.

VANCLAY, J. K. Impact factor: Outdated artefact or stepping-stone to journal certification? Scientometrics, v. 92, n. 2, p. 211-238, 2012. Disponível em: https://link.springer.com/article/10.1007/s11192-011-0561-0. Acesso em: 20 jan. 2020.

WALTMAN, L. A review of the literature on citation impact indicators. Journal of Informetrics, v. 10, n. 2, p. 365-391, 2016. DOI: 10.1016/j.joi.2016.02.007 Disponível em: https://www.researchgate.net/publication/279968736_A_review_of_the_literature_on_citation_impact_indicators. Acesso em: 02 dez. 2019.

WALTMAN, L.; TRAAG, V. A. Use of the journal impact factor for assessing individual articles need not be wrong. arXiv, preprint arXiv:1703.02334, 2017. Disponível em: https://arxiv.org/ftp/arxiv/papers/1703/1703.02334.pdf. Acesso em: 20 jan. 2020.

WEB OF SCIENCE. Bases de dados. 2019. Disponível em: https://images.webofknowledge.com/images/help/pt_BR/WOK/hp_database.html. Acesso em: 23 nov. 2019.

ZHANG, Y.; LUN, H. Is Google Scholar useful for the evaluation of non-English scientific journals? The case of Chinese journals. Learned Publishing, v. 32, p. 154-162, 2019. DOI 10.1002/leap.1208.