OS RANKINGS UNIVERSITÁRIOS COMO SISTEMAS DE ORGANIZAÇÃO DO CONHECIMENTO:
considerações teóricas

University rankings as KOS: theoretical considerations

José Augusto Chaves Guimarães1

RESUMO

Considerando que os Sistemas de Organização do Conhecimento – SOC – constituem tradicionalmente o núcleo do campo disciplinar da Organização do Conhecimento, por permitirem o processo de representação, busca-se identificar e caracterizar os rankings universitários por meio da análise de sua natureza classificatória, valendo-se dos quatro rankings internacionais mais importantes: THE, Shangai, Leiden e QS a partir de suas notações, facetas, edições e formas de atualização, Os resultados confirmam que tais rankings atuam como SOC pois organizam um conhecimento para propiciar a geração de um novo conhecimento, mais especificamente como sistemas facetados de classificação permeados, como os demais SOC, por vieses culturais específicos Por outro lado, seu dinâmico processo de actualização permite uma constante remodelação de sua estrutura, em consonância com a velocidade dos tempos atuais.

Palavras-chave: Sistemas de Organização do Conhecimento. Rankings Universitários. Estruturas classificatórias.

ABSTRACT

Considering the knowledge organization systems as a core issue in the knowledge organization field, this paper focuses on international university rankings as a new incarnation of KOS through an analysis of their classificatory nature. For this, four important international university rankings are analyzed: THE, Shanghai, Leiden, and QS in terms of their notation, facets, citation order, editions, and updating. The results confirm their classificatory nature as essentially faceted systems whose structure is derived from specific contextual slants and whose dynamic updating process leads to a constant remodeling of the structure and the weight of the facets.

Keywords: Knowledge Organization Systems. University Rankings. Classificatory structures.

Artigo submetido em 02/12/2020 e aceito para publicação em 12/12/2020

1. 1 INTRODUÇÃO

   A área de organização do conhecimento, na Ciência da Informação, centra-se tradicionalmente nos Sistemas de Organização do Conhecimento – SOC cuja trajetória transita entre a organização dos seres, a organização dos saberes e a organização dos documentos (HODGE, 2000; POMBO, 1998).

   Especificamente no âmbito da organização do conhecimento materializado e socializado em documentos, os SOC apresentam-se me uma multitude de configurações, tais como glossários, dicionários, diretórios, taxonomias, esquemas de classificação, listas de cabeçalhos de assunto, tesauros, mapas conceituais ontologias, entre outras (ZENG, 2008).

   Em virtude de uma crescente complexidade da realidade social, novas perspectivas se abriram aos SOC, que passaram a assumir funções mais amplas, pressupondo abordagens híbridas, com novos designs e novas denominações (VICKERY, 2008; LAURUHN; GROTH, 2016)

   Com isso, ao lado de SOC voltados para a representação de assuntos em documentos têm lugar também instrumentos para representações ponderadas de conteúdos informacionais para fins de avaliação, tal como ocorre nos rankings universitários internacionais ainda que, como destaca Tennis (2012), a presença de hierarquias, em SOC, já pressupõe, por si só, um ranqueamento.

   Os rankings universitários apresentam um esquema classificatório composto por uma estrutura facetada de indicadores e subindicadores (que podem ser considerados categorias e subcategorias de assunto), estrutura essa aplicada aos dados das universidades de modo a que se chegue a um escore final, uma notação que evidencia uma representação temática (GNOLI, 2018). Tais sistemas pressupõem um processo analítico-sintético cuja análise baseia-se na avaliação da universidade a partir de cada categoria e subcategoria e a síntese ocorre por meio da aplicação de um processo de ponderação similar àquele que ocorre em alguns sistemas de indexação e de classificação (SPARCK-JONES, 1973; SALTON & BUCKLEY, 1988; FOSKETT, 1996; KANG & LEE, 2005; REN; SOHRAB, 2013).

   Alie-se a isso o fato de que cada indicador e subindicador de um desses rankings apresentar regras específicas para sua aplicação, assemelhando-se à função das scope notes em tesauros.

   Como resultado desse processo analítico sintético, chega-se a um escore da posição relativa de uma dada universidade, podendo ser considerado uma espécie de notação, aqui entendida como um sistema de símbolos que pode ser combinado conforme determinadas regras sintáticas de modo a representar os diversos significados em um dado domínio podendo, dessa formam serem consideradas como linguagens especiais para fins específicos (SAMMET; TABORY, 1968).

   Embora especialmente úteis para o planejamento e a autoavaliação das universidades, os rankings são muitas vezes utilizados – e interpretados – de uma maneira distorcida, centrada unicamente nos resultados sem levar em conta aspectos como sua historicidade, objetivos e metodologia ou, em outras palavras, os vises contextuais – e culturais. Fruto desse cenário, observa-se que na última década já vem surgindo, inclusive, uma literatura voltada para a avalição desses rankings (JEREMIC, 2011).

   Como desataca Benoit Millot (2015, p.156), esse processo de ranqueamento do ensino superior é bastante complexo, uma vez que as instituições avaliadas revelam diversidade de funções e de objetivos e não existe consenso de onde residiria efetivamente a qualidade de um dado sistema educacional e, como consequência, não há indicadores que possam refletir tais aspectos, razão pela pouca investigação ainda se tem acerca dos rankings universitários.

   A exemplo dos SOC tradicionais, os rankings universitários trazem consigo elementos analítico-sintéticos, estruturas facetadas, regras de aplicação e notações, e, também, encontram-se permeados por concepções, paradigmas, tendências (na condição de slants) – e mesmo preconceitos (na condição de biases) de seus espaço e tempo (BARITÉ, 2001; GUIMARÃES, 2017).

   A questão contextual dos SOC vem ganhando especial espaço investigativo no âmbito da organização do conhecimento, mais especialmente a partir do aporte metodológico da análise de domínio (BORGATTI,1994; HJØRLAND & ALBRECHTSEN, 1995; HJØRLAND, 2002, 2017; TENNIS, 2003; SMIRAGLIA, 2012, 2015).

   A vista disso, sente-se a necessidade de refletir acerca dos aspectos estruturais e contextuais que caracteizam os rankings universitários como SOC e em que medida tais aspectos se articulam, uma vez que os rankings univeristários constituem construções artificiais permeadas por concepções próprias o que os aproxima da natureza artificial, contingente determinante dos SOC apontada por Barité (2001).

   Desse modo, o presente artigo, partindo de uma reflexão acerca dos SOC no âmbito da organização do conhecimento, busca analisar, a partir dos quatro rankings universitários de maior abrangência internacional – THE, QS, Shangai e Leiden – os aspectos culturais e os vieses culturais que os permeiam.

   2 SISTEMAS DE ORGANIZAÇÃO DO CONHECIMENTO - SOC

   A organização do conhecimento, como destcam Witty (1973) e San Segundo (1996) entre outros, permeia a própria história da humanidade uma vez que ao processo de produção de conhecimento correponde, na mesma medida, a necessidade de organizá-lo para que seja socialmente apropriado e possa, por conseguinte, dar margem à construção de um novo conhecimento, em um processo de natureza helicoidal (GUIMARÃES, 2008).

   Desse modo, tem-se um conhecimento gerado pela sociedade que, uma vez socializado por conta de sua materialização ou registro, constitui-se naquilo que Michael Buckland (1991) denomina “informação como coisa” Esse conceito de materialidade decorre, como destaca Hansson (2013), de um contexto de produção social de documentos, constituindo uma base material para o próprio conceito de epistemologia, na medida em que esta se torna tão somente discernível, para a sociedade, a partir da produção e disseminação de documentos.

   Caracterizada por García Marco (1995) como disciplina de natureza tanto científica (por estar sujeita ao método científico) quanto social (dado seu caráter aplicado), a organização do conhecimento, para Smiraglia (2002) encontra centralidade nas atividades relativas à construção de ferramentas para o armazenamento e recuperação daquilo que denomina como entidades documentárias assim como a gestão, o uso e a avaliação de tais ferramentas (BARITÉ, 2001). Nesse contexto, como ressalta Miranda (1999, p.69) decorre do fato de pressupor análise, reflexão e aplicação de fundamentos científicos, revelando uma natureza inter e transdisciplinar (SZOSTAK; GNOLI & LÓPEZ HUERTAS, 2016) e apresentando-se como uma “plataforma de integração das ciências documentais” (ESTEBAN NAVARRO, 1995, p. 86).

   Em que pesem os esforços do homem, ao longo da história, em organizar o conhecimento por ele produzido, como já destacado, foi notadamente a partir das obras de Henry Evelyn Bliss The organization of knowledge and the system of sciences (BLISS, 1929) e The organization of knowledge in libraries (BLISS, 1933), que a expressão organização do conhecimento adentrou ao universo da Biblioteconomia (e, posteriormente, da Ciência da Informação). Assim, como destaca Broughton (2008), Bliss pode ser considerado o primeiro a “empregar o termo organização do conhecimento, que, em nossos dias, é largamente utilizado para descrever o campo de assuntos relacionado com o armazenamento, recuperação e preservação da informação”.

   Decorridas quatro décadas, o termo voltou a ser empregado por além de ser empregado por Dagobert Soergel, em 1971, na obra Organization of knowledge and Documentation e, por Ingetraut Dahlberg, em 1973, em sua tese de doutorado intitulada Foundations of universal organization of knowledge, as quais tratavam, respectivamente, da relação da organização do conhecimento com a documentação e das bases teóricas dessa área de estudos (DAHLBERG, 1995, 2006). Assim, Ao traçar um panorama histórico da organização do conhecimento, Ingetraut Dahlberg (1993, p.211), referindo-se à precursora obra de Henry Evelyn Bliss, afirma que, em que pese o fato de sempre havermos lidado com um conhecimento que foi produzido, sedimentado e coletado, apenas mais recentemente a organização do conhecimento “tem sido reconhecida como uma área autônoma de conhecimento necessitando encontrar seu próprio lugar na sociedade de modo a ser reconhecida no âmbito do sistema das ciências”.

   Dahlberg (2006, p.12) situa no universo conceitual a centralidade da área, seja na estrutura lógica da representação conceitual seja nas atividades de nomear conceitos por meio dos termos mais adequados. Indo além, destaca Green (2008, p.150) que “as relações constituem o núcleo efetivo da organização do conhecimento na medida em que, ao buscar um documento em especial ou informação sobre um determinado tema, o usuário geralmente dirige o sistema e busca com base em relações”. E é exatamente nessa seara que se colocam os sistemas de organização do conhecimento - SOC.

   Como destaca Mazzochi (2017), os SOC refletem distintos momentos históricos e, destarte, caracterizam-se por diferentes estruturas e funções específicas dos mas tendo por elementos caracterizados comum o fato de serem concebidos para subsidiar a organização do conhecimento.

   Segundo Hjorland (2008), os SOC podem ser entendidos em um sentido amplo e em um sentido estrito. No primeiro caso tem-se, por exemplo, as enciclopédias, bibliotecas, bases bibliográficas e, ainda em um sentido mais amplo, os sistemas conceituais, as teorias, as disciplinas bem como a divisão social do trabalho. No entanto, o termo é mais utilizado , no âmbito da Ciência da Informação, em um sentido mais estrito, referindo-se a itens funcionais (ferramentas ou instrumentos) utilizados para organizar o conhecimento registrado, facilitando seu gerenciamento e sua recuperação, como é o caso dos sistemas de classificação, das listas de cabeçalhos de assunto, dos tesauros e das ontologias, entre outros) (MAZZOCHI, 2017).

   Na condição de pontes entre as necessidades informacionais do usuário e a informação efetivamente disponível, para que a informação seja acessada e apropriada os SOC modelam uma estrutura (seus elementos e relações entre eles) de um conjunto de conhecimentos, compreendendo uma ampla variedade de esquemas que “subjazem à estrutura semântica de um domínio e fornecem uma semântica e uma forma de navegação a partir de um conjunto de rótulos, definições, tipologias, relações e propriedades dos conceitos” (HODGE, 2000; ZENG, 2008; SOERGEL, 2009; BRATKOVÁ; KUCEROVÁ, 2014 ).

   Lara (1993, p.4), referindo-se às linguagens documentárias, a partir da concepção cunhada por Gardin (1966, 1973)) e por Coyaud (1966), considera os SOC como “instrumentos comutadores ou de conversão, uma vez que permitem representar a informação presente numa determinada forma linguística em outra forma, dita documentária», revelando metalinguagem que permite reelaborar conhecimento em informação (TÁLAMO, 1997). Para Brascher (2014) e Mazzochi (2017), os SOC constituem ferramentas que revelam relações semânticas, podendo, segundo Hodge (2000), ser classificados a partir de um conjunto de traços distintivos, a saber:

   Quadro 1 - Classificação dos SOC

   Categories of KOSs General features of the categories Specific types of KOSs LISTS Linear and less structured systems; emphasis on the lists of terms (frequently provided with definitions) Authority files Glossaries Dictionaries Gazetteers  CLASSIFICATIONS AND  CATEGORIES Hierarchically structured systems; emphasis on the creation of subject sets Subject headings Classification schemes Taxonomies Categorization schemes (the last three terms are frequently used interchangeably)    RELATIONSHIP LISTS Complex and highly structured systems; emphasis on the connections between terms and concepts Thesauri Semantic networks Ontologies

   Fonte: Hodge (2000)

   Zeng (2008) estabelece um esquema cartesiano em que se analisam, comparativamente as dimensões (no eixo da ordenada) e as características (no eixo da abscissa) dos diferentes tipos de SOC.

   Figura 1: Tipos de SOC

   

   Fonte: Zeng (2008)

   Souza, Tudhope e Almeida (2010), por sua vez, a partir de uma sistematização da literatura a respeito, propõem critérios para a avaliação de SOC, a saber:

   Quadro 2 - Dimensões para avaliação de SOC

   Hodge, 2000	Structure and complexity, Relationship between terms, Historical function
   Soergel, 2001a and 2001b	Purpose, Coverage of concepts and terms, Sources, Quality of usage analysis, Conceptual analysis and conceptual structure, Terminological analysis, Use of precombination in the index language, Access and display, Format of presentation of the vocabulary, Updating
   Tudhope, 2004	Entities (types, coordination, size, depth), Relationships (types, expressiveness, formality), Typical application to objects in domain of interest (purpose), Relationship applying concepts to objects in domain
   Wright, 2006 and 2008	Communities of Practice, Systematic resources, Non-systematic resources, Technology orientation, Degrees of indeterminacy, Language & knowledge-oriented standards, Standards bodies
   Almeida and Souza, 2009	Representational power, Semantic Expressiveness, Intelligibility (for Humans), Formalization (machine oriented)

   Fonte: Souza; Tudhope; Almeida (2010, p.125)

   Hoje os SOC se deparam com uma amplificação de seu espectro de atuação, especialmente em um momento em que a sociedade convive com a web semântica, os mecanismos de busca do Google e os big data, o que faz Mazzochi (2017) destacar os novos desafios e papéis que se colocam aos SOC nesse novo contexto.

   Em termos estruturais, Gardin (1966, 1973), então referindo-se àquilo que denominava como linguagens documentárias, destacava a existência de um léxico (a partir de filtragem e purificação, da linguagem natural), uma rede paradigmática (a partir da organização desse léxico), e uma rede sintagmática (a partir das relações que podem ser estabelecida no momento de aplicação desse léxico organizado a uma realidade documental ou a uma necessidade informacional (NATALI, 1978). Essa abordagem, por sua vez, encontra-se presente, mais recentemente, nas reflexões de Peters & Weller (2008), ao discutirem as relações paradigmáticas e sintagmáticas em SOC.

   Se, por um lado, os SOC apresentam toda uma dimensão estrutural a partir de seu léxico e de suas relações paradigmáticas, uma outra dimensão, igualmente significativa, se apresenta, a partir das relações sintagmáticas: a dimensão contextual, o que tangencia toda uma discussão de natureza ética.

   Assim, e em que pese o fato de os SOC serem, em geral, construídos a partir de uma perspectiva racionalista e empiricista (KIEL, 1994; HJØRLAND, 2003; TENNIS, 2008; DOUSA, 2008), baseada em garantias literária, terminológica e de uso (Barité, 2010), não se pode esquecer que são produtos de contextos históricos e culturais e seus conceitos e sua estrutura refletem os domínios de conhecimento a partir das variáveis contextuais em que essas ferramentas são criadas (MCTAVISH; NEAL; WATHEN, 2011), razão pela qual refletem e veiculam os valores desses contextos de criação e de uso.

   Na literatura da área, autores como Berman (1971), Olson (2002), García Gutierrez (2002), Beghtol (2002, 2005), Pinho 2006) e López-Hueartas (2008), entre outros, já destacaram essa dimensão contextual dos SOC, reflexo da atuação de um grupo de pesquisadores com forte atuação na International Society for Knowledge Organization - ISKO, como Birger Hjorland, Jens-Erik Mai, Hope Olson, Clare Beghtol, Joseph Tennis, Richard Smirglia e Maria José López Huertas, entre outros, tem se voltado para uma abordagem de natureza epistemológica e cultural da organização do conhecimento – e, por decorrência, dos SOC – com lastro em uma abordagem sociocognitiva, em que se destacam os trabalhos de Hjorland e de Frohmann, no sentido de se contextualizarem os processos, produtos e instrumentos de organização do conhecimento a partir das comunidades discursivas envolvidas. Nesse sentido, as concepções que por séculos permearam a área, relativamente a sistemas e abordagens universais, dão lugar a abordagens locais que possam dialogar entre si, abrindo espaço para a denominada interoperabilidade cultural.

   Nesse contextgo, emergem os vieses culturais (cultural slants - que se situam no tempo e no espaço (GUIMARÃES, 2017), muitas vezes evidenciadores de preconceitos que podem levar o usuário a danos. Nesse caso, quando os document surrogates ‒ expressão cunhada por Hope Olson (2002) para referir-se às representações do conhecimento a partir da aplicação dos SOC, aqui entendidas como resultado de um poder de nomear que a sociedade confere a quem aplica os SOC para criar substitutos documentais - trazem consigo preconceitos ou vieses negativos, pode-se dizer que contém biases, as quais podem ser danosas a usuários individualmente ou a comunidades usuárias na medida em que promovem desvios na representação de assunto podendo levar a danos, prejuízos e exclusões, sejam eles intencionais ou acidentais. (ADLER & TENNIS, 2013).

   Milani (2014, p.48-49) após analisar exausitivamente o fenômenos das biases (viezes culturais negativos) na representação de assunto, apresenta uma catgorização de biases em SOC, a saber:

   Quadro 3 − Tipos de problemas relacionados às biases negativas em instrumentos de representação de assunto

   Categoria	Escopo	Exemplo	Porque é perigosa
   Tratamento do tópico como uma exceção	O tópico de assunto é representado como estando “do lado de fora” de uma norma aceita	Cabeçalhos de assunto na LCSH que utilizavam a construção: “mulheres como...”, os quais tornaram-se obsoletos; Nas classificações, o tratamento da literatura a partir da língua em que está escrita causa problemas aos países colonizados, pois, além de vir primeiro na estante, maior espaço e subdivisões cronológicas mais específicas são dados à língua dos colonizadores, o que não ocorre com a literatura indígena de um país, por exemplo;	Impressão de que esses indivíduos são anômalos
   Guetização do tópico	O tópico de assunto é reunido e isolado do todo ao invés de integrado	Obras referentes aos aborígenes norte-americanos estão separadas da cultura norte-americana dominante e, geralmente, encontram-se apenas nas classes relacionadas à história; No contexto dos Women’s studies, a guetização tem sido vista cada vez menos como uma conveniência (isto é, deixar juntas todas as obras que tratam deste tema) e cada vez mais como uma limitação (isto é, por que retirar as obras do contexto geral da coleção?)	Sugere que todos os trabalhos sobre um determinado tópico se encontram juntos e isolados; Os interesses especiais ou especializados seriam considerados como o outro a ser deixado de fora do mainstream;
   Omissão do tópico	Sugere uma falta de atualização dos instrumentos de representação de assunto	A LCSH dificulta que posturas ideológicas diferentes sejam representadas, por exemplo, a tradição dialética de Pierre Bourdieu; Nas classificações CDD, CDU e LCC, as igrejas independentes da África não podem ser representadas, enquanto a Cristandade dominante na África, outras religiões africanas e igrejas independentes dos Estados Unidos o são;	Pode revelar algumas presunções
   Estrutura inadequada do instrumento	Maneiras pelas quais os termos são agrupados e má disponibilização do espaço; Nas listas de cabeçalhos de assunto, a estrutura sindética pode falhar ao relacionar tópicos.	Problemas para representar comunidades africanas consistem em: entendimento impreciso da língua africana, representação das pessoas de acordo com a maneira como estão agrupadas, má alocação no tocante às culturas africanas se comparada ao espaço destinado às culturas europeias e norte-americanas brancas e mecanismos de divisão inapropriados (por exemplo, língua)	Ao confiarmos na habilidade dos usuários em executar buscas utilizando operadores booleanos, podemos estar colocando as obras referentes aos grupos marginalizados fora do seu alcance;
   Terminologia com biases	Talvez, por tomarmos como verdade o caráter negativo veiculado pelo termo bias associado à terminologia, as autoras não viram a necessidade de definir ou contextualizar esse problema.	O exemplo utilizado pelas autoras diz respeito à discussão que se deu no contexto da American Library Association sobre a sugestão de Sanford Berman de evitar-se nomear pessoas somente utilizando um adjetivo. Por exemplo: o cabeçalho pobre (poor) ressaltaria apenas um elemento da existência de um indivíduo excluindo todos os outros. Uma solução seria a mudança do cabeçalho para pessoas pobres (poor people). Ressaltamos que poor continua sendo o termo autorizado e poor people é o termo não autorizado referenciado por meio de uma remissiva.	Este é o problema mais visível e discutido na literatura e, mesmo assim, continua presente nos instrumentos.

   Fonte: (MILANI, 2014, p.48-49, a partir de Olson e Schlegl, 2001, p. 66-70).

   Desse modo, e considerando que os SOC apresentam uma dimensão estrutural assim como uma dimensão cultural que os caracterizam, busca-se, neste projeto analisar, sob tal ótica, os rankings unversitários tendo-se como premissa o fato de serem eles uma nova modalidade de SOC.

   3 RANKINGS UNIVERSITÁRIOS

   As universidades, como tradicionais instâncias construtoras de conhecimento científico, deparam-se hoje com questões relativas a sua produtividade, visibilidade e reconhecimento científico e se antes o seu prestígio se construía basicamente a partir de sua tradição, historicidade e da atuação de seus egressos, hoje esse prestígio se constrói a partir de avaliações internacionais de ampla cobertura e alcance, como é o caso dos rankings acadêmicos.

   Como ressalta Santos (2018), foi mais notadamente há cerca de uma década que se iniciou-se uma forte competição entre instituições de diversos países do mundo em busca de um posicionamento cada vez maior em rankings universitários, como forma de visibilidade, de atração de novos talentos e de obtenção de maiores fundos governamentais e privados.

   Esses rankings desempenham um importante papel em três dimensões, como destacado por Hongcai (2009), mais especificamente em alusão à realidade estadunidense: como elemento para a tomada de decisão a alunos concluintes do ensino médio sobre opções de universidades de qualidade onde estudar, social, como subsídio à autoavaliação da universidade pelos seu corpo acadêmicos e administrativo, e como forma de informar os alumni acerca do status de suas almae matres, inclusive para fins e investimentos por meio das Alumni Associations.

   Hoje os rankings universitários se inserem claramente no processo de avaliação do desempenho acadêmico, seja no âmbito individual (professores, alunos, pesquisadores) seja em âmbito coletivo (institutos de pesquisa, departamentos, faculdades e universidades) (DEHON; JACOBS; VERMANDELE, 2009, p.2). Axel-Berg (2018, p.42) ao caracterizar os rankings como um fenômeno inerente ao século XXI, destaca o fato de eles serem claros “indicativos de tendências importantes para a governança universitária).

   Se há até algumas décadas as universidades tinham sua reputação e prestígio calcados em sua historicidade e tradição, hoje nos deparamos com um novo e competitivo cenário em que medidas de produtividade e de visibilidade são vitais para que uma universidade seja bem avaliada internacionalmente. Com isso, os resultados oriundos dos rankings universitários, enquanto representações daquele contexto, constituem importantes fontes para os meios de comunicação de massa, bem como para que as universidades possam melhor desenvolver ações voltadas para sua autoavaliação, seu planejamento e seu financiamento, ao que se alia o fato de serem instrumentos para que os futuros alunos possam melhor decidir quanto a suas universidades de destino (HONGCAI, 2009).

   Tradicionalmente, tem-se quatro rankings universitários de maior visibilidade em âmbito internacional: Times Higher Education, QS, Shangai e Leiden, sendo os três primeiros concebidos como “rankings reputacionais”, visto valerem-se de surveys junto a especialistas e, o último, de natureza totalmente bibiométrica, visto basear-se nos dados de produção e de impacto científico das universidades. Nesse contexto, serão analisadas a proveniência institucional, a historicidade, os objetivos, as submodalidades de rankings, bem como sua forma de coleta, atualização e divulgação.

   Historicamente tem-se, como pioneiro, o ranking Shangai, criado em 2003 a partir de uma demanda do governo chinês à Universidade de Shangai, para verificar a qualidade das universidades chinesas comparativamente às demais do mundo (para fins de investimento e internacionalização). Essa empreita revelou uma preponderância das universidades norte-americanas, fato que desagradou os europeus levando-os a criar, em 2004, o Times Higher Education – THE, aliado à consultoria QS, ligada ao jornal Times (BATY, 2010). Em 2010, o THE se separou da QS, sendo criado o QS World University Rankings. O CWTS Leiden Ranking, do Centre for Science and Technology Studies, da Universidade de Leiden (Holanda), teve início em 2017 e tem por peculiaridade sua base exclusivamente bibliométrica, pautada na base Web of Science, da Clarivate Analytics.

   O Academic Ranking of World Universities (ARWU)2, também conhecido como Shanghai Ranking foi criado em 2003, a cargo do Center for World-Class Universities da Shanghai Jiao Tong University, na China, com a proposta de publicação de um ranking anual, por demanda do governo chinês, em busca da avaliação e da maior visibilidade de suas universidades. Baseando-se em informações oriundas das instituições avaliadas, esse ranking avalia mais de 1500 universidades em todo o mundo, classificando apenas as 500 de melhor escore, agrupando-as por região e por país. Sua avaliação baseia-se em quartograndes categorias: qualidade do ensino, qualidade do corpo docente, produção científica e performance per capita. Além do ranking geral, o ARWU possui ainda uma avaliação por campo (Field) e por Assunto (Subject). Axel-Berg (2015) considera o ranking Shangai como o mais rigoroso e objetivo dos rankings globais embora se verifique, de pronto, sua ênfase nas chamadas “ciências duras” uma vez que a qualificação do corpo docente se avalia por meio de prêmios Nobel e medalhas Fields.

   Em 2004, ou seja, no ano seguinte à criação do Ranking Shangai, a empresa jornalística Times, de Londres, lançou o THE – World University Rankings3 no intuito de avaliar com mais ênfase as universidades europeias em uma ação comparativa de benchmarking. O THE apresenta-se em quatro modalidades básicas: mundial, ensino, por assunto e regional. No âmbito regional, apresenta-se relativo a Economias Emergentes, América Latina e Ásia e, no âmbito de assunto, abrange onze amplas categorias temáticas de conhecimento. Um de seus elementos controvertidos é a pesquisa de reputação (que se alia aos dados obtidos junto às universidades analisadas), realizada junto a 20.000 pesquisadores de todo o mundo, o que carrega uma considerável dose de subjetividade.

   Inicialmente trabalhando em conjunto com o Times, a agência Quacquarelli Symonds, a partir de 2010, deu início a um ranking próprio – o QS World University Rankings4, de periodicidade anual, como os demais, compreendendo uma versão global (de cobertura mundial) e mais cinco versões regionais (Ásia, América Latina, Países emergentes da Europa e da Ásia Central, Países Árabes e BRICS) abrangendo um total de quarenta e oito áreas temáticas. A isso se alia uma modalidade de caráter cronológico (Top 50 under 50), com universidades jovens. Em que pese sua abrangência mundial (na edição de 2019 cobriu 1000 instituições), esse ranking, a exemplo do THE, também recebe críticas quanto ao caráter subjetivo do indicador Reputação (acadêmica e de empregabilidade).

   Completando esse universo de análise, tem-se o Leiden (CWTS) ranking5, criado pelo Centre for Science and Technology Studies (CWTS) da Universidade de Leiden, na Holanda, em 2007, inicialmente cobrindo apenas universidades europeias e hoje com abrangência mundial. Diferentemente dos rankings anteriormente citados, trata-se este de um ranking eminentemente bibliométrico, em que todos os dados são minerados pelo CWTS sem que haja consultas quanto a reputação ou coleta de dados junto às universidades. Para tanto, baseia-se em três categorias de indicadores, minerados a partir da Web of Science: Produção científica, Impacto científico e Colaboração científica.

   4 OS RANKINGS UNIVERSITÁRIOS INTERNACIONAIS COMO SOC: uma análise dos rankings Shangai, Times, QS e Leiden

   Os rankings universitários internacionais apresentam uma estrutura classificatória de indicadores e subindicadores que são aplicados, em uma escala ponderada, aos dados obtidos nas universidades de modo a se obter uma classificação final das mesmas.

   Nesse sentido, um primeiro aspecto a observar reside em sua estrutura facetada (indicadores e subindicadores como facetas e subfacetas) aplicável a partir de uma escala ponderal que contribuirá para a formação da notação final (pontuação que leva à posição ordinal da instituição no ranking).

   A natureza analítico-sintética dos rankings se evidencia pelo fato de eles pressuporem uma análise prévia a partir da aplicação de cada indicador e subindicador e, posteriormente, uma síntese ponderada que gerará o escore final, ou seja a posição relativa de uma universidade frente às demais. Esse escore, por sua vez, representa a notação do SOC, notação essa puramente numérica em todos os rankings, na medida em que atuam como sistemas de símbolos que podem ser combinados segundo um conjunto de regras sintáticas para representar conteúdos em domínios especializados (SAMMET & TABORY, 1968).

   Guimarães, Campbell, Milani e Holland. (2019) apresentam uma síntese das fecetas e subfacetas dos rankings THE, Shangai e QS com os respectivos pesos (o que influenciará na ordem de citação), como se vê a seguir.

   Quadro 4 - Análise comparativa dos rankings THE, Shangai e QS

   THE World 2019	Teaching (30%): Reputation survey (15%); Doctorates-awarded- to-academic-staff ratio (15%); Staff-tostudent ratio (4.5%); Doctorate-to-bachelor’s ratio (2.25%) ; and Institutional income (2.25%) • Research (30%): Reputation survey (18%); Research income (6%); Research productivity (6%) • Citations (30%): [no sub-facets] • International outlook (7.5%): International-to-domestic-student ratio (2.5%); International-to-domestic-staff ratio (2.5%); International collaboration (2.5%) • Industry income (2.5%): [no sub-facets]
   ARWU (Shanghai) 2019	Quality of Faculty (40%): Staff of an institution winning Nobel Prizes and Fields Medals (20%); Highly cited researchers in 21 broad subject categories (20%) • Research Output (40%): Papers published in Nature and Science (20%); Papers indexed in Science Citation Index-expanded and Social Science Citation Index (20%) • Quality of Education - Alumni of an institution winning Nobel Prizes and Fields Medals (10%): [no subfacet] • Per Capital Performance - Per capita academic performance of an institution (10%): [no sub-facets]
   QS World 2019	Academic Reputation (40%): [no sub-facets] • Citations per Faculty (20%): [ no sub-facets] • Faculty to Student Ratio (20%): [no sub-facets] • Employer Reputation (10%): [no sub-facets] • International Faculty (5%): [no sub facets] • International Students (5%); [no sub-facets]

   Fonte: Guimarães et al. (2019)

   Vale destacar, nesses três rankings, os seguintes aspectos:

   • cada faceta e subfaceta possui instruções específicas para uso por meio de definições, exceções e exclusões, tal como ocorre com as scope notes em tesauros;

   • sua notação é numérica pura (ordinal);

   • há edições globais ou gerais e edições parciais ou especializadas (por continente, área de conhecimento, países emergentes, universidades jovens, impacto social etc);

   • as formas de coordenação e subordinação de conceitos para compor as notações classificatórias variam cronologicamente (de edição para edição) assim como de ranking para ranking;

   • embora as facetas fundamentais sejam similares – Ensino, Pesquisa, Internacionalização, Receita Industrial – as subfacetas de cada faceta variam substancialmente, revelando vieses culturais (slants) inerentes a cada ranking, como é o caso do ranking Shangai, que diferentemente dos demais, valoriza e pontua Prêmios Nobel e Medalhas Field (em uma clara proeminência das ciências exatas e biológicas) ou mesmo as diferentes fontes utilizadas para minerar a produção científica (Web of Science ou Scopus);

   • a ordem de citação das facetas para compor a notação se dá a partir do peso de cada faceta na avaliação;

   • no caso dos rankings “reputacionais”, tem-se todo um conjunto de instruções para que os pesquisadores consultados possam fazer avaliações mais equitativas;

   • a exemplo de outros SOC como esquemas de classificação e tesauros, os rankings passam por um processo de revisão – no caso, anualmente – que incide sobre o peso das facetas e subfacetas ou mesmo sobre a inclusão, alteração ou supressão de alguma subfaceta.

   A partir de Guimarães et al (2019) torna-se possível chegar a seguinte síntese relativamente aos três rankings até então analisados:

   Quadro 5: Síntese de características classificatórias dos rankings THE, Shangai e QS

   Ranking	Notação	Atualização	Facetas	Edições
   THE	Numérica ordinal	Anual	Ensino Pesquisa Citações Impacto internacional Receita industrial	Mundial Universidades jovens Assunto Ensino Economias emergentes Ásia América Latina
   Shangai	Numérica ordinal	Anual	Qualidade do corpo acadêmico Resultados de pesquisa Qualidade do Ensino Performance per capita	Global Grandes áreas Assuntos Instituições com foco especial
   QS	Numérica ordinal	Anual	Reputação acadêmica Citações por docente Relação docentes/alunos Reputação entre os empregadores Docentes internacionais Estudantes internacionais	Mundial Top 50 universidades com menos de 50 anos Assunto Região Empregabilidade de egressos

   Fonte: Elaborado pelo autor a partir de Guimarães et al. (2019)

   No caso do Ranking Leiden, de estrutura significativamente distinta dos três anteriores, por possuir uma natureza eminentemente bibliométrica pautada na produção científica das universidades tem-se, como critério prévio, a necessidades de as publicações serem autorais, haverem sido publicadas em inglês e aparecerem em uma revista central, qual seja, uma revista que possua abrangência internacional e cujas referências dos artigos façam menção a todo um conjunto de outras revistas centrais, revelando inserção e articulação científica e, portanto, capacidade de citação.

   Nesse ranking, tem-se um conjunto de indicadores bibliométricos que compõem o cálculo do escore final, indicadores esses relativos a impacto científico, impacto da colaboração, publicações em acesso aberto e diversidade de gênero (CWTS, 2020).

   Tem-se, assim, um ranking totalmente bibliométrico, de notação numérica ordinal, atualizado anualmente, com quatro facetas fundamentais (sem informações mais específicas sobre o critério ponderal) e com edição única.

   5 CONSIDERAÇÕES FINAIS

   Os rankings analisados organizam conhecimento acerca das universidades, seja na conjunção Ensino-Pesquisa-Internacionalização-Recurso financeiros (como os rankings THE, Shangai e QS), seja na dimensão dos produtos e impactos da pesquisa (como o ranking Leiden).

   Esse conhecimento organizado, por sua vez, é subsídio fundamental à geração de novo conhecimento seja no que tange ao planejamento e à autoavaliação institucional seja em ações voltadas à divulgação e à visibilidade das universidades.

   Observa-se, em termos estruturais, no universo analisado, uma natureza inerente à dos SOC, mais especificamente os esquemas de classificação, na medida em que apresentam notações, facetas, critérios de atualização e modalidades de edições

   Como em qualquer outros SOC, os referidos rankings apresentam vieses culturais de acordo com sua historicidade, objetivo e contexto de procedência, aspectos esses que devem ser levados em consideração quando da adoção de informações oriundas de um ou de outro ranking.

   Assim, por exemplo, e como já ressaltado, o ranking Shangai possui nítida ênfase nas denominadas ciências duras os rankings THE e QS tem foco muito nítido na realidade das universidades do universo anglo-americano em que o ensino superior é sempre pago, e o ranking Leiden possui clara ênfase na produção e no impacto científico das universidades sem leva rem consideração os contextos institucionais que geram tal produção. Ademais, as fontes utilizadas para captar informações sobre produção científica avariam pois enquanto QS, Shangai e Leiden se valem da Web of Science, o THE vale-se da Scopus. Ademais, a categoria Reputação, nos rankings THE e QS é passível de alto grau de subjetividade (ainda que com todas as instruções fornecidas pelos rankings aos avaliadores) e pode variar em virtude de relações acadêmicas prévias, estabelecidas em maior ou me menor grau.

   Por outro lado, vale destacar que o intenso processo de revisão desses rankings (anual) assim como o crescente surgimento de novas modalidades de edições imprime a esses SOC um dinamismo realmente compatível com a velocidade dos tempos atuais.

   AGRADECIMENTOS

   O presente artigo insere-se no âmbito do projeto Rankings universitários como sistemas de organização do conhecimento: elementos estruturais e vieses culturais, financiado pelo CNPq para o período 2020-2025 (Proc. 307519/2019-8).

   REFERÊNCIAS

   ADLER, M.; TENNIS, J.T. Toward a Taxonomy of Harm in Knowledge Organization Systems. Knowledge Organization, v. 40, n.4, p.266-272. 2013.

   ARWU. Academic Ranking of World Universities. 2019. Disponível em: http://www.shanghairanking.com/ARWU-Methodology2019.html.

   AXEL-BERG, J. Indicadores para efeito de comparação internacional no ensino superior brasileiro. In: MARCOVITCH, J. (org.) Repensar a universidade: desempenho acadêmico e comparações internacionais. São Paulo: ComArte; Fapesp, 2018, p.31-44.

   AXEL-BERG, J.H. Competing on the world stage: the Universidade de São Paulo and global universities rankings”. São Paulo: USP, 2015 (Dissertação de mestrado) Universidade de São Paulo.

   BARITÉ, M. et al. Garantia literária: elementos para uma revisão crítica após um século. Transinformação, v.22, n.2, p.125-140, 2010.

   BARITÉ, M. Organización del conocimiento: un nuevo marco teórico-conceptual en Bibliotecología y Documentación. In: CARRARA, K. (org.). Educação, Universidade e Pesquisa. Marília: Unesp-Marília-Publicações; São Paulo: FAPESP, 2001. p.35-60.

   BATY, P. THE World University Rankings. London, 2010. The Times Higher Education Supplement.

   BEGHTOL, C. A proposed ethical warrant for global knowledge representation and organization systems. Journal of Documentation, v. 58, n. 5, p. 507-532, 2002.

   BEGHTOL, C. Ethical decision-making for knowledge representation and organization systems for global use. Journal of the American Society for Information Science and Technology, v. 56, p.903-912, 2005.

   BERMAN, S. Prejudice and antipathies: a tract on the LC subject heads concerning people. Jefferson: McFarland, 1993.

   BLISS, H. E. The organization of knowledge and the system of the sciences. New York: Henry Holt, 1929.

   BLISS, H. E. The organization of knowledge in libraries and the aubject-approach to books. New York: H. W. Wilson, 1933.

   BORGATTI, S.P. Cultural domain analysis. Journal of quantitative anthropology, v.4, p.261-278, 1994.

   BRASCHER, M. Semantic relations in knowledge organization systems. Knowledge Organization, v.41, n.2, p.175-180, 2014.

   BRATKOVÁ, E.; KUCEROVÁ, H. Knowledge organization systems and their typology. Revue of Librarianship, v.25, n. 2, p.1–25, 2014.

   BROUGHTON, V. Henry Evelyn Bliss: the other immortal, or a prophet without honour? Journal of Librarianship and Information Science, v.40, n.1, p.45-58, 2008.

   COYAUD, M. Introduction à l’étude des langages documentaires. Paris: Klinsieck, 1966.

   CWTS. Leiden ranking. Indicators. 2020. Disponível em: https://www.leidenranking.com/information/indicators (Acesso em 08.10.2020).

   DAHLBERG, I. Current trends in knowledge organization. In: GARCIA MARCO, F. J. (Ed.). Organización del conocimiento en sistemas de información y documentación. Zaragoza: Libreria General, 1995. v.1, p.7-26.

   DAHLBERG, I. Knowledge organization: its scope and possibilities. Knowledge Organization, v.20, n.4, p.211-222, 1993.

   DAHLBERG, I. Knowledge organization: a new science? Knowledge Organization, v.33, n.1, p. 11-19, 2006.

   DEHON, C.; JACOBS, D.; VERMANDELE, C. Rankings and research assessment in higher education: current and future challenges. In: DEHON, C.; JACOBS, D.; VERMANDELE, C. . Ranking universities. Bruxelles : Ed. de l`Ùniversité Libre de Bruxelles, 2009, p.1-11.

   DOUSA, T. M. Empirical observation, rational structures, and pragmatist aims: epistemology and method in Julius Otto Kaiser’s theory of systematic indexing. In: ARSENAULT, C.;

   TENNIS, J. T. (ed.), Culture and identity in knowledge organization. Würzburg: Ergon, 2008, p. 242-248.

   ESTEBAN NAVARRO, M.A. Fundamentos epistemológicos de la clasificación documental. Scire, v.1, n.1, p.81-101, 1995.

   FOSKETT, A. C. The subject approach to information. 5.ed. London: Library Association, 1996.

   GARCÍA MARCO, J. Los contenidos y la secuencia docente de la Organización y representación del Conocimiento: una propuesta interdisciplinar. In: GARCIA MARCO, F.J. (ed.) Organización del Conocimiento en Sistemas de Información y Documentación. Zaragoza : ISKO-España, 1995. p. 219-228.

   GARDIN, J. C. Document analysis and linguistic theory. Journal of Documention, v. 29, n.2, p.137-168, 1973.

   GARDIN, J.C. Elemtents d’ um modele pour la description des lexiques documentaires. Bulletin des Bibliothèques de France, n.٥, p.١٧١-١٨٢, ١٩٦٦.

   GNOLI, C. Notation. Knowledge Organization, v.45, n.8, pp.667-684, 2018.

   GARCIA GUTIERREZ, A.L. Knowledge organization from a “culture of the border”: towards a transcultural ethics of mediation. In: LÓPEZ-HUERTAS, M. J. (Ed.). Challenges in knowledge representation and organization for the 21st century: integration of knowledge across boundaries. Würzburg: ERGON, 2002. p. 516-522.

   GREEN, R. Relationships in knowledge organization. Knowledge Organization, v. 35, n.2/3, p.150-159, 2008.

   GUIMARÃES, J.A.C. Slanted knowledge organization as a new ethical perspective. In: ANDERSEN, J.; SKOUVIG, L. (org.). The organization of knowledge: caught between global structures and local meaning.. Bingley: Emerald, 2017. p. 87-102.

   GUIMARÃES, J.A.C.; Ciência da Informação, Arquivologia e Biblioteconomia: em busca do necessário diálogo entre o universo teórico e os fazeres profissionais. In: FUJITA, M. S. L.; GUIMARAES, J. A. C. (Org.). Ensino e pesquisa em Biblioteconomia no Brasil: a emergência de um novo olhar. São Paulo: Cultura Acadêmica, 2008, p. 33-44.

   GUIMARÃES, J.A.C. et al. (2019). Cultural biases in knowledge organization systems: a discussion regarding international university rankings. NASKO Conference, 7. Philadelphia: NASKO, p. 48- 62.

   HANSSON, J.. The materiality of knowledge organization: epistemology, metaphors and society. Knowledge Organization, v. 40, n.6, p.384-391, 2013.

   HJØRLAND, B. Fundamentals of knowledge organization. Knowledge Organization, v. 30, n. 2, p. 87-111, 2003.

   HJØRLAND, B. Domain analysis in information science: eleven approaches-traditional as well as innovative. Journal of Documentation, v. 58, n. 4, p. 422-462, 2002.

   HJØRLAND, B. Domain analysis. Knowledge Organization, v. ٤٤, n. ٦, p.٤٣٦-٤٦٤, ٢٠١٧.

   HJØRLAND, B. What is Knowledge Organization, Knowledge Organization, v.35, n.2/3, p.86-101, 2008.

   HJØRLAND, B.; ALBRECHTSEN, H. Toward a new horizon in information science: domain-analysis. Journal of the American Society for Information Science, v. 46, n. 6, p.400-425, 1995.

   HODGE, G.  Systems of knowledge organization for digital libraries: beyond traditional authority files. Washington, DC: Council on Library and Information Resources, 2000. Available at http://www.clir.org/pubs/reports/pub91/contents.html

   HONGCAI, W. University rankings: status quo, dilemmas, and prospects. Chinese education and society, v.42, n.1, p.42-55, 2009.

   JEREMIC, V. et al. A fresh approach to evaluating the academic ranking of world universities. Scientometrics, v.11, n.87, p.587–596, 2011.

   KANG, S.; LEE, S. Document indexing: a concept-based approach to term weight estimation. Information Processing and Management, v. 41, n. 5, p. 1065-1080, 2005.

   KIEL, E. Knowledge organization needs an epistemological openness: a reply to Peter Jaenecke. Knowledge Organization, v. 21, n. 3, p. 148-152, 1994.

   LARA, M.L.G. Representação documentária: em jogo a significação. São Paulo, ١٩٩٣. Dissertação (Mest. em Ci. da Com.). Universidade de São Paulo, 1993.

   LAURUHN, M.; GROTH, P. Sources of change for modern knowledge organization systems. Knowledge Organization, v.43. n.8, p. 622-629, 2016.

   LEIDEN RANKING. Disponível em: <http://www.leidenranking.com/information/>

   LÓPEZ-HUERTAS, M. J. Some current research questions in the field of knowledge organization, Knowledge Organization, v.35, n.2/3, p.113-136, 2008.

   MAZZOCHI, F. Knowledge organization systems. In: Encyclopedia of Knowledge Organization, ISKO, 2017. Disponível em: https://www.isko.org/cyclo/kos#ref

   MCTAVISH, J. R.; NEAL, D. R.; WATHEN, C. N. (2011). Is what you see what you get? Medical subject headings and their organizing work in the violence against women research literature. Knowledge Organization. v.38, n.5, p. 381-97, 2011.

   MILANI, S.O. Bias na representação de assunto: uma discussão de oposições binárias nos Functional Requirements for Subject Authority Data (FRSAD). Marília: UNESP, 2014 Tese (Doutorado em Ciência da Informação).

   MILLOT, B. International rankings: universities vs. higher education systems. International Journal of Educational Development, v. 40, p.156–165, 2015.

   MIRANDA, M. L. C. A organização do conhecimento e seus paradigmas científicos: algumas questões epistemológicas. Informare, v. 5, n. 2, p. 64-77, 1999.

   NATALI, J.W. Documentação e linguística: inter-relação e campos de pesquisa. Revista Brasileira de Biblioteconomia e Documentação, v.11., n.1/2, p.33-42, jan./jun. 1978.

   OLSON, H. A.; SCHLEGL, R. Standardization, objectivity, and user focus: a meta-analysis of subject access critiques. Cataloging & Classification Quarterly, v. 32, n. 2, p. 61-80, 2001.

   OLSON, H.A. The power to name: locating the limits of subject representation in libraries. Dordrecht: Kluwer Academic, 2002.

   PETERS, I.; WELLER, K. Paradigmatic and syntagmatic relations in knowledge organization systems. Information - Wissenschaft und Praxis, v. 59, n.2, p. 100-107, 2008.

   PINHO, F. A. Aspectos éticos em representação do conhecimento: em busca do diálogo entre Antonio García Gutiérrez, Michèle Hudon e Clare Beghtol. 2006. Dissertação (Mestrado em Ciência da Informação) – UNESP, Marília, 2006.

   POMBO, O. Da classificação dos seres à classificação dos saberes. Leituras: Revista da Biblioteca Nacional de Lisboa, v. 2, p.19‐33, 1998.

   QS TOP UNIVERSITIES. Disponível em: https://www.topuniversities.com/university-rankings

   REN, F.; SOHRAB; M.G. Class-indexing-based term weighting for automatic text classification. Information Sciences, v. 236, p. 109-125, 2013.

   SALTON, G.; BUCKLEY, C. Term-weighting approaches in automatic text retrieval. Information Processing and Management, v. 24, p. 513-523, 1988.

   SAMMET, J.E.; TABORY, R. Artificial languages. In: KENT, A.; LANCOUR, H. (eds.) Encyclopedia of library and information science. New York: Dekker, 1968. p. 632-657.

   SAN SEGUNDO, R. Sistemas de organización del conocimiento: la organización del conocimiento en las bibliotecas españolas. Madrid: Universidad Carlos III de Madrid; Boletín Oficial del Estado, 1996.

   SANTOS, S. M. Rankings internacionais de universidades: comparação e desempenho por áreas. In: MARCOVITCH, J. (org.) Repensar a universidade: desempenho acadêmico e comparações internacionais. São Paulo: ComArte; Fapesp, 2018. p.63-92.

   SMIRAGLIA, R. P. Domain analysis for knowledge organization: tools for ontology extraction.  Amsterdam : Elsevier, 2015.

   SMIRAGLIA, R. P. The progress of theory in knowledge organization. Library Trends, v. 50, n. 3, p. 330-349, 2002.

   SMIRAGLIA, R.P. Epistemology of domain analysis. In: SMIRAGLIA, R.P.; LEE, H.-L. (ed.) Cultural frames of knowledge. Wurzburg: Ergon, 2012. p.111-124.

   SOERGEl, D.  Knowledge Organization Systems: overview. 2009. Disponível em: http://www.dsoergel.com/SoergelKOSOverview.pdf

   SOUZA, R.R.; TUDHOPE, D.; ALMEIDA, M.B. . The KOS spectra: a tentative typology of Knowledge Organization Systems. In: 11th ISKO International Conference, 2010, Roma: Proceedings of the 11th International ISKO Conference. Würzburg: Ergon, 2010. p.122-128.

   SPARCK- JONES, K. Index term weighting. Information Storage and Retrieval, v. 9, p. 619-633, 1973.

   SZOSTAK, R.; GNOLI, C.; LÓPEZ-HUERTAS, M.J. Interdisciplinary Knowledge Organization. Champaign: Springer, 2016.

   TALAMO, M.F.G.M. Linguagem documentária. São Paulo: Associação Paulista de Bibliotecários, 1997. (Ensaios APB; 45)

   TENNIS, J.T. Epistemology, theory, and methodology in knowledge organization: toward a classification, metatheory, and research framework. Knowledge Organization, v. 35, n. 2/3, 2008, p. 102-112.

   TENNIS, J.T. A convenient verisimilitude or oppressive internalization? Knowledge Organization, v.39, n.5, p.394-397, 2012.

   TENNIS, J.T. Two axes of domain analysis. Knowledge Organization, v. 30, n.3/4, p.191-195, 2003.

   THE World University Rankings. Disponível em: https://www.timeshighereducation.com/world-university-rankings

   VICKERY, B.C. On knowledge organisation. 2008. Disponível em: http://www.lucis.me.uk/knowlorg.htm#start

   WITTY, F.J. The beginnings of indexing and abstracting: notes towards a history of indexing and abstracting in Antiquity and the Middle Ages. The indexer, v.8, n.4, p.193-198, 1973.

   ZENG, M. L. Knowledge organization systems (KOS). Knowledge Organization, v.35, n.2/3, p.160–182, 2008.

---