1. Introducción

Los indicadores cienciométricos parten de la premisa de que los diversos aspectos de la actividad científica pueden ser transformados en medidas que brinden información objetiva y verificable acerca de los mismos, permitiendo así la observación, la descripción, la evaluación y la monitorización del estado y la evolución de la ciencia a diferentes niveles de agregación (Miguel y Moya-Anegón, 2009).

Como lo señalase Leydesdorff (2005) en su revisión sobre la evaluación de la investigación y la evolución de los indicadores cienciométricos, su uso comenzó en los Estados Unidos en las décadas de los sesenta y los setenta, sumándose a la revisión por pares y a los indicadores económicos, aunque estos últimos solo podían ser aplicados a nivel de sistemas nacionales de investigación y desarrollo.

Dado que el conocimiento científico es un concepto intangible y acumulativo, y que los resultados o beneficios producidos por el proceso científico son multimensionales y se revelan de manera indirecta y con un retraso más o menos considerable, las actividades científicas pueden ser evaluadas cuantitativamente de manera aproximada o estimativa (Sancho Lozano, 2002). De todos modos, desde hace décadas los procesos científicos han sido evaluados y gestionados y, consecuentemente, cuantificados y representados apelando a la analogía con los modelos económicos que analizan costos y beneficios o input-output (e.g., Albornoz, 1994; Sancho Lozano, 2002). Así, los indicadores cienciométricos se han dividido clásicamente en dos tipos: de entradas, recursos, inversión o consumos (input) y de salidas, productos o resultados (output). Entre los primeros se cuentan indicadores como el Producto Bruto Interno (PBI), el gasto en investigación y desarrollo, los recursos humanos, o la cantidad de graduados de grado y posgrado. Por su parte, entre los segundos, donde se encuentran los bibliométricos, pueden mencionarse el número de documentos publicados, los documentos citables, la cantidad de citas recibidas, el factor de impacto, o el índice H.

En la literatura bibliométrica existen diversos estudios que abordan la relación existente entre diferentes indicadores bibliométricos (e.g., Falagas, Kouranos, Arencibia-Jorge & Karageorgopoulos, 2008; García-Pachón & Arencibia-Jorge, 2014; Ortiz-Jaureguizar, Miguel & Posadas, 2015; Traverso, Ortiz-Jaureguizar, Miguel & Posadas, 2020; van Raan, 2006). Por su parte, también hay numerosos estudios que analizan la relación entre conocimiento acumulado y crecimiento económico (e.g., King, 2004; Lee, Lin, Chuang & Lee 2011; Inglesi-Lotz y Pouris, 2013; Inglesi-Lotz, Chang y Gupta, 2015; Ortiz-Jaureguizar et al., 2019; Ortiz-Jaureguizar et al., 2019; Shelton y Leydesdorff, 2012; Vinkler, 2008). En el caso particular de América Latina, también existen diversos estudios que comparan indicadores bibliométricos y de recursos (e.g., Chinchilla-Rodríguez, Zacca-González, Vargas-Quesada & Moya-Anegón, 2015; Moya-Anegón y Herrero-Solana, 1999; Ríos Gómez y Herrero-Solana, 2005; Santa y Herrero-Solana, 2010; Zacca-González, Chinchilla-Rodríguez, Vargas-Quesada & Moya-Anegón 2014).

En los estudios arriba mencionados, la utilización de indicadores de input/output se hizo para establecer relaciones entre los mismos, o analizar causalidad a través de análisis bivariantes. En el caso de uno de los estudios que aplicó análisis multivariantes, estos se realizaron utilizando como variables los indicadores de producto, siendo los de recursos utilizados para explicar los resultados con datos externos al análisis (Ortiz-Jaureguizar et al., 2019). El restante (Ortiz-Jaureguizar, 2019) utilizó el mismo conjunto de países y de indicadores, aunque en una ventana temporal más corta (2006-2015), empleando diferentes técnicas de análisis multivariado, sin analizar las relaciones entre los indicadores, y sin utilizar para las comparaciones entre países técnicas de congruencia taxonómica. De tal modo, y al menos a nivel de los países iberoamericanos, no existen estudios en los cuales se analice la información común que contienen los indicadores de input/output, tales como aquellos provistos por la Red de Indicadores de Ciencia y Tecnología -Iberoamericana e Interamericana (RICYT) y Scimago journal and country rank .SCIJCR), por medio de técnicas de análisis multivariado, que impliquen además análisis de congruencia taxonómica.

En aquellos estudios en los cuales se busca describir e interpretar estadísticamente el comportamiento de tres o más objetos de estudio (en este caso, países e indicadores) de modo simultáneo, se utilizan herramientas propias del análisis multivariante. Si se toma como ejemplo la taxonomía biológica (i.e., la disciplina que se ocupa del estudio teórico de la clasificación, incluyendo sus bases, principios, procedimientos y reglas) es frecuente utilizar técnicas de análisis multivariado para cuantificar la afinidad existente entre los objetos de estudio a partir del estado de sus variables (Crisci y López Armengol, 1983). Asimismo, también es posible evaluar estadísticamente el grado de correspondencia entre diferentes clasificaciones de un mismo conjunto de objetos. Estos análisis, denominados de congruencia taxonómica, se basan en la idea de que dos clasificaciones son perfectamente congruentes si postulan los mismos agrupamientos de objetos (Farris, 1971; Mickevich, 1978). En los casos en que las clasificaciones comparadas se hallan basadas en diferentes fuentes de información, la congruencia provee una medida del grado en que las mismas permanecen estables cuando son consideradas varias líneas de evidencia (Mickevich, 1978).

Si se considera lo mencionado en los párrafos precedentes, el objetivo de este estudio es evaluar la congruencia existente entre las clasificaciones de países producidas a partir de los indicadores de SCIJCR y los indicadores provistos por la RICYT, tomando como unidades de estudio un conjunto de países iberoamericanos.

2. Metodología

Las unidades de estudio fueron 11 países iberoamericanos, nueve latinoamericanos (Argentina [ARG], Brasil [BRA], Chile [CHI], Colombia [COL], Cuba [CUB], México [MEX], Perú [PER], Uruguay [URU] y Venezuela [VEN]) y dos de la península ibérica, España (ESP) y Portugal (POR). Como variables se utilizaron 11 indicadores bibliométricos tomados de SCIJCR y 23 indicadores tomados de la RICYT (Tabla 1).

Tanto para los indicadores de SCIJCR como para aquellos de la RICYT, los datos fueron tomados para el periodo 2006-2017, por ser este el intervalo en el cual podían tomarse datos para los mismos años y países en ambas fuentes de información. Debido a que el portal SCIJCR provee el valor de sus indicadores por año (con la excepción del índice H, que no es discriminado anualmente) al igual que el portal de la RICYT, para cada país se calculó la media aritmética de cada uno de los 33 indicadores restantes, con la finalidad de obtener un único valor para cada variable que lo represente. Para ello se utilizó el programa Excel 2016. Los datos fueron volcados a una matriz básica de datos (MBD) de 11 países por 34 indicadores (Tabla 2).

Tabla 2

Matriz básica de datos MBD

Referencias: ARG: Argentina; BRA: Brasil; CHI: Chile; COL: Colombia; CUB: Cuba; ESP: España; MEX: México; PER: Perú; POR: Portugal; URU: Uruguay; VEN: Venezuela. ?: Datos faltantes (no intervienen en los cálculos). Indicadores 1 a 11: SCIJCR; 12 a 34: RICYT. Para más detalles acerca de los indicadores, véase Tabla 1.

Fuente: elaboración propia.

Antes de llevar a cabo el análisis multivariado, se realizó un análisis de normalidad de los datos mediante un gráfico de probabilidad normal. Este mostró que solo cinco de los 11 indicadores de SCIJCR y solo tres de los 23 indicadores de la RICYT tenían una distribución normal (r > 0,883 para los de SCIJCR y r > 0,933 para aquellos de la RICYT, con una significancia del 1%, según la tabla de Filliben [1975]). Consecuentemente, se transformaron los datos para que se ajusten a una distribución normal por medio de la función logaritmo decimal. Repetido el gráfico de probabilidad normal, todos los indicadores mostraron una distribución normal.

Para minimizar las diferencias debidas a la distinta escala de los indicadores, la matriz resultante de la transformación anterior fue estandarizada, restando al valor de cada variable la media de dicha variable en los 11 países, y dividiendo el valor obtenido por la desviación estándar (Sneath & Sokal, 1973). A partir de la matriz de datos estandarizados, las relaciones de similitud de entre todos los países e indicadores fueron estimadas por medio un fenograma mediante el método establecido por Ward (1963), en el cual los grupos se unen de manera que se minimiza el aumento de la varianza dentro del grupo con relación a los nuevos que se forman (véase Murtagh y Legendre 2014). La distorsión de los fenogramas se estimó por medio del coeficiente de correlación cofenética (CCC: véase Sokal & Rohlf, 1962).

Con la finalidad de estimar si ambos tipos de indicadores (i.e., los de SCIJCR y los de la RICYT) producían clasificaciones congruentes de los países, se fraccionó la MBD estandarizados en dos matrices, una de 11 países por los 11 indicadores de SCIJCR, y otra de los mismos 11 países por los 23 indicadores de la RICYT. A partir de estas dos matrices se obtuvieron sendos fenogramas, utilizándose los mismos procedimientos aplicados a la matriz general. Ambos fenogramas fueron confrontados entre sí y con el fenograma de países basado en la totalidad de los indicadores, aplicándose la técnica de consenso estricto (Rohlf, 1982; Smith & Phipps, 1984). De este modo, el dendrograma de consenso resultante de cada confrontación contiene solo los grupos estrictamente compartidos por los fenogramas comparados. La congruencia alcanzada se cuantificó mediante el índice CIc, cuyos valores oscilan entre 0 y 1, siendo 1 la máxima congruencia (Rohlf, 1982).

Para más detalles acerca de las técnicas utilizadas, pueden consultarse los trabajos de Palacio, Apodaca y Crisci (2020); Sneath y Sokal (1973) y Sokal (1986). Todos los procedimientos de cálculo, así como los análisis multivariados, se realizaron en el programa PAST 4.02 (Hammer, Harper y Ryan, 2001), excepto la obtención de los dendrogramas e índices de consenso, los cuales fueron realizados en el programa NTSYSpc 2.21q (Rohlf, 2018).

3. Resultados y discusión

3.1. Análisis de la matriz general (11 por 34)

El fenograma que grafica la relación de similitud entre los países (Figura 1) muestra dos grupos, unidos a bajos valores de distancia: A, formado por Argentina, Portugal, España, Brasil y México; y B, formado por Perú, Chile, Colombia, Cuba, Venezuela y Uruguay. Se reconocen dos subgrupos en el grupo A (A1 y A2), dos en el grupo B (B1 y B2) y tres conjuntos formados por más de un país, uno en el subgrupo A1 (A21), uno en el subgrupo B1 (B11) y otro en el subgrupo B2 (B21). El CCC alcanzó un valor de 0,67.

Figura 1

Fenograma (Ward) que muestra las relaciones de similitud entre los 11 países en función de los 34 indicadores (11 de SCIJCR y 23 de la RICYT).

Referencias: ARG: Argentina; BRA: Brasil; CHI: Chile; COL: Colombia; CUB: Cuba; ESP: España; MEX: México; PER: Perú; POR: Portugal; URU: Uruguay; VEN: Venezuela. CCC: 0,67.

Fuente: elaboración propia.

Los agrupamientos observados muestran que, en América Latina, los países más grandes (en términos económico-sociales, poblacionales y territoriales) y con las tradiciones científicas más desarrolladas, guardan una mayor relación entre si (particularmente Brasil y México) y con los dos países de la península ibérica, que con los restantes países latinoamericanos. Estas diferencias de tamaño también se manifiestan en los subgrupos, ya que las dos mayores economías latinoamericanas (Brasil y México) se relacionan más estrechamente con España, la mayor economía de la península ibérica, en tanto que Argentina se vincula más estrechamente con Portugal. Si se analiza la Tabla 2, donde se aprecia que los cinco países que conforman el grupo A comparten los mayores valores en la mayoría de los indicadores de SCIJR (e.g., 1, 2, 4, 6, 7) y en varios indicadores de la RICYT (e.g., 12,16, 23, 27, 32).

La importancia del tamaño queda también en evidencia si se comparan los dos grupos observados en la Figura 1 (A y B) con lo hallado por Santa y Herrero Solana (2010) al analizar la producción científica de los principales productores de documentos científicos de América Latina y el Caribe para el período 1996-2007. A pesar de las diferencias en los indicadores y en el período analizado, estos autores encuentran que Brasil, México y Argentina, en ese orden, suman un 80% de las publicaciones de la región y un valor similar en la visibilidad de estas. Chile, Venezuela, Colombia y Cuba (en ese orden), tienen un peso medio, sumando un 15% de la producción regional. Los restantes países completan el 5% restante, destacándose en ese conjunto Uruguay y Perú con valores que oscilan alrededor del 1%.

Si se analiza el fenograma de indicadores (Figura 2) se aprecia la existencia de dos grupos, reunidos a bajos valores de distancia: C) formado por los indicadores 11, 20, 21, 22, 9 y 29, de los cuales 9 y 11 son de SCIJCR; y D) formado por los restantes indicadores. Dentro del grupo C se reconocen dos subgrupos (C1 y C2), número de subgrupos que también se reconoce en el grupo D (D1 y D2). En el subgrupo D1 se reconocen dos conjuntos: D11, formado por los indicadores 14, 15, 17, 12 y 13 (RICYT); y D12) formado por los indicadores 31, 23, 28 y 30 (RICYT). Por su parte, en el subgrupo D2 se reconocen dos conjuntos: D21) formado por los indicadores 4, 16, 33, 2, 8, 24, 32, 6, 10, 3, 5, 1 y 7, de los cuales nueve (4, 2, 8, 3, 5, 1 y 7) son de SCIJCR; y D22, formado por los indicadores 25, 26, 27, 34, 18 y 19, todos de la RICYT. El valor del CCC es 0,84.

Figura 2

Fenograma (Ward) que muestra las relaciones de similitud entre los 34 indicadores (11 de SCIJCR y 23 de la RICYT).

Referencias: Indicadores 1 a 11: SCIJCR; 12 a 34: RICYT. Para más detalles acerca de los indicadores, véase Tabla 1. CCC: 0,84.

Fuente: elaboración propia.

En líneas generales, los indicadores se agrupan según un patrón complejo. Los indicadores de SCIJCR aparecen en los dos grandes grupos (C y D) y lo mismo sucede con aquellos de la RICYT.

En lo que se refiere a las tipologías, en los indicadores de SCIJCR no aparecen grupos claros, ya que por un lado el %CI (11) aparece relacionado con las citas por documento (9), un indicador de repercusión (véase Tabla 1), mientras que por el otro los de producción aparecen relacionados con los de repercusión (e.g., 2 con 8; 1 con 7) y el de producción y repercusión (10, índice H) con los de repercusión (6, 5, 7) y de producción (3 y 1) (Tabla 1). Por su parte, los indicadores de la RICYT tampoco se agrupan según su naturaleza (véase Tabla 1), ya que entre los de contexto (e.g., 14, 12) se introduce uno de educación (graduados doctores, 17) en el conjunto D11; los bibliométricos aparecen en los dos grandes grupos (C y D), relacionados con indicadores de insumo en el grupo C (29) y en el D (34, 25, 26 y 27); los indicadores de educación aparecen en diferentes agrupamientos dentro del grupo D, uno (graduados doctores, 17) más relacionado con los indicadores de contexto e insumo (D1), mientras que el restante (graduados licenciados, 16) aparece relacionado con los de insumo (33, 24 y 32) del subgrupo D2, y los de insumo, como se mencionó en las oraciones precedentes, aparecen en todos los grupos y subgrupos. Finalmente, aunque entre los indicadores de la RICYT hay indicadores bibliométricos basados, como los de SCIJCR, en Scopus (Tabla 1) solo la fracción que se incluye en el grupo C (20, 21 y 22) guarda relación con dos indicadores (11 y 9) de SCIJCR (Figura 2).

El análisis pormenorizado de las relaciones entre los indicadores escapa a los objetivos de este estudio y será objeto de otro trabajo específico. De todas formas, pueden adelantarse algunas ideas preliminares. La primera es que la mayoría de los indicadores de SCIJCR, a pesar de cuantificar diferentes aspectos, muestran fuertes vinculaciones entre sí, de manera que en este tipo de análisis ofrecerían información que podría considerarse redundante.

En segundo término, el %Ci (indicador 11, Tabla 1) no se relaciona con los indicadores de producción, con el de repercusión y producción (índice H) ni con la mayoría de los de repercusión de SCIJR, a excepción de las citas por documento (indicador 9, Tabla 1) con las que se correlaciona a valores de distancia moderados (Figura 2). Por otra parte, el %Ci se relaciona principalmente con algunos indicadores bibliométricos de la RICYT (i.e., 20, 21 y 22, véase Tabla 1). De tal modo, y al menos para los países iberoamericanos analizados, esta escasa relación entre el %CI con la repercusión de los documentos publicados (con ya mencionada excepción de las citas por documento; véanse la Figura 2 y la Tabla 1), no concuerda con los autores que hallan que los artículos que son firmados por autores de diferentes países tienden a alcanzar un mayor número de citas que aquellos firmados por autores de un mismo país (e.g., Adams, Black, Clemmons & Stephan 2005; De Filippo, Morillo y Fernández, 2008; Persson, Glänzel y Danell, 2004). En este sentido, es sugestiva la conclusión de Ploszaj, Celinska-Janowicz y Olechnicka (2018), quienes observan que, si la colaboración se produce entre países centrales y periféricos, los primeros reciben más citas cuando sus autores desempeñan el papel de autores de correspondencia, en tanto que los países periféricos obtienen más citas cuando sus autores no ocupan dicho lugar. En este mismo sentido, Gingras y Khelfaoui (2018) concluyen que, aunque se espera que la colaboración con EE. UU. genere un mayor impacto científico para los países colaboradores, esta regla se cumple en el caso de los países anglosajones y europeos, pero no en el de los emergentes. Una discriminación detallada de las colaboraciones internacionales de los 11 países analizados en este estudio posibilitará evaluar si estas conclusiones permiten dar cuenta de los resultados obtenidos.

Una tercera idea es que habida cuenta de la relación entre los indicadores de SCIJCR y los de la RICYT, las inversiones más redituables en términos de indicadores de producción, repercusión, y repercusión y producción (conjunto D21, Figura 2) son las que miden los indicadores 16, 33, 24 y 32 de la RICYT (Figura 2 y Tabla 1). Esto matiza en parte las conclusiones del clásico estudio de Moya-Anegón y Herrero Solana (1999) sobre la comparación de indicadores bibliométricos con indicadores de recursos en ciencia y tecnología en América Latina. Dado que en este estudio no todos los indicadores bibliométricos ni todos los de input se vinculan estrechamente, no puede concluirse que la producción científica sea directamente proporcional a las inversiones.

3.2. Análisis de la congruencia taxonómica

En la Figura 3 se representan las relaciones de similitud entre los países, utilizando únicamente los 11 indicadores de SCIJCR (Tabla 1). Se observan dos grupos, reunidos a un valor de similitud media: E, formado por Cuba, Venezuela, Perú y Uruguay; y F, formado por Brasil, España, Chile, Colombia, Portugal, Argentina y México. En el grupo E se reconocen dos subgrupos, E1 y E2, mientras que en el grupo F se reconocen dos subgrupos, F1 y F2. Dentro de F2 se observan dos conjuntos (F21 y F22). El valor del CCC es 0,76.

Por su parte, la Figura 4 muestra las relaciones de similitud entre los países, empleando solamente los 23 indicadores de la RICYT (Tabla 1). Se visualizan dos grupos, reunidos a un valor de similitud bajo: G, formado por Venezuela, Colombia, Perú, Chile, Cuba, y Uruguay; y H, formado por Brasil, México, Portugal, Argentina y España. En el grupo G se reconocen dos subgrupos (G1 y G2) formados por más de un país, cada uno de los cuales posee dos conjuntos (G11 y G21), en tanto que en el grupo H se observan dos subgrupos (H1 y H2) y dos conjuntos (H21 y H22). El CCC alcanzó un valor de 0,64.

Figura 3

Fenograma (Ward) que muestra las relaciones de similitud entre los 11 países en función de los 11 indicadores de SCIJCR.

Referencias: ARG: Argentina; BRA: Brasil; CHI: Chile; COL: Colombia; CUB: Cuba; ESP: España; MEX: México; PER: Perú; POR: Portugal; URU: Uruguay; VEN: Venezuela. CCC: 0,76.

Fuente: elaboración propia.

Figura 4

Fenograma (Ward) que muestra las relaciones de similitud entre los 11 países en función de los 23 indicadores de la RICYT.

Referencias: ARG: Argentina; BRA: Brasil; CHI: Chile; COL: Colombia; CUB: Cuba; ESP: España; MEX: México; PER: Perú; POR: Portugal; URU: Uruguay; VEN: Venezuela. CCC: 0,64.

Fuente: elaboración propia.

La comparación visual de las Figuras 3 y 4 permite inferir que no hay grupos comunes en los fenogramas basados en los indicadores de SCIJCR (Figura 3) y aquellos de la RICYT (Figura 4). El dendrograma de consenso estricto obviamente brinda el mismo resultado, por lo cual no se lo grafica.

Los resultados de este análisis son similares a los hallados por Ortiz-Jaureguizar (2019), aunque en aquel estudio se utilizó una ventana temporal más corta (2006-2015) y fenogramas basados en otro coeficiente de similitud (r de Pearson) y otro método de agrupamiento (UPGMA). Tampoco en aquel trabajo se halla similitud entre las clasificaciones de países basadas en SCIJCR y la RICYT.

La inexistencia de grupos comunes en ambas clasificaciones, sumada a los elevados valores de similitud (= escasas distancias) a los que se vinculan los mayores agrupamientos en ambos fenogramas (Figuras 3 y 4) vuelve a contradecir, al menos para el conjunto de países estudiados y los indicadores utilizados, la idea simplista de que en la ciencia es posible predecir, a partir de los recursos invertidos, los resultados a obtener o, como lo expresa en términos más precisos Sancho Lozano (2002), que si los países invierten aproximadamente la misma proporción de dinero, los resultados científicos que obtengan también serán proporcionales.

El error de esa simplificación se ve claramente cuando se compara la ubicación de algunos países en ambos fenogramas. Así, en la Figura 4 las mayores economías iberoamericanas (Brasil, México, Argentina, España y Portugal) se separan de las seis restantes, mientras que en la Figura 3 Chile y Colombia muestran resultados más próximos a los de Argentina, México y Portugal y, en menor medida, a Brasil y a España. Estas diferencias muestran, como también lo menciona Sancho Lozano (2002), que además del esfuerzo económico realizado por los países, es imprescindible tomar en cuenta la eficacia de los sistemas de ciencia, tecnología e innovación de cada uno de ellos. Por otra parte, la eficacia de cada país en la asignación y uso de los recursos asignados a la I+D es una característica idiosincrática, relacionada con las políticas científico-tecnológicos del país así como con las particularidades del propio sistema de ciencia y técnica, incluyendo allí no solo las instituciones de gestión y ejecución científica, sino también el sistema universitario de formación de investigadores, la tradición científica del país, y la red de vinculaciones de sus investigadores.

En los países iberoamericanos se han generado, sobre todo a partir de las décadas de los ochenta y los noventa, diversos programas tendientes a incentivar la investigación científica, la cantidad de graduados doctores, de investigadores a jornada completa, y la inversión en I+D (Moya-Anegón y Herrero-Solana, 1999; Sandoval-Romero, Mongeon y Larivière, 2018), a fin de incrementar la participación de la ciencia de los países de la región en el concierto mundial. Aunque el incremento de la cantidad de publicaciones internacionales de científicos e instituciones de Iberoamérica parece confirmar el éxito de dichos programas, la realidad es que, en términos de visibilidad (citas) el progreso es menor que el de otros países con similar desarrollo económico, o incluso que el de España dentro del mismo grupo de países iberoamericanos (Hermes-Lima et al., 2007). Asimismo, otro de los problemas es que los incentivos derivaron en la publicación prioritaria en revistas de alto impacto, desalentando la publicación en revistas locales o regionales de calidad, las cuales cubren temáticas específicas que no suelen ser de interés para las revistas de corriente principal (Chavarro, Tang y Ràfols, 2017). A ello se agrega que estos programas, originalmente destinados a mejorar la calidad de la investigación, han devenido en el objetivo personal de los investigadores en sus carreras científicas (Vessuri, Guedon y Cetto, 2014). Sin embargo, debe notarse que no es menos cierto que esto también es fruto de las demandas excesivas, fundamentalmente por parte los organismos gubernamentales que se encargan del financiamiento de la investigación, de una mayor cantidad de publicaciones, de preferencia en revistas de “alto impacto” (véase Zenteno-Savin, Oliveira Beleboni y Hermes-Lima, 2007 y la bibliografía allí citada)

Finalmente, la comparación de la clasificación de países obtenida con los 34 indicadores (Figura 1) con aquellas obtenidas a partir solo de los 11 indicadores de SCIJCR (Figura 3) y los 23 de la RICYT (Figura 4) muestra resultados diferentes. El dendrograma de consenso estricto (Figura 5) resultante de comparar las Figuras 3 y 4 muestra solo dos grupos comunes: I) formado por Chile y Colombia; y II) formado por Cuba y Venezuela. El índice CIc alcanzó un valor de 0, 22. Esta baja congruencia entre ambas clasificaciones puede obedecer a razones relacionadas con las propias características de los indicadores. Por una parte, los indicadores de SCIJCR son algo menos de la mitad de los indicadores de la RICYT (Tabla 1) lo cual hace que a priori tengan menos peso a la hora de establecer relaciones. Por la otra, nueve de los 11 indicadores de SCIJCR (i.e., 1, 2, 3, 4, 5, 6, 7, 8, y 10), guardan una elevada relación entre sí (Figura 2) de manera que no permiten una gran discriminación entre los diferentes países porque, como se señaló al analizar la Figura 2, se comportan como una única variable. Así, el menor número y la redundancia haría necesario que los indicadores de la RICYT, más numerosos, mostrasen valores de similitud todavía mayores para “compensar” su peso en la clasificación, lo cual no ocurre (Figura 2).

Figura 5

Dendrograma de consenso estricto que muestra los grupos comunes entre los fenogramas que representan la clasificación de países en función de los 34 indicadores (Figura 1) y la basada en los 11 indicadores de SCIJCR (Figura 3).

Referencias: ARG: Argentina; BRA: Brasil; CHI: Chile; COL: Colombia; CUB: Cuba; ESP: España; MEX: México; PER: Perú; POR: Portugal; URU: Uruguay; VEN: Venezuela. CIc: 0,22.

Fuente: elaboración propia.

La comparación de la clasificación obtenida a partir de los 34 indicadores (Figura1) con la resultante de los indicadores de la RICYT (Figura 4) se observa en la Figura 6.

Figura 6

Dendrograma de consenso estricto que muestra los grupos comunes entre los fenogramas que representan la clasificación de países en función de los 34 indicadores (Figura 1) y la basada en los 23 indicadores de la RICYT (Figura 4).

Referencias: ARG: Argentina; BRA: Brasil; CHI: Chile; COL: Colombia; CUB: Cuba; ESP: España; MEX: México; PER: Perú; POR: Portugal; URU: Uruguay; VEN: Venezuela. CIc: 0,33.

Fuente: elaboración propia.

El dendrograma de consenso estricto muestra tres grupos en común: III), formado por Argentina, Brasil, México España y Portugal; IV) formado por Brasil y México; y V) formado por Chile, Colombia, Cuba, Perú, Urugua y Venezuela. El índice CIc alcanzó un valor de 0,33. Como sucedía en la comparación precedente, la mayor congruencia entre las clasificaciones resultantes de los 34 indicadores (SCIJCR + RICYT) con la producida solo a partir de los indicadores de la RICYT, también puede obedecer a razones relacionadas con las propias características de los indicadores, aunque en sentido opuesto. Por un lado, que los indicadores de la RICYT sean poco más del doble que aquellos de SCIJCR (Tabla 1) hace que a priori tengan mayor peso a la hora de establecer relaciones. Por la otra, la similitud entre los indicadores de la RICYT es, aunque alta, en general menor que la que alcanza la gran mayoría de los indicadores de SCIJCR, que se relacionan a valores muy elevados (Figura 2). De este modo, posibilitan una mayor discriminación entre los diferentes países al no comportarse como si fuesen una única variable. Por otra parte, el hecho de que en la Figura 6 se hallen no solo relaciones entre pares de países, como sucede en la Figura 5, sino que también se recuperen los grandes agrupamientos regionales, concuerda con un mayor potencial de discriminación de los indicadores de la RICYT.

Conclusiones

- Los agrupamientos de países a partir del análisis conjunto de los indicadores de SCIJCR y la RICYT pueden explicarse a partir del tamaño de los países (en términos fundamentalmente de desarrollo económico y social) así como con las respectivas tradiciones científicas.

- Los indicadores se agrupan según un patrón complejo, apareciendo los de SCIJCR y la RICYT en los dos grandes grupos. No se observan agrupamientos en función de las tipologías (e.g., indicadores de producción, repercusión, insumo, contexto).

- La gran mayoría de los indicadores de SCIJCRmuestran fuertes vinculaciones entre sí, de manera que en este análisis parecen brindar información redundante. El porcentaje de colaboración internacional solo se relaciona a valores de similitud moderada con las citas por documento. Consecuentemente, esta escasa relación entre el %CI con la repercusión de los documentos publicados no concuerda con otros artículos, en los que se observa que los documentos firmados por autores de diferentes países tienden a recibir más citas que aquellos firmados por autores de un mismo país. En apoyo de estas discrepancias, otros autores han señalado que deben tomarse en cuenta otras cuestiones además de la simple colaboración, como con qué tipo de países se establecen las correlaciones, y si la posición de los autores de correspondencia es ocupada por autores de países centrales o periféricos.

- Si se toma en cuenta la relación entre los indicadores de SCIJCR y los de la RICYT, las inversiones más redituables en términos de producción, repercusión, y repercusión y producción son las que miden los indicadores de graduación (licenciados) el gasto en I+D (en dólares expresados en PPC), y la cantidad de investigadores en I+D, tanto en PF como en EJC. En consecuencia, dado que no todos los indicadores bibliométricos ni todos los de input guardan una estrecha vinculación, no puede concluirse que la producción científica sea directamente proporcional a las inversiones.

- La ausencia de congruencia observada al comparar los agrupamientos obtenidos solo a partir de los indicadores de SCIJCR o de la RICYT apoya la conclusión anterior y contradice, la idea simplista de que en la ciencia es posible predecir resultados solo a partir de los recursos invertidos.

- Finalmente, la comparación de la clasificación de países a partir de la totalidad de los indicadores con aquellas producidas a partir de unos u otros (i.e., SCIJCR y RICYT) produce pocos grupos comunes (dos y tres, respectivamente). Estos resultados pueden explicarse a partir de cuestiones intrínsecas al análisis, tales como la diferente cantidad de indicadores (11 de SCIJCR contra 23 de la RICYT) y con la mayor similitud que muestra la gran mayoría de los de SCIJCR, lo que hace que en los hechos se comporten como portadores de información redundante y tengan menor peso que aquellos de la RICYT a la hora de diferenciar grupos de países.

Agradecimientos

Los autores agradecen a Sandra Miguel y Gustavo Liberatore, coordinadores del dosier “Estudios métricos de la información: abordajes teóricos, metodológicos y empíricos”, la invitación a presentar este manuscrito. Asimismo, agradecen a Paula Posadas la lectura crítica de una primera versión del manuscrito.

Este estudio se fue realizado en el marco del proyecto 11/N912 de la Universidad Nacional de La Plata.

Referencias

Adams, J. D., Black, G. C., Clemmons, J. R. & Stephan, P. E. (2005). Scientific teams and institutional collaborations: evidence from U.S. universities, 1981-1999. Research policy, 34(3), 259-285. https://doi.org/10.1016/j.respol.2005.01.014

Albornoz, M. (1994). Indicadores en ciencia y tecnología. Redes, 1(1), 133-144. Recuperado de http://www.redalyc.org/articulo.oa?id=90711298006

Chavarro, D., Tang, P. & Ràfols, I. (2017). Why researchers publish in non-mainstream journals: Training, knowledge bridging, and gap filling. Research policy, 46, 1666-1680. http://dx.doi.org/10.1016/j.respol.2017.08.002

Chinchilla-Rodríguez, Z., Zacca-González, G., Vargas-Quesada, B. & Moya-Anegón, F. de. (2015). Latin American scientific output in Public Health: combined analysis using bibliometric, socioeconomic and health indicators. Scientometrics, 102, 609-628. https://doi.org/10.1007/s11192-014-1349-9

Crisci, J. V., y López Armengol, M. F. (1983). Introducción a la teoría y práctica de la taxonomía numérica. Washington: Organización de los Estados Americanos.

De Filippo, D. F., Morillo, F. & Fernández, M. T. (2008). Indicadores de colaboración científica del CSIC con Latinoamérica en bases de datos internacionales. Revista española de documentación científica, 31(1), 66-84. http://dx.doi.org/10.3989/redc.2008.v31.i1.413

Falagas, M. E., Kouranos, V. D., Arencibia-Jorge, R., y Karageorgopoulos, D. E. (2008). Comparison of SCImago journal rank indicator with journal impact factor. The FASEB journal, 22, 2623-2628. https://doi.org/10.1096/fj.08-107938

Farris, J. S. (1971). The hypothesis of nonspecificity and taxonomic congruence. Annual Review of ecology and systematics, 2, 277-302. https://doi.org/10.1146/annurev.es.02.110171.001425

Filliben, J. J. (1975). The probability plot correlation coefficient test for normality. Technometrics, 17(1), 111-117. https://doi.org/10.1080/00401706.1975.10489279

García-Pachón, E. & Arencibia-Jorge, E. (2014). Comparación del factor de impacto y el índice SCImago Journal Rank en las revistas del sistema respiratorio. Archives of bronconeumology, 50(7), 308-309. https://doi.org/10.1016/j.arbres.2013.10.006

Gingras, Y. & Khelfaoui, M. (2018). Assessing the effect of the United States’ “citation advantage” on other countries’ scientific impact as measured in the Web of Science (WoS) database. Scientometrics, 114(2), 517-532. https://doi.org/10.1007/s11192-017-2593-6

Hammer, Ø., Harper, D. A. T., & Ryan, P. D. (2001). PAST: Paleontological Statistics Software Package for Education and Data Analysis. Palaeontologia electronica, 4(1), 1-9.

Hermes-Lima, M., Santos, N.C.F., Alencastro, A.C.R., y Ferreira, S.T. (2007). Whither Latin America? trends and challenges of science in Latin America. IUBMB Life, 59, 199–210. https://doi.org/10.1080/15216540701258751

Inglesi-Lotz, R. & Pouris, A. (2013). The influence of scientific research output of academics on economic growth in South Africa: an autoregressive distributed lag (ARDL) application. Scientometrics, 95(1), 129-139. https://doi.org/10.1007/s11192-012-0817-3

Inglesi-Lotz, R., Chang, T. & Gupta, R. (2015). Causality between research output and economic growth in BRIC. Quality and quantity, 49, 167-176. https://doi.org/10.1007/s11135-013-9980-8

King, D. A. (2004). The scientific impact of nations. What different countries get for their research spending? Nature, 430, 311–316. https://doi.org/10.1038/430311a

Lee, L. C., Lin, P. H., Chuang, Y. W. & Lee, Y. Y. (2011). Research output and economic productivity: A Granger causality test. Scientometrics, 89, 465–478. https://doi.org/10.1007/s11192-011-0476-9

Leydesdorff, L. (2005). Evaluation of research and evolution of science indicators. Current science, 89(9), 1510-1517.

Mickevich, M. F. (1978). Taxonomic congruence. Systematic zoology, 27, 143-158. https://doi.org/10.2307/2412969

Miguel, S. E. y Moya-Anegón, F. de. (2009). La ciencia argentina bajo la lupa de los indicadores cienciométricos. Una mirada crítica de la realidad científica argentina. La Plata: Al Margen.

Moya-Anegón, F. de & Herrero-Solana, V. (1999). Science in America Latina: a comparison of bibliometric and scientific-technical indicators. Scientometrics, 46(2), 299–320. https://doi.org/10.1007/BF02464780

Murtagh, F. & Legendre, P. (2014). Ward's hierarchical agglomerative clustering method: which algorithms implement Ward's criterion? Journal of classification, 31(3): 274-295.

Ortiz-Jaureguizar, E. (2019). Exploración de relaciones entre indicadores bibliométricos y otros indicadores del contexto económico, social y productivo. En S. E. Miguel (Coord.), Actas del Workshop Iberoamericano de Estudios métricos de la actividad científica orientada a temas locales/regionales (La Plata, 2018) (pp. 109-115). Universidad Nacional de La Plata, Facultad de Humanidades y Ciencias de la Educación. Recuperado de https://www.libros.fahce.unlp.edu.ar/index.php/libros/catalog/book/130

Ortiz-Jaureguizar, E.; Miguel, S. E.; González, C. & Posadas, P. (2019). La producción científica argentina en el contexto mundial: un análisis comparado empleando los indicadores de Scimago Journal and Country Rank. En S. E. Miguel (Coord.), Actas de las V Jornadas de intercambio y reflexión acerca de la investigación en Bibliotecología, La Plata, 23 y 24 de noviembre de 2017 (pp. 175-195). Recuperado de http://www.memoria.fahce.unlp.edu.ar/libros/pm.725/pm.725.pdf

Ortiz-Jaureguizar, E., Miguel, S. E. y Posadas, P. (2015). Relaciones de similitud y valor discriminativo de los indicadores bibliométricos: los indicadores de Scimago Journal & Country Rank en las revistas generalistas de Paleontología. En Actas de las 4as Jornadas de intercambio y reflexión acerca de la investigación en Bibliotecología. Recuperado de http://jornadabibliotecologia.fahce.unlp.edu.ar/jornadas-2015/archivos-pdf/jirib2015­_ORTIZ_texto.pdf

Palacio, F. X., Apodaca, M. J. y Crisci, J. V. (2020). Análisis multivariado para datos biológicos: teoría y su aplicación utilizando el lenguaje R. Ciudad Autónoma de Buenos Aires: Fundación de Historia Natural Félix de Azara.

Persson, O., Glänzel, W. & Danell, R. (2004). Inflationary bibliometrics values: the role of scientific collaboration and the need for relative indicators in evaluative studies. Scientometrics, 60(3), 421–432. https://doi.org/10.1023/B:SCIE.0000034384.35498.7d

Ploszaj, A., Celinska-Janowicz, D. & Olechnicka, A. (2018). Core-periphery relations in international research collaboration. In R. Costas, T. Franssen y A. Yegros-Yegros (Edits.), Proceedings of the 23rd International Conference on Science and Technology Indicators (pp. 1322-1327). Leiden, The Netherlands. Recuperado de https://openaccess.leidenuniv.nl/bitstream/handle/1887/65273/STI2018_paper_218.pdf?sequence=1

Ríos Gómez, C. & Herrero-Solana, V. (2005). La producción científica latinoamericana y la ciencia mundial: una revisión bibliográfica (1989-2003). Revista interamericana de bibliotecología, 28(1), 43-61. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0120-09762005000100003&lng=en&tlng=es

Rohlf, F. J. (1982). Consensus indices for comparing classifications. Mathematical biosciences, 59(1), 131-144. https://doi.org/10.1016/0025-5564(82)90112-2

Rohlf, F. J. (2018). NTSYSpc: Numerical Taxonomy System. ver. 2.21c. New York: Applied Biostatistics, Inc., Port Jefferson.

Sancho Lozano, R. (2002). Indicadores de los sistemas de ciencia, tecnología e innovación. Economía industrial, 343, 97-109. Recuperado de https://www.mincotur.gob.es/Publicaciones/Publicacionesperiodicas/EconomiaIndustrial/RevistaEconomiaIndustrial/343/097-SANCHO.pdf

Sandoval-Romero, V., Mongeon, P., y Larivière, V. (2018). Science, technology and innovation policies in Latin-America: fifteen years of scientific output, impact and international collaboration. In R. Costas, T. Franssen y A. Yegros-Yegros (Edits.), Proceedings of the 23rd International Conference on Science and Technology Indicators (STI 2018) (pp. 1450-1459). Leiden, The Netherlands. Recuperado de https://openaccess.leidenuniv.nl/bitstream/handle/1887/65272/STI2018_paper_236.pdf?sequence=1

Santa, S. y Herrero-Solana, V. (2010). Producción científica de América Latina y el Caribe: una aproximación a través de los datos de Scopus, 1996–2007. Revista interamericana de bibliotecología, 33(2), 379-400. Recuperado de https://revistas.udea.edu.co/index.php/RIB/article/view/7648

Shelton, R.D., y Leydesdorff, L. (2012). Publish or patent: Bibliometric evidence for empirical trade-offs in national funding strategies. Journal of the American Society for Information Science and Technology, 63(3), 498-511. https://doi.org/10.1002/asi.21677

Smith, P-G. y Phipps, J. B. (1984). Consensus trees in phenetic analysis. Taxon, 33(4), 586-594. https://doi.org/10.2307/1220776

Sneath, P. H. A. & Sokal, R. E. (1973). Numerical taxonomy. San Francisco: W.H. Freeman Co.

Sokal, R. R. (1986). Phenetic taxonomy: theory and methods. Annual review of ecology and systematics, 17, 423-442. https://doi.org/10.1146/annurev.es.17.110186.002231

Sokal, R. R. & Rohlf, F. J. (1962). The comparison of dendrograms by objective methods. Taxon, 11, 33-40. https://doi.org/10.1146/annurev.es.17.110186.002231

Traverso. J. V., Ortiz-Jaureguizar, E., Miguel, S. E. & Posadas, P. (2020). Relaciones de similitud y valor discriminatorio de los indicadores de Scimago Journal and Country Rank. Un análisis basado en las revistas generalistas de antropología (2008-2017). Revista general de información y documentación, 30(1), 261-296. https://dx.doi.org/10.5209/rgid.70070

van Raan, A. F. J. (2006). Comparisons of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups. Scientometrics, 67(3), 491-502. https://doi.org/10.1556/Scient.67.2006.3.10

Vessuri, H., Guedon, J. C. & Cetto, A. M. (2014). Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development. Current Sociology, 62(5), 647-665. https://doi.org/10.1177/0011392113512839

Vinkler, P. (2008). Correlation between the structure of scientific research, scientometric indicators and GDP in EU and non-EU countries. Scientometrics, 74, 237–254. https://doi.org/10.1007/s11192-008-0215-z

Zacca-González, G., Chinchilla-Rodríguez, Z., Vargas-Quesada, B. & Moya-Anegón, F. de. (2014). Bibliometric analysis of regional Latin America's scientific output in Public Health through SCImago Journal & Country Rank. BMC Public Health, 14, 632. https://doi.org/10.1186/1471-2458-14-632

Zenteno-Savín, T., Oliveira Beleboni, R. & Hermes-Lima, M. (2007). The cost of Latin American science. Introduction for the second issue of CBP-Latin America. Comparative biochemistry and physiology, 146(4), 463-469. https://doi.org/10.1016/j.cbpa.2006.06.044

Notas

Publicación: 01 octubre 2020