Palabra Clave (La Plata), Octubre 2018, vol. 8, n° 1, e062. ISSN 1853-9912
Universidad Nacional de La Plata
Facultad de Humanidades y Ciencias de la Educación
Departamento de Bibliotecología

Notas para el debate

Pares ciegos: evaluadores, evaluaciones y revistas científicas: problemas de un sistema en mal estado

Rubén Urbizagástegui-Alvarado

Universidad de California en Riverside, Estados Unidos

Cita sugerida: Urbizagástegui-Alvarado, R. (2018). Pares ciegos: evaluadores, evaluaciones y revistas científicas: problemas de un sistema en mal estado. Palabra Clave (La Plata), 8(1), e062. https://doi.org/10.24215/18539912e062

De tanto en tanto aparecen los desvariados, esos desavisados que, medio dormidos o dormidos y medio leen los artículos que uno publica o somete a evaluación a revistas académicas y que terminan siendo evaluados por los llamados “pares ciegos”. Este es realmente un buen nombre (pares ciegos) porque, a veces, algunos de ellos realmente son precisamente eso, pares y ciegos, y bien ciegos.

Por desidia, o simplemente por no querer confrontar las circunstancias, a veces uno deja pasar algunas situaciones deplorables. Me pasó con una científica de la información brasileña, que en una nota editorial con el título “Pra não dizer que não falei das flores” me acusaba de no haber listado en un artículo mío, que mapeaba las revistas académicas de ciencia de la información y bibliotecología en América Latina (Urbizagástegui-Alvarado, 2006), a la revista Informação e Sociedade: Estudos. Esta científica de la información simplemente no había leído el artículo y sin leerlo o leyéndolo medio dormida, me acusaba de no haber listado en mi artículo a la mencionada revista. Lógicamente, mi artículo incluía esa revista. Le envié una carta de rectificación que lógicamente nunca publicó. Y tampoco nunca se disculpó. Nunca se rectificó pues y la cosa quedó allí. Dejé pasar esas acusaciones solo por desidia. Me niego a que esto siga sucediendo.

Situaciones similares me han sucedido de vez en cuando. He recibido hasta comentarios un tanto racistas de revisores (pares ciegos) de Scientometrics, quienes se referían, por ejemplo, a un artículo acerca del crecimiento de la literatura sobre las “metrías” en el Brasil, que sometí a evaluación por esa revista (Urbizagástegui y Restrepo, 2015):

En primer lugar: ¿por qué los autores escogieron la literatura brasileña en bibliometría? Ese país no tiene ninguna tradición ni visibilidad en este campo que justifica tal elección. La mayor parte de la información presentada y discutida es solamente de interés local y se basa en artículos brasileños, escritos en portugués, que para la mayoría de los lectores [de la revista Scientometrics] no es de interés (Revisor #2 de Scientometrics, 2014).

Precisamente, el artículo buscaba demostrar que la literatura brasileña en bibliometría tiene tradición, aunque fuera poco visible, y que era necesario buscarle la visibilidad que esa producción intelectual merece. Por otro lado, con esas afirmaciones se me está diciendo que la producción científica brasileña y por ende la producción científica latinoamericana no merece ser investigada ni diseminada para una comunidad llamada “internacional”, especialmente porque es producida en portugués y español. Esa producción no es producción científica. Producción científica es solo lo que se produce en las esferas anglosajonas (Estados Unidos o Europa). Esa producción sí es de interés para los lectores de la revista Scientometrics, pero no la producción brasileña. Para mí esas frases solo expresan un racismo inocultable. A buen entendedor pocas palabras.

De forma similar, he recibido también comentarios racistas de revistas españolas de bibliotecología y ciencia de la información. Mis respuestas las incluía como citas a pie de página refutando los comentarios. Lógicamente nunca publicaron mis artículos. Felizmente esos artículos terminaron siendo publicados por otras revistas académicas. En otros casos me han aplicado criterios no especificados en las normas para someter artículos a la evaluación de las revistas, los cuales no figuraban ni en las instrucciones para los autores. Nunca pudieron ofrecerme justificaciones coherentes para no publicar un artículo aprobado, cuya publicación fue retrasada, no sé si intencionalmente, por más de tres años. Este fue el caso de una revista de ciencia de la información brasileña. Igual al de una revista publicada en el Perú, en la que los editores más tarde hasta copiaron mis resultados en un artículo que ellos mismos difundieron como propio, sin la cita correspondiente.

¿A qué viene todo esto?

Recientemente, sometí a evaluación un artículo con el título de “Argopecten Purpuratus: análisis de co-palabras” (Urbizagástegui-Alvarado, 2017) a una revista brasileña. Recibí de la revista dos copias de los revisores, uno aprobaba la publicación del artículo con ligeras modificaciones (el par-ciego A) y el otro sugería “profundas modificaciones”, pues para que mi artículo fuera aprobado para publicación necesitaría “de mucha revisión y aclaración de los procedimientos metodológicos para ganar la confianza de este revisor” (mi par-ciego B). O sea que para que publiquen mi artículo tengo que ganarme hasta “la confianza” de ese revisor. Estoy jodido.

A pesar de que en el artículo sometido a publicación se afirma que “El objetivo de este artículo es analizar la coocurrencia de las palabras clave presentes en los documentos publicados en la literatura sobre concha de abanico, un pectinido que tiene por nombre científico el de Argopecten Purpuratus” (p. 3), mi par-ciego B afirma que “el trabajo carece de un objetivo o motivo por el cual la aplicación de estrategias bibliométricas en el estudio de este bivalvo marino traería resultados significativos”.

Me quedé pensando en cómo entender la sugerencia de “profundas modificaciones”, “mucha revisión y aclaración” y encima ganarme la “confianza de ese revisor”. ¿Será que debo entender que tengo que abandonar todo lo escrito y escribir un nuevo artículo? ¿Modificar toda la estructura del artículo? ¿O simplemente abandonar el asunto y escribir otro artículo orientado a “ganarme la confianza” de ese par-ciego? ¿O es que me están diciendo sutilmente que no van a publicar mi artículo?

Como no sé cómo entender esa sugerencia no consigo actuar, estoy paralizado. Estoy aterrado. Tanto esfuerzo para nada. Entonces, creo que lo mejor es pues consultarles a los pares ciegos y al editor. ¿Qué es lo que quieren decir cuando afirman que el artículo necesita “profundas modificaciones”? Y allá voy yo con la consulta. Pero no hay respuesta, sino meras evasivas. Los responsables hasta se esconden.

¿Qué es lo que un autor espera de un evaluador?

Yo particularmente no soy afín de las evaluaciones por pares ciegos. Soy más cercano a las evaluaciones por pares abiertos, con los cuales uno podría tener discrepancias éticas y con altura. Siempre he pensado que un evaluador debería actuar como una especie de consejero-guía, como un colega. Imagínense a un consejero-guía (un colega) hablando directamente con el autor del artículo sometido a evaluación, y sugiriéndole (guiándole) en las modificaciones que debería hacer en su documento. Especialmente, a estas alturas del desarrollo de las tecnologías de comunicación, están allí Facebook, Skype, correo-electrónico, etc.

Mi razonamiento es el siguiente: si alguien somete el resultado de una investigación a la evaluación de una revista, es porque de alguna manera cree que el trabajo está finalizado y merece ser publicado. Puede no merecerlo, pero quien toma la decisión de someterlo a una revista piensa que ese documento ya alcanzó todos los elementos que lo ameritan como para ser publicado.

Pensemos un poco en todo el esfuerzo que esa persona realizó antes de someter el artículo a evaluación: hizo un plan de trabajo, leyó artículos, recogió datos, hizo el trabajo de escribir y describir los resultados. Seguramente se pasó horas sentado frente al computador leyendo y corrigiendo. Una vez terminado el documento, seguramente lo leyó y releyó hasta el punto en que piensa que ya está maduro para ser publicado. Luego se toma el trabajo de enviarlo a una revista. El esfuerzo pues no es pequeño ni banal.

Vamos a suponer que después de todo ese trabajo, el par ciego (par abierto en este caso) decidiera que el documento todavía no está lo suficientemente maduro para publicación. Nadie espera que su trabajo sea perfecto ni que lo vayan a publicar inmediatamente. Uno siempre está consciente de que el documento puede ser rechazado, y si las sugerencias son merecidas y correctas uno las corrige con gusto. Lo que hay que evitar es el desánimo y el abandono del esfuerzo de publicación. Sobre este punto, hay hasta afirmaciones del tipo “San Mateo” (Bunge, 2002), a partir del cual se explica que un rechazo de la publicación genera un retraimiento en la investigación y publicación. El rechazo tiene, pues, siempre un efecto negativo. Entonces, es bueno saber rechazar, aunque nunca faltan los facilistas lengua larga –y bífida–. La prudencia siempre es una buena amiga y aliada. Siempre es bueno saber decir “todavía no”.

¿Cuál debería ser la función de un evaluador?

En primer lugar, el evaluador debería concentrarse en la problemática expresada en los objetivos del documento que tiene en las manos para evaluación. Por ejemplo, si en ese documento se está analizando el crecimiento de la literatura, es eso lo que el autor quiso (quiere) analizar. Se debería evitar en lo posible considerar aquello que al evaluador le hubiera gustado que el autor hubiese investigado. Evitar en lo posible recomendaciones u observaciones del tipo,

Sería de mayor interés que los autores analicen el campo de los autores. Apuesto a que la mayoría de los trabajos recientes tienen autores de campos científicos específicos (Revisor #3 de Scientometrics, 2014).

Es decir, nos están mandando a hacer un trabajo diferente del sometido a consideración de la revista. Si ese fuese nuestro interés, ya habríamos hecho la investigación y habríamos sometido a evaluación ese tipo de trabajo. Las recomendaciones, pues, extrapolan al asunto en discusión en el documento sometido a la revista. Por lo tanto, un evaluador (par-ciego) debería centrar sus observaciones en el tópico en discusión y debería evitar extrapolar sus comentarios sugiriendo una investigación en el asunto que al evaluador le hubiera gustado que el autor abordara. Por ejemplo, mi par-ciego B recomienda que como el documento tiene “una gran cantidad de detalles sobre los resultados obtenidos (…) sería más interesante presentar los diferentes temas de análisis por estos autores”. Si ese fuese mi interés habría sometido a evaluación un artículo con esos enfoques. La extrapolación es obvia.

En segundo lugar, lo ideal sería que opere como un consejero-guía, como un colega, y sugiriera cambios y/o modificaciones concretos –Mira, tú dices esto, pero eso no es cierto, por esto y por estas razones–. Alguien que alcance o señale literatura que pueda servir para complementar, clarificar o ayudar a mejorar el artículo en cuestión. Por ejemplo, que se le diga al autor “este artículo te puede servir para esta parte y este otro para esta otra parte”, etc., pero nunca afirmaciones tan generalistas como

…la revisión de la literatura está muy centrada en los estudios de Bibliotecología y Ciencias de la Información, y también en los estudios chinos. Hay más de 500 artículos sobre el análisis de co-palabras con varios temas, algunos más relacionados con ciencias ambientales o estudios marinos que podrían haber sido aplicados a esta revisión (mi par-ciego B).

Afirmaciones de este tipo son un tanto racistas. ¿Porque los estudios son hechos por chinos no tienen valor heurístico? ¿Para que tengan algún valor hay que revisar autores blancos y anglosajones? En vez de afirmar: “hay más de 500 artículos...”, sería mejor recibir una (al menos una) referencia específica que nos diga “revisa este artículo, y este, y este otro”. Afirmaciones tan generalistas de este tipo implican la duda respecto de la capacidad de trabajo del autor del documento. De nuevo, el racismo de la inteligencia (Bourdieu, 1999). Me imagino que el evaluador debe pensar que, como es revisor par ciego, ejerce el poder porque está escondido del evaluado: este no sabe quién soy y nunca lo sabrá. En este caso, lo que se me está diciendo es que como eres un sonso, un idiota, un retrasado mental, no has buscado la literatura que analiza las ciencias ambientales o los estudios marinos, donde hay un montón (más de 500) estudios sobre el análisis de copalabras. Es un racismo sutil, muy útil al ejercicio de un poder oculto en el anonimato. Es a ese tipo de racismo que Bourdieu (1999) llama racismo de la inteligencia, racismo de la academia, racismo del evaluador, racismo del par-ciego. El racismo tiene muchas facetas, algunas de ellas muy sutiles: los chinos no, los blanquitos sí. Yo sé que no has hecho bien tu trabajo de busca de datos bibliográficos. Los tarados (los idiotas pues) son los otros, yo (el evaluador), nunca.

Veamos de nuevo cómo opera ese racismo de la inteligencia: “Por otro lado, la cantidad total de documentos publicados parece baja para la cantidad de bases de datos buscadas” (mi par-ciego B). Nuevamente, ese racismo sutil, imperceptible y travestido de “buena voluntad”. Lo que se me está diciendo es: “tú bibliotecario idiota, retrasado mental, no sabes ni buscar tus datos en las bases de datos. Dices que has buscado en tantas bases de datos, pero la cantidad que has encontrado es mucho menor de lo que deberías haber encontrado. Idiota, no sabes ni buscar en una base de datos bibliográfica”. ¿Entendieron? Ese es el tipo de par-ciego que a veces nos toca y que debería ser desterrado de las revistas académicas. El racismo de la academia opera de forma muy sutil. El poder que otorga la invisibilidad y el anonimato refuerza muy bien el ejercicio de esa función.

Por razones como estas es que me siento más afín a las revisiones por pares abiertos al debate, y ni siquiera al debate, sino más bien al intercambio de opiniones. Al guía, al consejero, al colega, al amigo que te ayude a llegar a tus objetivos. Ganaríamos todos. Ganaría el campo de estudios en el que estamos todos metidos. Ese campo al que sin razón se le acusa de no ser una ciencia sino una simple técnica, como si toda ciencia, cualquier ciencia, no fuese una construcción social. Para ejemplo, allí están la química y la física. Trecientos años atrás, los acusaban de brujos y hechiceros y los quemaban en plazas públicas. Hoy día nadie duda de que ambas son ciencias maduras. Ciencias socialmente construidas. La bibliotecología no es diferente, es una ciencia en permanente construcción social.

Para concluir, un evaluador debería actuar más como un consejero-guía, como un colega, como un tutor, como un caminante que abre caminos al andar, antes que como un censor, un inquisidor con sus poderes ocultos donde el racismo de la inteligencia ejerce su máxima expresión.

¿Y cuál debería ser el papel del editor de una revista académica?

Sería interesante explorar cual debería ser el papel del “editor” de una revista académica. En lo posible, este debería mantener y alimentar permanentemente una base de datos de especialistas en las diversas líneas de investigación que constituyen el campo de conocimiento de la disciplina o ciencia cubierta por la revista. En esta base de datos deberían ser localizados los especialistas que eventualmente evaluarían un artículo de su especialidad. Aquellos colegas “pares” que deberían guiar el proceso de producción de conocimiento en el campo. Esta selección de especialistas de ninguna manera debería estar suelta al capricho del eventual editor de una revista. Se debe evitar el “compadrazgo”, el intercambio de favores que salta a la vista en algunas revistas de la especialidad. Este editor también debería estar en contacto permanente con el autor del artículo sometido a consideración en esa revista, por lo menos para brindarle información y mantenerlo al día sobre la situación en la que se encuentra su trabajo. Ningún autor espera que su artículo sea publicado a la semana siguiente de ser sometido a evaluación en una revista, pero tampoco nunca debería ocurrir que después de un año se le informe al autor que su artículo no cumplía con las “normas editoriales” elaboradas para los autores, y que solo se daría continuidad al proceso de evaluación una vez que esas “normas editoriales” fueran corregidas y actualizadas. Considero que esas simples “normas editoriales” bien podrían ser corregidas una vez que el artículo fuera aceptado para publicación en la revista. Evitar en todo caso la “burocratización" del proceso de evaluación de los documentos, como viene ocurriendo en una de las revistas editadas en México y en Brasil. Seriedad, transparencia, humildad y honestidad deberían guiar la actitud de los editores de las revistas especializadas en el campo de la Bibliotecología y Ciencia de la Información. Por lo menos, es lo que yo espero.

Escribo esto para que no digan que nunca hablé de flores ni crucé ríos y montañas sin poncho y sin dinero.

Referencias

Bourdieu, P. (1999). El racismo de la inteligencia. En Cuestiones de Sociología. Madrid: Istmo.

Bunge, M. (2002). El efecto San Mateo. Polis: Revista Latinoamericana, 2, 1-5.

Urbizagástegui-Alvarado, R. (2006) Las revistas de bibliotecología y ciencias de la información en América Latina. Biblios, 7(24).

Urbizagástegui-Alvarado, R. (2017). Argopecten Purpuratus: análisis de co-palabras. Sometido en junio de 2017.

Urbizagástegui-Alvarado, R., y Restrepo Arango, C. (2015) The growth of Brazilian metrics literature. Journal of Scientometric Research, 4(1), 1-9.

Recepción: 31 julio 2018

Aprobación: 25 septiembre 2018

Publicación: 31 octubre 2018

HTML generado a partir de XML-JATS4R por