Indice Anterior Siguiente
ACIMED 1999;7(1):30-9

Los análisis de citas en la evaluación de los trabajos científicos y las publicaciones seriadas

Resumen

Descriptores: ANALISIS DE CITAS; PUBLICACIONES SERIADAS; EVALUACION DE PUBLICACIONES; FACTOR DE IMPACTO.
 

El análisis de citas es uno de los criterios que se emplea con mayor frecuencia para la selección de la literatura científica. De igual forma, constituye una de las alternativas más controvertidas tanto para la evaluación de la actividad científica como de las publicaciones.

El entorno informacional en el que se desarrolla el proceso de investigación influye poderosamente en este último. Dicho entorno comprende al conjunto de fuentes y canales de información, así como las líneas de comunicación y los trabajos con los cuales el autor se relaciona a la luz de los objetivos, fines y metas de su actividad.

Si bien existen notables diferencias entre la importancia que se concede a los distintos tipos de fuentes y canales de información, según el sector (directivo, docente práctico, etc.) de la actividad que se trate, los investigadores adjudican el mayor valor a las líneas de comunicación documentales como son por ejemplo las publicaciones seriadas y los libros, entre otros.

La consulta de sus mensajes -trabajos- posibilita a los investigadores determinar problemas y objetivos de estudio realmente importantes, relaciones novedosas de interés entre las variables -hipótesis-, métodos más frecuentes empleados para realizar estudios similares, así como la comparación de los resultados hallados en otros trabajos de igual categoría entre otros.

La utilización de las citas bibliográficas -como criterio de evaluación de los trabajos y las publicaciones científicas- se fundamenta en su carácter condicionante de las principales etapas de la investigación científica. De aquí la importancia de la realización de una revisión bibliográfica exhaustiva, imparcial, representativa y actualizada, bajo criterios objetivos de valoración y selección tanto para el proceso de investigación como para la evaluación de los trabajos científicos.

Durante décadas, "la tradición científica ha exigido que cuando un investigador publique un trabajo refiera los anteriores relacionados con el tema. Dichas citas conducen a las fuentes de las ideas que aparecen en el trabajo, es decir, sirven para identificar aquellos estudios previos cuyas teorías, conceptos, métodos, aportes, u otros se utilizaron o inspiraron al autor a desarrollar una nueva investigación. El análisis de dichas citas según temáticas y subtemáticas, fuentes, antigüedad, u otros parámetros permite identificar los rasgos característicos del interés científico en una comunidad concreta o en general".¹

La intensidad del empleo de una revista o de la obra de un autor proporciona una medida razonable de su importancia científica. Puede considerarse el uso de un trabajo a partir de las citas que de éste hacen otros.²

Si se reconoce que los autores se refieren a materiales previos para soportar o elaborar sobre un punto en particular, el acto de citar es una expresión de la importancia que se atribuye al material indicado. Cuando un investigador cita una revista, evidencia que la revista influyó de alguna manera sobre él. Cuanto más frecuente se cita un documento, más a menudo la comunidad científica reconoce la influencia o el impacto de la revista citada.³

Si bien, está demostrado que sólo unas pocas revistas acumulan la mayor parte de las citas realizadas sobre un tema específico y que la cita constituye una de las formas donde mejor se refleja la utilización de un trabajo o publicación científica, resulta que el acto de citar propiamente dicho es una función de muchas variables y las citas, en general, pueden estar motivadas por razones distintas.

Entre las variables que influyen en el índice de citación se encuentran su visibilidad general, circulación -es decir, el número de ejemplares en cada tirada-, disponibilidad en instituciones de información, cubrimiento por servicios de información secundaria, reputación o prestigio científico, etcétera.

La visibilidad de un trabajo es un factor determinante en el proceso de citación. Un trabajo es visible cuando el autor de otro relacionado con él puede conocer de su existencia al menos de forma indirecta. Cuando un trabajo no es visible es imposible considerarlo y, por tanto, evaluarlo. Su desconocimiento impide su uso y hasta la intención de acceso. De lo que se conoce se seleccionará aquello que parezca más adecuado con las necesidades del investigador o consumidor.

La visibilidad, la accesibilidad y la disponibilidad influyen necesariamente en la conducta de consumo o utilización en un contexto determinado.

LAS MOTIVACIONES DE LAS CITAS BIBLIOGRÁFICAS

Ante las críticas hechas a los estudios de citas, principalmente contra los motivos que las inducen, se muestra un esquema a continuación en el que se recogen al azar los resultados de varios estudios realizados sobre las motivaciones que presentan los autores para citar determinados trabajos.
 

Ante estas evidencias, se ha de suponer que la costumbre de escribir primero un artículo y después añadirle una decoración de una decena de citas, no altera de manera sensible la conducta habitual consistente en reconocer los trabajos que han proporcionado la base informacional necesaria para el desarrollo de uno posterior.²

Como información complementaria a los resultados expuestos, a continuación se mostrarán con más detalles las causas de la diferencia de impacto o de los índices de citación que presentan los artículos y las publicaciones científicas, a partir de distintos estudios realizados en el sector biomédico.

ALGUNOS FACTORES A CONSIDERAR EN EL IMPACTO DE LOS TRABAJOS Y LAS PUBLICACIONES CIENTÍFICAS EN EL SECTOR BIOMÉDICO

Algunas diferencias observadas, en la comparación entre The Lancet y British Journal of Medicine,⁹ permiten descubrir algunas de las razones de las diferencias en los niveles de impacto entre las revistas biomédicas.

Entre estas diferencias se encuentran:

Distinto número de artículos que presentan descubrimientos científicos originales

El grupo de artículos que más se cita son aquéllos que exponen estos descubrimientos.

Diferente número de investigaciones básicas y clínicas

La aplicabilidad de las investigaciones básicas no está limitada como la de las investigaciones clínicas. Las políticas económica y de salud, así como los factores geográficos, entre otros, condicionan en cierta medida la variedad de problemas de salud que se presentan en determinados países y regiones; éstas son algunas de las razones por las cuales las investigaciones clínicas poseen un contexto estrecho de aplicación.

En el sector médico clínico, cada revista está interesada en satisfacer las necesidades de su propia comunidad. Es posible, también, que la comunidad de lectores y su orientación aparentemente similar presente diferencias (por ejemplo, distinto número de especialistas dedicados a la investigación) internas, hecho que afectará su conducta de citación.
 

La internacionalidad de la revista

La visibilidad

La longitud de los artículos

La longitud y el propósito de las cartas

Las secciones y el tipo de trabajo (notas, informes, etc.), publicados por la revista

La carta representa cerca de 60% de la producción de trabajos científicos, según su frecuencia de aparición, seguida de los artículos originales (16,1 %) y los editoriales (12,4 %).

Los artículos de revisión o reseñas (93,9 %), los artículos originales (92,0 %) y los materiales de conferencia (90,5 %) constituyen las categorías de trabajos con mayores posibilidades de citarse.

Los artículos originales reciben 59,3 % del total de las citas realizadas a todos los trabajos, seguido de las cartas (15,2 %) y las notas (12,9 %).

El factor de impacto promedio por categoría más alto correspondió a los materiales de reseña (32,5). Le siguieron los artículos originales (23,1) y los materiales de conferencia (19,0).

A continuación, se mostrarán algunos de los rasgos más generales que caracterizan a la correspondencia científica en las publicaciones periódicas.
 

LA CORRESPONDENCIA CIENTÍFICA EN LAS PUBLICACIONES PERIÓDICAS

• Las revistas generales dedican una variable pero consistente proporción de páginas de texto a las cartas. Las revistas especializadas, por su parte, dedican un menor, pero similar porcentaje, que el que emplean las revistas generales en la publicación de cartas.
• En las revistas especializadas, se utiliza el doble de espacio en cartas concernientes a artículos (sobre todo críticas y réplicas a críticas) en comparación con las revistas generales. En las revistas generales, se dedica proporcionalmente 3 veces más espacio a las cartas que presentan trabajos originales y casos que en las especializadas. Las revistas generales presentan una menor actividad relacionada con la crítica, pero, casi una igual proporción de cartas vinculadas con artículos publicados por la revista. En las publicaciones especializadas, las cartas sirven como medio de control o balance al sistema de revisión editorial.
• Las revistas generales tienen una columna más activa de cartas pero su contenido no provoca tantas discusiones como en las revistas especializadas.

Los elementos considerados, permiten suponer que el número de citas que recibe un trabajo, no puede considerarse po sí solo como una medida de su calidad científica propiamente dicha, aunque la sistema-ticidad de la citación, cuando es producto de una selección consciente por parte de los diferentes autores, puede indicar, además de su utilidad, el cumplimiento de ciertas normas generales de calidad científica exigidas, a menudo, por los investigadores como para considerar a los trabajos en realidad valiosos.

Es difícil predecir en un conjunto de citas, qué proporción de ellas se debe a su utilidad y calidad intrínseca, y cuántas a otros factores como son el prestigio de la revista el de la institución, el del autor, etcetera.¹

Mientras que el impacto de un trabajo (medido mediante el número de citas recibidas) muestra su eficacia y tal vez su valor, la falta de impacto no indica necesariamente su inutilidad, sobre todo, porque para ser citado se necesita como condición indispensable estar visible y disponible, condiciones que no presentan una correlación clara con la calidad de éste. Al investigar el impacto de un trabajo, es necesario considerar que depende también de la revista en que fue publicado.¹ Sucede, además, que trabajos de alta calidad no se citan nunca. Cunado los resultados de un trabajo científico se generalizan e integran en el cuerpo de conocimientos que forma parte de un campo, no se citarán explícitamente.¹

Algunas revistas no reciben muchas citas, por cuanto los científicos leen, a veces, las revistas por iguales razones que las de el pueblo para leer los periódicos o porque, aunque se utilizan con gran frecuencia, son revistas cuyos trabajos son básicamente de índole práctica.

El sector práctico de un campo del conocimiento con frecuencia no cita otros trabajos porque el propósito de la lectura, en la mayoría de las ocasiones, difiere del de la realización de trabajos científicos para publicar. La denominada área asistencial dentro de la medicina publica con escasez y, por tanto, cita de igual forma; por lo que resulta realmente difícil contemplar a esta esfera en los análisis de citación que de la literatura médica se realicen.

La influencia de una publicación, por ejemplo, con una alta orientación clínica puede reconocerse de forma diferente a cómo se realiza con una revista que contiene un gran número de investigaciones básicas. La primera no se citará con frecuencia en otros trabajos, porque está dirigida a un sector que de manera habitual no escribe sino que consume y aplica. Su influencia puede medirse fundamentalmente mediante sus efectos (por ejemplo, cambio de conducta diagnóstica y terapéutica) en la práctica clínica.

El uso sin previo análisis de los datos que se derivan de los estudios de citas, como criterio único o, incluso, como el más importante para valorar la literatura científica puede generar errores graves al no proporcionar un panorama real. En la mayoría de los estudios que han tratado de establecer correlaciones entre éstos y otros indicadores de calidad científica, se han generalizado dichas relaciones, desde ejemplos de científicos eminentes hasta la totalidad de las poblaciones de éstos (extrapolación a poblaciones con condiciones diferentes a las de los estudios).¹

En los mencionados grupos de científicos eminentes, los análisis de las citas y las evaluaciones generales emitidas por ellos acerca de los trabajos estudiados se han correlacionado bien, con valores que oscilan entre 0,5 y 0,8.¹¹

En este sentido, también es bueno recordar la variabilidad natural y circunstancial que presenta la evaluación de expertos en general. Se ha de considerar que la cita es una acción de consumo o utilización y que dichas acciones obedecen, en cierta medida, a la valoración positiva o negativa que del trabajo o de la publicación haya realizado el especialista con antelación. Es de suponer, entonces, que las valoraciones positivas de las publicaciones se confirmen más tarde, al menos en la esfera de las investigaciones, mediante la realización de citas a esas publicaciones valoradas como satisfactorias anteriormente. El análisis de citas contiene, en cierta medida, una valoración -que casi en la totalidad de los casos resulta positiva- de los expertos sobre la publicación que se estudia por cuanto la utilización de cualquier trabajo científico, en la mayoría de las veces, está acompañada de una valoración del material utilizado.

Sin embargo, sucede con cierta frecuencia que los especialistas citan revistas en sus trabajos, las cuales no han considerado en sus opiniones e incluso en algunos momentos han valorado negativamente. Esto hace pensar, que los métodos tradicionales de recogida de las valoraciones (opiniones, juicios, preferencias, etc.) de los expertos acerca de las publicaciones por ellos conocidas, no son capaces de abarcar el conjunto total de revistas que después citan. Esto ocurre porque los especialistas en general sólo recuerdan un pequeño conjunto de publicaciones que en ciertas ocasiones le han proporcionado trabajos útiles.

Aun con lo expuesto antes, sucede en pocas ocasiones que las revistas que se han valorado negativamente se citen en forma regular después. Existe, por tanto, un enlace necesario y determinante entre la valoración que emite un individuo y su acción de utilización. La no utilización o consumo de objetos valorados en forma positiva por los sujetos obedece, en general, a limitantes situacionales como la accesibilidad, los costos, las barreras idiomáticas, la falta de preparación para su utilización, etc. La cita como producto final de un proceso valorativo resulta algo tan complejo y difícil de desentrañar en sus verdaderos mecanismos motivacionales, como las evaluaciones tradicionales de los expertos.

Existen reservas en cuanto a la utilización de los análisis de citas para la selección de publicaciones periódicas en las instituciones de información. Muchos de dichos estudios no responden al contexto particular de la institución que exhiben, por demás, una considerable variación en sus entornos.

Los análisis de citas generales no se ajustan a ninguna comunidad o situación en particular sino que se basan en el análisis de la corriente internacional de publicaciones -que con frecuencia no abarca a los países subdesarrollados y sus comunidades de científicos-, razón por la cual no se corresponden con las necesidades de ninguna institución en particular. Poseen sólo una utilidad general. En ellos, con frecuencia, no se consideran los costos, la disponibilidad de las publicaciones, el número de trabajos potencialmente útiles, el cubrimiento en los servicios de información secundaria, todos los cuales son factores influyentes en la utilización final de una entidad informacional.

Un análisis de citas, por sí solo, no puede sustituir el juicio humano objetivo y explícito, único en verdad válido para decidir directamente la utilidad real y la calidad de un trabajo.

Ahora bien, antes de terminar con esta sección, se mostrarán brevemente algunas medidas consideradas como de interés para las evaluaciones de las publicaciones periódicas dentro de esta alternativa metodológica.
 

ALGUNOS TIPOS DE MEDIDAS DE USO COMÚN EN LOS ANÁLISIS DE CITAS

Otro indicador que se utiliza para evaluar revistas es aquél que divide el número total de citas que recibe una publicación determinada en un conjunto de revistas estudiadas, por el número total de referencias que realiza la revista estudiada a todas las demás revistas analizadas. En este caso, se está ante una medida que pretende hallar el balance que existe entre la importación (citas recibidas) y la exportación de referencias. Cuando el valor de este indicador es superior a 1, indica que la importación (es decir, el número de citas que recibe) es mayor que la exportación (es decir, el número de referencias que ésta realiza de todas las demás revistas). Cuando el valor es igual a la unidad existe, entonces, un balance entre la importación y la exportación de referencias. En el caso de que la exportación de referencias sea menor que la importación de citas, la evaluación de la revista es considerada como deficiente.

Una alternativa a los indicadores expuestos la constituye aquélla en la cual se divide el número de veces que las revistas de un conjunto en estudio citan a la publicación que se evalúa, por el número total de citas realizadas por dicho conjunto a todas las revistas. Este tipo de medida pertenece a las denominadas como de influencia. Este indicador mide qué proporción del total general de citas realizadas por todas las revistas, corresponde a la revista evaluada. Puede expresarse en porcentaje mediante la multiplicación del valor obtenido por 100.

Para la aplicación de cualesquiera de estos indicadores y la interpretación de sus resultados, es necesario el cumplimiento de algunas condiciones esenciales como son que en el conjunto de revistas evaluadas no se deben mezclar publicaciones de distintas especialidades o temáticas, ni de diferentes esferas -especialmente las del sector investigativo y práctico-; y se debe separar del análisis aquellas revistas cuyo tipo de trabajo básico publicado sea el artículo de revisión o reseña. Las revistas que contribuyen al conocimiento de una disciplina se diferencian en sus patrones de citación de las revistas que soportan su práctica.

La presencia de estas condiciones resulta de gran importancia, por cuanto se ha podido determinar que el comportamiento de los parámetros de citación varía, con gran frecuencia, cuando cambia el campo temático, el sector analizado o el tipo de trabajo básico publicado en la revista.

Por último, es preciso aclarar que las citas y las referencias mencionadas en este trabajo no son aquéllas que aparecen como resultado del procesamiento analítico-sintético que de las publicaciones primarias se realiza regularmente en los servicios de información secundaria, sino a aquellas entidades reconocidas por el autor de un trabajo como fuentes de las ideas o conocimientos por él expuestos y que en general se ubican en el contenido de trabajo o en una lista al final de éste.

Las referencias registradas en los productos de información secundaria contienen, además de los datos -autor; título del trabajo; título, volumen, número y páginas de la publicación donde se encuentra- exigidos regularmente para identificar cualquier trabajo, otros elementos como la institución o afiliación del autor, los términos índices que representan la temática y los países, entre otros. Esto ofrece posibilidades más diversas de describir un flujo de literatura que el que proporcionan las citas contenidas en los trabajos científicos.

Aun cuando las referencias de los trabajos científicos ofrecen un número menor de elementos, objetos de posibles análisis, éstos contienen, en sí mismos, el reconocimiento de la importancia o la influencia que ejerció el trabajo citado en la realización de la obra del propio autor.

Las referencias registradas en los productos de información secundaria, son el resultado de una selección general realizada por la institución que los crea; sin embargo, no involucran una evaluación de su utilidad real tal y como la indican las citas aparecidas en los trabajos científicos.

Los elementos expuestos a lo largo del presente trabajo permiten valorar tanto la confiabilidad y la adecuación de los resultados de las evaluaciones obtenidas mediante los análisis de citas, como posibilitar su mejor conocimiento y uso en el contexto de las instituciones de información.
 

Abstract

The Analysis of Citations in the Evaluation of Scientific Papers and Serial Publications

Subject headings: CITATION ANALYSIS; SERIALS; PUBLISHING EVALUATION; IMPACT FACTOR.
 

REFERENCIAS BIBLIOGRÁFICAS

1. Sancho R. Indicadores bibliométricos utilizados en la evaluación de la ciencia y la tecnología. Rev Esp Doc Cient 1990;13(3-4):842-65.
2. Solla Price DJ de. Hacia una ciencia de la ciencia. Barcelona: Ariel, 1973:128.
3. Garfield E. Which medical journals have the greatest impact? Ann Intern Med 1986;105(2):313-20.
4. Oppenheim C, Renn SP. Highly cited old paper and the reasons why they continue to be cited J Am Soc Inf Sci 1978;29:226-30.
5. Brooks TA. Evidence of complex citer motivations. J Am Soc Inf Sci 1986;37(1):34-6.
6. Moravcsik MJ, Morugesan P. Some results on the function and quality of citation. Soc Stud of Sci 1975;5:86-92.
7. Spiegel-Rüsing I. Highly cited old papers and the reasons why they continue to be cited. Soc Stud Sci 1977;7:105.
8. Vinkler P. A quasi-quantitative citation model. Scientometrics 1987;12(1-2):47-72.
9. Shaw JG. Article-by-article citation analysis of medical journals. Scientometrics 1987;12(1-2):101-10.
10. Spodick DH, Goldberg J. The editor’s correspondence: analysis of patterns appearing in selected specialty and general journals. Am J Cardiol 1983;52:1290-3.
11. Bonzi S. Characteristics of a literature as predictors of relatedness between cited and citing works. Am Soc Inform Sci 1982;33(4):208-16.

Lic. Rubén Cañedo Andalia. Centro Nacional de Información de Ciencias Médicas. Calle E No. 452 e/19 y 21. El Vedado. Ciudad de La Habana. Cuba. CP 10400.
 
¹ Licenciado en Información Científico-Técnica y Bibliotecología. Departamento Recursos de Información. Centro Nacional de Información de Ciencias Médicas.

Indice Anterior Siguiente