Índice Anterior Siguiente
Acimed. 2006; 14(4)

Evaluación de sitios Web en Internet. Propuestas para la evaluación de sitios web de bibliotecas públicas y de salud

Lic. Carlos Robert Barrera,1 MsC. Sonia Núñez Amaro2 y Lic. Daniel Motola Pedroso3

Resumen

Se analiza un grupo de propuestas realizadas por diferentes autores para evaluar los recursos digitales disponibles en Internet con el objetivo de desarrollar nuevos esquemas para la evaluación de sitios Web, tanto de bibliotecas públicas como de bibliotecas médicas. Se exponen los parámetros e indicadores que conforman cada una de las 4 propuestas seleccionadas entre las existentes en la literatura revisada, con propósito de conformar nuevos modelos para la evaluación de esta clase de sitios. Finalmente, sobre la base de su importancia, adecuación y nivel de coincidencia entre los criterios expuestos por cada autor, se proponen una serie de parámetros e indicadores que se consideran válidos para la evaluación de los sitios referidos.

Palabras clave: Evaluación, recursos de información, sitios Web, indicadores y parámetros.

Copyright: © ECIMED. Contribución de acceso abierto, distribuida bajo los términos de la Licencia Creative Commons Reconocimiento-No Comercial-Compartir Igual 2.0, que permite consultar, reproducir, distribuir, comunicar públicamente y utilizar los resultados del trabajo en la práctica, así como todos sus derivados, sin propósitos comerciales y con licencia idéntica, siempre que se cite adecuadamente el autor o los autores y su fuente original.

Cita (Vancouver): Robert Barrera C, Núñez Amaro S, Motola Pedroso D. Evaluación de sitios Web en Internet: propuestas para la evaluación de sitios Web de bibliotecas públicas y de salud. Acimed 2006;14(4). Disponible en: http://bvs.sld.cu/revistas/aci/vol14_4_06/aci04406.htm Consultado: día/mes/año.

El crecimiento vertiginoso de Internet ha convertido a esta red, en pocos años, en la fuente de información más amplia y variada de que se dispone. Hoy sentados frente a una computadora es posible encontrar lo que buscamos sobre cualquier tema. Con sólo conectarnos a la red y navegar por medio de sus buscadores podemos tener a nuestra disposición cientos de documentos que de una forma u otra se relacionan con el tema que buscamos. Esta es una ventaja esencial de Internet. Sin embargo, resulta paradójico pensar que esta ventaja puede convertirse en una debilidad para el propio sistema.

“Internet funciona como una cooperativa que aglutina todas las redes mundiales, públicas y privadas, pero sin un órgano rector único porque cada uno es responsable de su propia red. Una de las claves del éxito en Internet es su carácter descentralizado y universal. Pero la progresión de los intereses comerciales ha mutado el mensaje. Los factores de éxito se consideran ahora las debilidades propias del sistema”.1

Sin duda, dos de los factores que caracterizan a Internet y particularmente al W W W son la facilidad para publicar en la red y la falta de control existente. Esto ha provocado que la World Web Wide se convierta en un inmenso almacén de información, cuyo carácter “gratuito” la convierte en muy utilizada y popular en todo el mundo.

Pero a estos dos factores, se unen otros que inciden de forma negativa en el funcionamiento del Web, uno de ellos es que se eliminan las “barreras” tradicionales que existieron por mucho tiempo en los medios de edición impresa, donde, para publicar un trabajo, era necesario someterse a un proceso de evaluación previa, y cumplir con las normas de publicación de la casa editorial. Como consecuencia directa de la eliminación de esas “barreras”, la cantidad de información aumenta en la red en forma exorbitante, y cuando, por ejemplo, se emplea un motor de búsqueda para tratar de obtener la información necesaria, este recupera un gran cúmulo de documentos con información no pertinente o la llamada “basura”.

“La información que puede encontrarse en Internet puede ser de muchos tipos -factual, estadísticas, opiniones, interpretaciones, etc.- y haberse creado para múltiples propósitos -persuadir, informar, vender, convencer, presentar un punto de vista, influir en la forma de pensar, etcétera. Además, para cada una de ellas pueden existir diferentes grados de calidad y fiabilidad”.2

La evaluación como proceso imprescindible en el ambiente informativo

La evaluación es un proceso que se encuentra presente en todas las actividades que se realizan a lo largo de nuestra vida. Constantemente, se evalúa, sea a la hora de adquirir algún producto o recibir un determinado servicio. La acción de valorar es una función inherente al proceso de evaluación, cuando se evalúa se concede un determinado valor al objeto evaluado.

El objetivo fundamental de la evaluación es brindar información confiable y útil para conocer el desenvolvimiento de una actividad con el propósito de elevar su nivel de calidad (Acorta D. Propuesta de variables e indicadores de calidad para el diseño informacional del portal de Bibliotecología y Ciencia de la información de la Facultad de Comunicación. [Tesis para optar por el título de Licenciado en Bibliotecología y Ciencias de la Información]. La Habana : Facultad de Comunicación. Universidad de La Habana ; 2002).

Según Knigthly, existen cuatro tipos de evaluación:3

1. Evaluación del esfuerzo: Incluye el examen de las entradas (inputs) que están presentes en el sistema y que se asocian principalmente a los recursos que se incorporan: fondo, presupuesto, instalaciones.
2. Evaluación del proceso: Contempla la revisión de la eficiencia de los programas y actividades como por ejemplo, el desarrollo de la colección, los procesos técnicos y otros.
3. Evaluación de la eficacia: Comprende todo lo concerniente a las salidas (outputs).
4. Evaluación del impacto: Abarca la medición de los beneficios. En esta categoría, se incluye el aprendizaje, la disminución de los costos, el perfeccionamiento de la toma de decisiones y la utilización del tiempo.

En el ambiente informativo, la evaluación no es solo un proceso importante, sino que se ha convertido en una función imprescindible para el correcto funcionamiento de las diversas actividades institucionales.

Métodos

A partir de exhaustivas búsquedas, realizadas en los buscadores más populares, así como en las publicaciones y los fondos de instituciones especializadas en el campo de la información en el país, se obtuvo una serie de trabajos dedicados al tema de la evaluación de los recursos digitales en general. Sin embargo, estas no responden directa ni completamente a la necesidad de una metodología para la evaluación de los sitios Web de las bibliotecas públicas y de la salud. Por tanto, se entendió conveniente realizar una amplia recombinación de los parámetros e indicadores propuestos, a partir de su adecuación a los objetivos referidos. Entre las metodologías y propuestas estudiadas, se seleccionaron seis, atendiendo a su pertinencia, visibilidad, reconocimiento y prestigio de sus autores, cuatro para la evaluación de los recursos electrónicos de las bibliotecas públicas digitales y dos para las bibliotecas de la rama de la salud.

Metodologías y propuestas estudiadas

1. Codina L. 2000. Parámetros e indicadores de calidad para la evaluación de recursos digitales. En: 7 mas Jornadas Españolas de Documentación. Bilbao: Universidad del País Vasco. Servicio editorial; 2000. p.135-44.
2. León Santos M. Propuesta de indicadores de calidad para la evaluación de sitios Web cubanos. Trabajo para optar por el título de Master en Gestión de Información en la Organización. La Habana: Facultad de Economía; 2000.
3. Kapoun J. Teaching undergrads Web evaluation: a guide for library instruction. 1998. Disponible en: http://www.ala.org/acrl/undwebev.html [Consultado: 8 de enero del 2005].
4. Alexander JE, Tate MA. Web wisdom: how to evaluate and create information quality on the web. Mahmaw: Lawrence Erlbaum Associates, 1999.
5. Código de ética de salud. Disponible en: http://www.ihealthcoalition.org/ethics/spanish-code.html [Consultado: 8 de enero de 2005].
6. Winker MA, Flanagin A, Chi-Lum B, White J, Andrews K, Kennett RL, et al. Guidelines for Medical and Health Information Sites on the Internet. Disponible en: http://www.ama-assn.org/ama/pub/category/1905.html [Consultado: 8 de enero del 2005].

Propuestas y metodologías de evaluación de recursos digitales

Propuesta de Codina

En España, entre los aportes más significativos en el campo de la evaluación de los recursos digitales, se encuentran los trabajos del profesor Luis Codina. A diferencia de comunicaciones anteriores, donde se presentaban 14 elementos, en esta ocasión, el autor establece seis parámetros concretos, definidos como “Propiedades o características de los recursos digitales que serán objeto de evaluación”, y sus indicadores, definidos como “Aspectos o elementos de un recurso digital que se consideran a fin de poder tomar decisiones sobre la calidad de un parámetro”. Los parámetros que propone son los siguientes:

1. Autoría

a. Indicadores

• Autoría del recurso bien determinada.
• Solvencia de la institución.
• Posibilidad de contactar con el autor o institución.
• Posibilidad de enviar mensajes al autor o institución.

2. Contenido

a. Indicadores

• Existencia de información valiosa.
• Volumen de información suficiente.
• Información contrastada y rigurosa, editada o supervisada.
• Información actualizada.

3. Navegación y recuperación

a. Indicadores

• Recorrer la estructura del Web sin perderse
• Orientaciones de contexto.
• Jerarquía de los contenidos.
• Sistema de búsqueda.
• Mapa de navegación o sumario.
• Sumarios locales o secciones.
• Índices temáticos, cronológicos, geográficos u onomásticos.
• Necesidad de desplazarse para ver la totalidad del sumario.
• Navegación semántica.
• Opciones de navegación claras.
• Navegación con un número limitado de clics.

4. Ergonomía (comodidad y facilidad de utilización).

a. Indicadores

• Buena relación figura-fondo.
• Tipografía adecuada.
• Márgenes a ambos lados del texto y entre párrafos.
• Imágenes que completan la información textual o la entorpecen.
• Visualización agradable.

5. Luminosidad (calidad de enlaces externos).

a. Indicadores

• Enlaces externos.
• Enlaces evaluados y seleccionados.
• Enlaces actualizados.
• Valor añadido en los enlaces.

6. Visibilidad (número de enlaces que recibe de otros recursos)

a. Indicadores

• Título del Web en la barra del navegador.
• Contenido del recurso en los primeros párrafos.
• Presencia de meta etiquetas básicas.
• Presencia de meta etiquetas Dublín Core.
• Enlaces desde otras páginas.

Para cada uno de estos parámetros, el autor propone un número determinado de indicadores a los cuales asigna una puntuación mínima y máxima entre 0 y 3 puntos.

Propuesta de León

En el estudio que propone la profesora Magda León, se realiza un análisis teórico profundo sobre las técnicas empleadas para la evaluación de productos y servicios de información, particularmente para la evaluación de sitios Web en Internet. Como resultado de este estudio, la autora propone un conjunto de diez parámetros a evaluar, cada uno de ellos compuestos por una serie de indicadores. Son estos parámetros:

1. Contenido

a . Indicadores

• Nivel de actualización.
• Enlaces a otros sitios.
• Nivel de información útil en el sitio.
• Facilidad para llenar los cuestionarios.
• Nivel de utilización de anuncios publicitarios.
• Nivel de referencia sobre los proveedores de productos y servicios.
• Referencia a otros recursos de Internet o impresos.
• Información a texto completo.
• Información en forma de resumen.
• Información sobre precios de productos y servicios.
• Permite determinar el propósito del sitio.

2. Cobertura y objetividad

a . Indicadores

• Relación entre los objetivos de la organización y los contenidos de la fuente.
• Información debidamente citada.
• El sitio cubre diversos aspectos sobre un tema.
• Alcance internacional.
• Enlaces complementarios al contenido de la fuente.

3. Exactitud

a. Indicadores

• Calidad de la ortografía y la gramática.
• Calidad de la digitalización y tipografía.
• Referencias a otras fuentes impresas o electrónicas que permitan verificar la información del sitio.
• Ofrece datos sobre sus sucursales.
• Directorio de correo electrónico de la organización.
• En cada sección, ofrecen una dirección de contacto.
• Menciona los autores de los contenidos.
• Enlaces que permitan verificar la información del sitio.
• Conexión lógica entre la página que describe la organización, aquello que posee la organización y los tipos de productos y servicios.

4. Autoridad

a. Indicadores

• La información del sitio facilita conocer la organización.
• La dirección del sitio sugiere el propósito.
• Facilidad de verificar las credenciales de los autores.

5. Confiabilidad

a. Indicadores

• Fechas de actualización del sitio.
• Seguridad de la validez de sus enlaces (páginas inexistentes, cambios de dirección).
• Forma de verificar la legitimidad de la organización (correo postal, teléfonos, fax, e-mail, etcétera.
• Datos sobre resultados de la organización.
• Código de ética de la organización.

6. Profesionalidad

a. Indicadores

• Lenguaje preciso y conciso.
• Refleja propósitos profesionales.
• Información sobre las actividades de la organización.
• Declaración sobre la responsabilidad de la organización con los contenidos del sitio.

7. Promoción

a. Indicadores

• Logo de la organización.
• Datos de contacto.
• Opción: ¿quiénes somos?
• Información sobre productos y servicios.
• Opción para saber cuántos usuarios han visitado el sitio.

8. Disponibilidad y accesibilidad

a. Indicadores

• Opciones de pago para consultar información.
• Opciones de inscripción para consultar información.
• Información en diversos idiomas.
• Opciones de descarga para obtener información y aplicaciones.
• Posibilidad del sitio de aparecer por su temática en los resultados de otros motores de búsqueda.
• Opción de búsqueda que permita moverse con facilidad en el sitio
• Información gratuita.

9. Diseño y cobertura

a. Indicadores

• Nivel de atracción del diseño.
• Imágenes fáciles de bajar.
• Facilidad de la lectura (color, fondo, gráfico).
• Gráficos y diseño sugerente.
• Facilidad de arquitectura.
• Equilibrio entre imagen y texto.
• Menú principal en todas las páginas del sitio.

10. Valor agregado

a. Indicadores

• Servicios en línea.
• Formularios para interactuar con la organización.
• Sección de noticias diarias para los clientes.
• Información sobre mecanismos de ventas.
• Información sobre servicios posventa.
• Descuentos.
• Sección de quejas y sugerencias.

Propuesta de Kapoun

Jim Kapoun, de la Universidad de Southwest State, publicó en College and Research Libraries News, un cuadro muy útil para explicar los criterios que él emplea para evaluar un sitio web, y que se presenta por su validez.

Cinco criterios para evaluar páginas Web

1. Exactitud:

• ¿Quién escribió la página? ¿Es posible contactar al autor?
• ¿Cuál es suobjetivo? ¿Por qué se publicó el documento?
• ¿Está la perona calificada para escribirlo?
• Asegúrese de que el autor ofrece su correo, una dirección o teléfono para contactarlo.
• Determine la diferencia entre el autor y el Web master.

2. Autor del documento:

• ¿Quién publicó el documento? ¿Es un individuo diferente al Webmaster?
• Revise el dominio del documento, ¿qué institución lo publica?
• ¿Cuáles son las características del autor?
• ¿Dónde se publicó el documento? Chequeé el dominio de su dirección electrónica.

3. Objetividad:

• ¿Qué propósitos/objetivos tienen las páginas?
• ¿Cuán detallada es la información?
• ¿Qué opiniones expresa el autor?
• Determinar si la página es una máscara para la publicidad; si así fuera, la información puede estar sesgada.
• Visión de cualquier Web como si fuera un “infomercial” de la televisión. Pregúntese por qué se escribió y para quién.

4. Actualidad:

• ¿Cuándo se realizó?
• ¿Cuándo se actualizó?
• ¿Cuán actualizados están los enlaces (si es que los tiene)?
• ¿Cuántos enlaces no funcionales tiene la página?
• ¿Se actualizan los enlaces con regularidad?
• ¿Se encuentra desactualizada la información de la página?

5. Cobertura

• ¿Están evaluados los enlaces? (si existen). ¿Ellos complementan los documentos?
• ¿Toda la información que se ofrece se hace mediante imágenes o existe un balance entre texto e imágenes?
• ¿Se cita correctamente la información?
• Si la página requiere de un software especial para ver la información, ¿cuánto se pierde si no se posee el software?
• ¿Es la página gratuita o debe pagarse para obtener la información?
• ¿Hay una opción de solo texto, o frames, o se sugiere un navegador para verlo mejor?

En resumen:

• Exactitud: Si la página relaciona el autor y la institución que publica la página y ofrece la forma de contactar con ellos.
• Autor: Si la página menciona las características del autor. Es preferible que esté en el dominio (.edu, .gov, .org, o. net) o cualquier otro oficial.
• Objetividad: Si la página ofrece información exacta con pocos anuncios y es objetiva en la presentación de la información.
• Actualidad: Si la página y sus enlaces se actualizan regularmente (como se establece en la página).
• Cobertura: Si la información puede verse apropiadamente y no está limitada por cobros, tecnología de los navegadores o requerimientos de software.

Propuesta de Alexander y Tate

El mismo número de parámetros, en gran medida coincidentes, son los que se deben emplear en opinión de Janet Alexander y Martha Tate, autoras de uno de los pocos manuales impresos sobre cómo evaluar la información en el Web. Un dato interesante del estudio realizado por estas autoras es que, antes de desarrollar los parámetros de calidad de la información en el Web, comentan estos mismos criterios aplicados al análisis de las fuentes de información tradicionales.

Esta perspectiva de la evaluación de las páginas Web como fuente de referencia, dota a las teorías de estas autoras de un grado extraordinario de interés para quienes trabajan en unidades de información. Los cinco criterios de Alexander y Tate son los siguientes:

1. Autoría:

• ¿Quién es el responsable de la página?
  ¿Cuáles son las calificaciones y asociaciones que aparecen en ella? ¿Se pueden verificar?
• Compruebe en el pie de página: el nombre del autor de la página, sus créditos/credenciales, título, afiliación a organizaciones. ¿Es esta información verificable?

2. Actualidad:

• ¿Aparecen claramente las fechas de edición y revisión?
• Compruebe en el pie página: ¿Cuándo se creó y revisó la página por última vez?
• Compruebe en el contenido: La existencia de nuevos elementos y de indicaciones de que la página se actualiza constantemente, agradecimientos, referencias y respuestas a los visitantes.

3. Cobertura:

• ¿Cuál es tema que trata la página? ¿Existe un título o encabezamiento que en forma clara ilustre el contenido de la página?
• ¿Está claramente explicada la navegación por el interior del sitio web?
• Compruebe en la cabecera: Que el título y la descripción del contenido de la página Web se expresen de una forma clara.
• Compruebe en el contenido: La existencia de encabezamientos y de palabras clave (key words).
• Compruebe en la navegación: Que aparezca claramente un resumen del contenido de todo el sitio Web.

4. Objetividad:

• ¿Se expone explícitamente la pertenencia a una opinión, corriente postura o ideología determinada? ¿Queda clara la filiación de los autores?
• Compruebe en el contenido: Las declaraciones de intención (statement of purpose) aquellos detalles por los que se puede conocer el tipo de sitio web y la audiencia potencial, los "enlaces" externos que ofrecen información y los gráficos y pistas sobre la filiación del sitio Web.
• Comprueba en la cabecera/pie de página/ footer y en la URL /dominio (.gov .com. .edu): Para determinar la organización que aloja la página web y cómo esto se refleja en los contenidos.

5. Veracidad:

• ¿Se mencionan las fuentes de información y el origen de los datos? ¿Se pueden comprobar estos datos/fuentes?
• Compruebe en el contenido: La corrección en la ortografía, la sintaxis, los hechos que se describen en el sitio Web y la consistencia del contenido.
• Compruebe en el contenido las referencias bibliográficas: La variedad de sitios Web que se ofrecen como enlaces externos, así como los recursos multimedia como son las bases de datos electrónicas de referencia, periódicos en línea, índices electrónicos y si se mencionan libros para poder realizar comparaciones/evaluaciones.

Análisis de la frecuencia de aparición de los indicadores para la evaluación de los sitios Web

Al estudiar las diversas propuestas y metodologías, se observa que existe una marcada diferencia en cuanto a los criterios e indicadores utilizados por los diferentes autores; por eso, se consideró conveniente determinar su frecuencia de aparición entre los autores seleccionados. Esto permite determinar los indicadores que pueden considerarse imprescindibles cuando se realiza una evaluación (tabla 1).

Tabla 1. Relación de los indicadores propuestos por los autores estudiados para la evaluación de los recursos digitales (nivel de incidencia)

1. Indicadores que aparecen representados en las cuatro propuestas:

• Declaración de autoría.
• Autor del recurso, afiliación y datos de contacto.
• Claridad.
• Legibilidad.
• Enlaces externos
• Actualización
• B ibliografía.

2. Indicadores que aparecen solo en una de las cuatro propuestas:

• Arbitraje de los contenidos.
• Exhaustividad.
• Originalidad de los documentos.
• Hemeroteca (archivo).
• Sumarios locales.
• Formato de los artículos.
• Menú principal en todas las páginas y posibilidad de regreso
• Autodescripción del título.
• Presencia de metadatos básicos.
• Presencia de metadatos Dublín Core.
• Mapa del sitio.
• Avisos de publicidad

Propuesta de parámetros e indicadores para la evaluación de sitios web de bibliotecas públicas

Para la confección de una propuesta de parámetros e indicadores para la evaluación de los sitios Web de bibliotecas públicas se decidió tomar los indicadores comunes a las cuatro propuestas estudiadas, así como realizar una selección, según fuera posible aplicarlo en cada caso, entre los propuestos de una a tres veces.

En la propuesta final, la metodología expuesta por el profesor Luís Codina resulta de mucha importancia. Además de su vasta experiencia en temas de evaluación de recursos digitales, el reconocido prestigio e impacto de sus trabajos, su propuesta presenta un sistema de puntuación para los indicadores que no fue posible encontrar en la mayoría de las propuestas estudiadas.

A continuación, se presenta la propuesta de parámetros e indicadores para la evaluación de sitios web de bibliotecas públicas.

1 . Autoría

Autoría

Definición del sitio

2. Contenido

Existencia de información valiosa

Volumen de información suficiente

Información actualizada

Enlaces a otros sitios

Información en otros idiomas

3. Navegación y recuperación

Mapa de navegación

Sistema de búsqueda

Necesidad de desplazarse para ver la totalidad del sumario

4. Ergonomía (comodidad y facilidad de navegación)

Facilidad de navegación

Claridad (contraste adecuado entre figura y fondo)

Legibilidad

Velocidad de acceso

Menú principal en todas las páginas del sitio y posibilidad de regresar a la página anterior

5. Luminosidad (presencia y calidad de enlaces externos)

Enlaces externos

Actualización de los enlaces

6. Visibilidad (número de enlaces que recibe de otros recursos)

Autodescripción del título

Presencia de metadatos básicos

Presencia de metadatos de formato Dublín Core

  7. Promoción y valor añadido

Información sobre productos y servicios de la organización

Promoción de eventos

Parámetros e indicadores para la evaluación de sitios web de salud

El tema de la evaluación de calidad de la información que se publica en Internet es objeto de análisis desde hace apenas hace una década y, a pesar de que se realizan gestiones para unificar criterios, el tema va más allá del alcance de un solo grupo de trabajo. La información que se publica en Internet relacionada con el campo de la salud no es la excepción y sigue las mismas tendencias generales que sobre otras materias.

“La discusión académica sobre el tema continúa, tanto desde la perspectiva de autores independientes como Oliver, Luz y Smith, como de organizaciones como la Health On the Net Foundatiom, el Health Summit Working Group, la Organización Internacional para la Normalización y el Instituto de Tecnologías de Información en Salud, que intentan sistematizar, e incluso facilitar el proceso de evaluación de la calidad de los recursos en la red”.4

Entre las numerosas asociaciones y entidades dedicadas a estudiar la difusión de los temas de salud en Internet y a definir sus requisitos de calidad, además de las más grandes y de mayor prestigio -como pueden ser la Food and Drug Association o la American Medical Association - han surgido algunas organizaciones nuevas más orientadas y especializadas en estas cuestiones. Entre ellas, se destacan la Health On The Net Foundation (HON) y su propuesta del conocido “Código de conducta para Internet”; la British Healthcare Internet Association (http://www.bhia.org) y la Internet Healthcare Coalition ( http://www.ihealthcoalition.org).

Esta última, que integra a todo tipo de proveedores de información en el área de la salud -universidades, editoriales, laboratorios, asociaciones de pacientes, etc.-, presenta en su sitio un decálogo de consejos para separar el grano de la paja. Estos diez principios, pautas o enunciados están en un inicio orientados al consumidor pero, sin dudas, también son de utilidad para el médico. Son los siguientes:4

• Escoger un recurso de información de salud en Internet es como elegir un médico. Nadie va a cualquier médico; es posible recoger y comparar varias opiniones y criterios antes de acudir a alguno. En Internet, se puede hacer lo mismo y conviene hacerlo .
• Las fuentes de información deben ser identificables - cuantos más datos aclaren las fuentes y los colaboradores del sitio, será mejor.
• Desconfiar de los sitios Web que se proclaman como los únicos o los mejores.
• Cuidarse de las interminables listas de enlaces. Un enlace no presupone que la calidad del sitio de destino sea idéntica a la del sitio de origen.
• Determinar si la gestión profesional y la revisión del sitio se realiza por un comité de expertos bien identificados.
• Fecha de actualización -el conocimiento médico está en evolución permanente y por eso la fecha de actualización es un dato importante.
• Publicidad en el sitio -cualquier patrocinio o anuncio debe indicarse claramente para que no se mezcle con los contenidos médicos.
• Evitar los diagnósticos y tratamientos "en línea".
• Compromiso de confidencialidad - debe existir un compromiso expreso sobre la confidencialidad de la información que suministre un paciente con el objetivo de preservar su intimidad.
• Utilice el sentido común: consultar distintas fuentes, desconfiar de los remedios milagrosos y leer la letra pequeña.

Según Núñez, aunque la excelencia en Internet normalmente se encuentra en aquellos sitios Web de personas o entidades que lo han demostrado fuera de la red, no es patrimonio exclusivo de ellos. En cualquier caso, con todos los sitios Web conviene interrogarse sobre los intereses de sus propietarios y mantener una saludable dosis de escepticismo. También, esta autora plantea que, a pesar de que Internet ofrece acceso a miles de páginas con información clínica a pacientes y profesionales, y aunque el Web hace extraordinariamente fácil la diseminación de información, al permitir que autores anónimos resuelvan conflictos comerciales o de otro tipo, esto no ayuda a los lectores a discriminar entre lo que es genuinamente cierto y lo que es una deliberada invención, es por eso que las recientes propuestas para mejorar la credibilidad de la información médica en Internet tendrán un positivo impacto sobre ella.

Propuestas para la evaluación de sitios Web de bibliotecas de la salud

Como pudo observarse anteriormente, existe actualmente un interés creciente en crear normas con el propósito de elevar la calidad de los sitios Web de salud. Para el análisis, se escogieron dos de las más reconocidas y prestigiosas organizaciones; ellas han creado una serie de criterios que consideran válidos para la evaluación de los recursos digitales en el área de la salud. Las propuestas analizadas pertenecen a Internet Healthcare Coalition y la American Medical Association (AMA).

Propuesta de Internet Healthcare Coalition5

Luego de realizar un cuidadoso estudio de los elementos que intervienen en la conformación de un sitio Web de salud, Internet Healthcare Coalition propone la evaluación de tres elementos básicos: a) código de conducta, b) diseño de los sitios Web y c) el contenido médico.

a) Evaluación del código de conducta.

Se considera que el "Código de ética de salud", desarrollado por Internet Healthcare Coalition es un documento completo que evalúa de forma integral los principios éticos que deben considerarse cunado se proporciona información en salud, tanto a los profesionales como a la población en general. Este código contempla los siguientes aspectos:

• Candor: Hacer pública la información, que después de ser conocida por los consumidores, podría afectar el uso de los servicios del sitio, la compra o uso de productos. Las personas que usan Internet, cuyos propósitos están relacionados con la salud necesitan poder juzgar que los sitios visitados y los servicios utilizados son creíbles y fidedignos.
• Honestidad: Presentar la verdad sin engaños.
• Calidad: Proporcionar información de salud en forma exacta, fácil de comprender y de actualizar; proporcionar a los usuarios, la información que necesitan para realizar sus propios juicios sobre los productos o servicios que el sitio provee.
• Consentimiento informado: Respetar el derecho de los usuarios para determinar si sus datos personales pueden recolectarse, archivarse, utilizarse y compartirse.
• Privacidad: Respetar la obligación de proteger la privacidad de los usuarios.
• Profesionalismo en la atención de salud en línea: Respetar las obligaciones éticas fundamentales vigentes para los pacientes y clientes. Informar y educar, tanto a los pacientes como a los clientes sobre las limitaciones de la atención de la salud en línea.
• Asociación responsable: Garantizar que la organización y los sitios afiliados sean fidedignos.
• Responsabilidad: Ofrecer a los usuarios de forma permanente la oportunidad de retroalimentación con el sitio.

b) Evaluación de la calidad del diseño.

• Velocidad: ¿La página principal baja con rapidez? Si el sitio es lento, ¿es debido a que las páginas son muy largas o los gráficos son muy grandes?
• Primera impresión, apariencia general: ¿Sabe usted inmediatamente dónde está? La página principal es atractiva, lo lleva a que continúe la revisión del sitio.
• Navegabilidad: ¿Se puede viajar de una página a otra, de enlace a enlace, de elemento a elemento con facilidad, sin perderse o confundirse? ¿Existen suficientes enlaces para el movimiento hacia delante y hacia atrás? ¿No hay páginas sueltas? ¿Los vínculos son útiles y apropiados, existe un número adecuado de enlaces, conducen a sitios de utilidad? ¿Existen sistemas de búsqueda de los materiales que se encuentran en el sitio?
• Utilización de gráficos/sonido/video: ¿Ofrecen un aporte de importancia al sitio, están identificados apropiadamente, cumplen una función determinada?
• Contenido e información: ¿Existe suficiente cantidad de información, bien identificada y organizada, cuyo contenido cumple con el propósito del sitio, es confiable?
• Actualidad: ¿El sitio se revisa sistemáticamente, presenta sus fecha de creación y actualización?
• Disponibilidad de mayor información: ¿Dispone de la posibilidad de contactar con una persona o dirección a la cual dirigir preguntas, así como enviar comentarios y criterios sobre el sitio?

c) Evaluación de los recursos de información sobre salud.

• Autor: ¿Se presentan de forma clara y explícita? ¿Se realizan referencias apropiadas a otras fuentes? ¿Se establece de forma clara cuándo el contenido es opinión del autor? ¿Se presenta el currículum del autor?; ¿se corresponde con el tema tratado?
• Accesibilidad: ¿La información se encuentra en un formato apropiado para la audiencia a la que se dirige?
• Exactitud/confiabilidad: ¿La información se sustenta en la mejor evidencia disponible?
• Oportuna: ¿La información comunica un mensaje de importancia?
• Disponible: ¿La información está disponible para la mayor audiencia posible?
• Comunicación: ¿La información cubre claramente todos los aspectos de la materia que se trata?
• Comprensivo: ¿La información define claramente todos los términos y expresiones de la materia que trata?
• Consistencia: ¿La información se presenta con un estilo uniforme en todo el sitio?
• Continuidad: ¿La información se corresponde con otras fuentes de información?
• Imágenes: ¿Se utilizan diagramas, ilustraciones y otras imágenes para lograr el objetivo?
• Legibilidad: ¿La información escrita se presenta de forma clara para que pueda leerse fácilmente?
• Originalidad: ¿La información no se ha publicado anteriormente para la misma audiencia y en el mismo formato?
• Participación del paciente: ¿La información se diseña de forma específica para satisfacer las necesidades del paciente?
• Ameno: ¿Las palabras y frases son lo más cortas posibles?

Normas propuestas por la American Medical Associaton6

Normas para los sitios de información médica y de salud en Internet. Principios que rigen los sitios Web de AMA

La información sobre la Asociación de Médicos de EE.UU., incluidos los índices y resúmenes de JAMA (Journal of American Medical Association) y de “Archives” está disponible en el Web desde 1995. JAMA y “Archives” está accesible a texto completo y en línea desde el 30 de septiembre de 1999.6

Una serie de normas que rigen para todos los sitios web pertenecientes a la asociación las formula y cumple la AMA. En 1995, se revisaron los Principles Governing Advertising in Publications of the American Medical Association”, no desde la perspectiva de las normas para los materiales impresos, sino desde aquella que abordan la publicidad en los sitios web de JAMA y “Archives”. “En 1997, un editorial de JAMA propuso un conjunto de normas de calidad para la información médica en Internet. Estas normas incluyen la identificación adecuada de los autores y contribuyentes, fuentes de información, la revelación de la propiedad del sitio, del financiamiento, la publicidad y los conflictos de interés. Igualmente, considera aspectos como la indicación de las fechas en que se colocan y se actualizan los contenidos.

“En octubre de 1999, la junta directiva de AMA aprobó la Web Site Linking Guidelines que aborda la creación y actualización de los contenidos, la adquisición y colocación de anuncios, la preservación de la privacidad y la confidencialidad, así como la realización confiable y eficiente del comercio electrónico”.6

El objetivo fundamental de estas normas es guiar el desarrollo y mantenimiento de los sitios web de AMA. No obstante, ellas pueden servir a otras instituciones que se dedican al suministro de información médica en Internet, así como a los que desean buscar información médica confiable y con un alto nivel de calidad.

A continuación, se muestra el conjunto de normas que propone AMA para los sitios Web que contienen información relacionada con la salud.

a) Principios para el contenido.

Como contenido AMA define “todo el material -incluido texto, gráfico, cuadros, las ecuaciones, el audio y el video- y los iconos direccionales de los menús, las barras, los indicadores, las listas y los índices”. Los principios abordan también las funciones que apoyan el contenido -enlaces, navegación, búsquedas y cálculos.

- Propiedad del sitio.

• La propiedad del sitio en el Web, incluidas las afiliaciones las alianzas estratégicas y los inversionistas significativos deben indicarse claramente en la pantalla principal o estar directamente accesibles mediante un enlace a ellas. La propiedad del derecho de autor de contenidos específicos debe indicarse claramente en la pantalla y en los elementos impresos del sitio.

- Inspección del sitio.

• El sitio debe proporcionar las plataformas y los exploradores que permitan presentar la información de forma fácil de encontrar.

- Acceso de los visitantes, pago y privacidad.

• La información sobre las restricciones en el acceso al contenido, el registro necesario y la protección de contraseñas (según corresponda) debe proporcionarse y hallarse fácilmente.
• Debe ofrecerse información acerca del pago. (Ver los “Principios para el comercio electrónico”).
• Debe proporcionarse información sobre la privacidad y hallarse con facilidad. (Ver los “Principios para la privacidad y la confidencialidad”).

- Financiamiento y patrocinio.

• El financiamiento u otro patrocinio para cualquier contenido específico deben indicarse claramente y cumplir con los “Principios para el anuncio y patrocinio”. El contenido debe distinguirse fácilmente de los anuncios.

- Calidad del contenido editorial.

• Las normas para el contenido editorial, las fechas de colocación y las fuentes se desarrollaron sobre la base de la experiencia en los sitios de publicaciones científicas de AMA. Todas las publicaciones científicas y los sitios de información para el consumidor se adhieren a estas normas. El contenido del sitio institucional de la AMA se regirá también por ellas.

- Examen.

• El contenido debe examinarse para determinar su calidad -incluida originalidad, exactitud y fiabilidad- antes de su colocación. El contenido editorial clínico debe revisarse por expertos en la materia sin participación en su creación. El método de examen será determinado por los sitios individuales -los sitios de publicaciones científicas dependen del arbitraje. Otros sitios dependen del examen de las juntas editoriales. La complejidad del idioma debe adecuarse a la audiencia del sitio. Debe revisarse la gramática y la composición del contenido antes de su colocación.

- Fecha de colocación, actualización y revisión.

• Las fechas en las que se coloca, revisa y actualiza la información deben aparecer claramente. Deben desarrollarse, revisarse e implementarse periódicamente los procedimientos para actualizar y eliminar la información sensible al tiempo. Por ejemplo, el contenido puede clasificarse por fecha de colocación, la información con más de seis meses deberá examinarse para determinar su oportunidad y exactitud.
• Fuentes de contenido editorial
• Las fuentes de contenido específico deben especificarse claramente -nombre de los individuos, la organización, el departamento, la institución, el organismo o el proveedor/productor comercial.
• Debe citarse el material de referencia utilizado para desarrollar el contenido de una manera apropiada para la audiencia del sitio.
• Vinculación
• Deben revisarse los enlaces intrasitios del contenido antes de colocarlos, mantenerlos y vigilarlos. Si los enlaces no son funcionales arreglarlos en el momento adecuado.
• Deben examinarse los enlaces externos del sitio antes de colocar los contenidos. Los enlaces externos a sitios comerciales deben cumplir con los “Principios para el anuncio y el patrocinio”.

- Descarga del documento.

Si el contenido puede descargarse en Portable Document File (PDF) deben ofrecerse instrucciones sobre cómo bajar un fichero PDF y cómo obtener el software necesario de forma fácil (enlace al software).

- Navegación al contenido.

• Deben procurarse las características que permitan un uso fácil. Incluirse el mapa del sitio o alguna otra guía para su organización, una función de ayuda o una página de preguntas frecuentes, además de un mecanismo de retroalimentación.
• Debe proporcionarse a cada sitio, un motor de búsqueda o herramienta de navegación adecuada para facilitar su uso. Si el sitio contiene un motor de búsqueda deben mostrarse las instrucciones sobre cómo utilizar esa función y como realizar los diferentes tipos de búsqueda.

b) Principios éticos que rigen los sitios Web de AMA.

Las normas mencionadas anteriormente, que responden específicamente a la evaluación de aspectos objetivos de los sitios Web, están acompañadas por un conjunto de elementos que velarán por los principios éticos que deberán seguir los anunciantes y para determinar la elegibilidad de los productos y servicios a anunciar en los sitios Web de la AMA. Estos principios se resumen en tres acápites: principios para el anuncio y el patrocinio, principios para la privacidad y la confidencialidad y principios para el comercio electrónico.

• Principios para el anuncio y patrocinio.

Para mantener la integridad de los sitios Web de la AMA, la publicidad, es decir, materiales promocionales, representantes de publicidad, empresas o fabricantes, no podrán influir en las decisiones editoriales o en el contenido. La AMA tiene el derecho de retirar cualquier anuncio presentado o descontinuar la colocación de un anuncio anteriormente aceptado. Entre los principios se encuentran:

• Puede colocarse publicidad digital en los sitios Web de la AMA.
• Los anuncios digitales deben ser fácilmente distinguibles del contenido editorial. Si la distinción es poco clara debe agregarse la palabra “anuncio”.
• Los anuncios digitales no pueden yuxtaponerse con, parecer de acuerdo con, o parecer adyacente a un contenido editorial con igual tema o vincularse con un contenido editorial con el mismo tema.
• No aparecerán anuncios e íconos promociónales en la página principal del sitio Web de la AMA ( http://www.ama-assn.org ) o en las páginas principales de JAMA ( http://www.jama.com ) o en la revista “Archives”…. de la AMA (http://pubs.ama-assn.org/archive_home.html ).
• Los logos de AMA, JAMA y “Archives” no pueden utilizarse en los sitios comerciales del Web como un logotipo u otra forma sin la previa aprobación escrita de los responsables de las áreas respectivas dentro de la AMA.

• Todo el apoyo financiero o material a las recopilaciones electrónicas de los artículos, del contenido del sitio en el Web y otro tipo de productos en línea se reconocerá e indicará en la página principal o mediante un enlace en esta última.
• El reconocimiento al apoyo aparecerá en la página inicial, en la parte inferior de todas las páginas en cualquier material. Los contenidos a los cuales se tiene acceso por el sitio pero que no residen en este -resúmenes o artículos de otros sitios- no incluirán información sobre el patrocinio.
• La redacción final y la colocación del reconocimiento lo determina la AMA. La redacción será similar a “Producido por” (publicación de la AMA ) con el apoyo de (la compañía).
• El pie de página no estará vinculado a ningún otro material.
• Pueden requerirse otros agradecimientos y revelaciones según entienda necesario la AMA.

- Principios de privacidad y profesionalidad

Estos principios reflejan el compromiso de AMA a mantener los derechos del visitante del sitio Web, a la privacidad y confidencialidad de la información personal. En este contexto, la privacidad se refiere al derecho del visitante para elegir bien, sea para permitir que se recopile la información por parte del sitio o por terceros, y saber que tipo de información se recopila y cómo se utiliza. La confidencialidad es el derecho de un individuo a que no se revele información médica o de otro tipo que los identifique ante otros, sin su consentimiento expreso. Entre estos principios se encuentran:

• Debe colocarse un enlace a la política de privacidad del sitio Web en la página principal o en la barra de navegación fácilmente accesible al usuario. El sitio debe cumplir con los principios de privacidad establecidos.
• Los sitios Web deben asegurar que la tecnología y el acceso disponible a los terceros se adhiera a los principios de privacidad del sitio.
• El sitio no debe recoger el nombre, la dirección de correo electrónico u otra dirección personal a menos que el usuario la proporcione voluntariamente después que se informe sobre el uso potencial de esa información.
• La dirección de correo electrónico u otra dirección personal, tanto la obtenida voluntariamente como la obtenida mediante encuestas o para registrarse en el sitio, podrá utilizarse por los responsables del sitio para su mejoramiento, pero no podrán compartirlas con otras instituciones ajenas, ni venderlas con fines comerciales sin el permiso de los visitantes involucrados.
• La AMA utilizará las direcciones de correos electrónicos proporcionadas voluntariamente por los visitantes para notificarles las actualizaciones, los productos, los servicios, las actividades o los próximos eventos. Los visitantes que no deseen recibir estas notificaciones mediante el correo electrónico deben tener la opción renunciar a recibir esta información en cualquier momento.
• Los datos que no identifiquen a los visitantes podrán ser utilizados por el sitio para ayudar a su conformación, es decir para la creación y el mantenimiento de los contenidos.
• La AMA no recogerá y no permitirá recopilar información médica personal -trastornos médicos, comportamientos en la búsqueda de la salud y preguntas, así como el uso y las solicitudes de información de medicamentos, terapias o dispositivos médicos-, sin el consentimiento explícito del los visitantes del sitio.
• La investigación de mercado que realiza el sitio o su agente para mejorarlo, debe identificarse claramente.

•  Principios para el comercio electrónico.

Estos principios tienen como objetivo asegurar que los usuarios y compradores de información, productos y servicios tengan acceso a una transacción segura y eficaz para clientes remotos y en línea. Esas transacciones deben cumplir los “Principios de privacidad y confidencialidad”:

• Debe estar claramente visible un enlace o referencia a la política del sitio en relación con la privacidad.
• Debe describirse el software de seguridad y protocolo de cifrado utilizado en el sitio para las transacciones financieras.
• Debe estar claramente visible un enlace o referencia a la información de contacto de servicio a los clientes -correo electrónico, teléfono fax, correo, etcétera.
• Los términos de uso para el comercio electrónico deben requerir una selección deliberada aceptar/no aceptar.

Para proceder al estudio de estas propuestas, se estandarizaron los términos y se determinó la presencia de los parámetros e indicadores en las dos propuestas (tabla 2).

Tabla 2. Relación de los indicadores propuestos por Internet Healthcare Coalition y American Medical Association (AMA)

Propuesta final de criterios e indicadores para la evaluación de sitios Web de bibliotecas de la salud

Siguiendo el razonamiento de la doctora Núñez, que plantea que la evaluación de sitios web de salud estaría conformada por parámetros e indicadores que se utilizarían para evaluar recursos de información en Internet, más la suma de otros relacionados con cuestiones éticas y dirigidas a la protección de los visitantes del sitio, se propone considerar la evaluación de los sitios de las bibliotecas de salud a partir de cinco aspectos o parámetros fundamentales: 1) aspectos relacionados con la autoría; 2) aspectos relacionados con el contenido; 3) aspectos relacionados con la navegación y recuperación; 4) aspectos relacionados con la calidad del diseño del sito; y 5) aspectos relacionados con la ética del sitio y la protección y respeto a sus usuarios.

Es oportuno señalar que, debido a la importancia que se le concede a la presencia de los metadatos en los sitios web como herramienta para facilitar la recuperación de información -y aun cuando ninguna de las dos instituciones escogidas incluyen en sus propuestas indicadores relacionados con este aspecto- se decidió incluir en la esta propuesta, los indicadores “presencia de metadatos básicos” y “presencia de metadatos Dublín Core” planteados por Codina.

A partir de estos parámetros y sobre la base del estudio de las propuestas anteriormente presentadas, se expone a continuación una propuesta para la evaluación de sitios web de bibliotecas de la salud.

1. Autoría

Autoría

Credenciales de los autores

2. Contenido

Arbitraje de los contenidos

Bibliografía

Originalidad de los documentos

Actualización

3. Navegación y recuperación

Mapa del sitio

Facilidad de navegación

Presencia de enlaces externos

Sistema de búsqueda

Presencia de metadatos básicos

Presencia de metadatos de formato Dublín Core

4. Calidad del diseño

Claridad (contraste adecuado entre figura y fondo)

Legibilidad

Velocidad de acceso

Tipo de formato de los documentos

5. Código de ética y respeto a la privacidad  

Método para la evaluación y puntuación de los indicadores propuestos

Como se refirió anteriormente, para la evaluación, se utilizó el método de asignación de los valores a los indicadores propuesto por el profesor Luis Codina. Para la puntuación de los indicadores, se utiliza una escala de 0 a 3 puntos en dependencia de su adecuación a la situación. Para aquellos indicadores cuyo valor es sí o no, se tomará el valor máximo (3) para la respuesta positiva y el valor mínimo (0), para la respuesta negativa.

Interpretación de la puntuación

La puntuación obtenida para cada uno de los indicadores se interpretara de la siguiente forma:

La puntuación total de un parámetro se obtendrá dividiendo el total de puntos alcanzados por el número de indicadores que se han aplicado. Al número resultante, se asignará un equivalente porcentual para de esta manera, establecer límites para la valoración final. Por tanto:

Si el sitio obtiene una puntuación que oscile entre 90 y 100 %, entonces se valora de excelente. Entonces se deduce:

Entre 80 y 90 %_________ bien
Entre 70 y 80 %_________ suficiente
Menor de 70 %__________insuficiente

Aplicando la regla matemática para determinar el tanto por ciento, tomando como valor máximo 3 = 100 % resulta:

De 90 a 100 % = 2,7 a 3 (excelente)
De 80 a 90 % = 2,4 a 2,6 (bien)
De 70 a 80 % = 2,1 a 2,3 (suficiente)
Menor de 70,% = Menor que 2,1 (insuficiente)

Referencias bibliográficas

1. Fuentes Pujols ME. La información en Internet. Barcelona: CIMS; 1997.
2. Salvador Oliván JA. Criterios para evaluar la calidad de fuentes de información. CSIRE: Representación y Organización del Conocimiento 1999;5(1):99-113.
3. Knigthly JJ. Overcoming the Criterion Problem in the evaluation of Library Performance. Special Libraries 1970;70:173-78.
4. Núñez M. Criterios para la evaluación de la calidad de las fuentes de información sobre salud en Internet. Acimed 2002;10(5). Disponible en: http://bvs.sld.cu/revistas/aci/vol10_5_02/aci05502.htm [Consultado: 7 de enero del 2006].
5. Poll H. Tips for Health Consumers. Finding Quality Health Information on the Internet. Disponible en: http://www.ihealthcoalition.org/content/tips.html [Consultado: 12 de febrero del 2006].
6. Winker MA, Flanagin A, Chi-Lum B, White J, Andrews K, Kennett RL, et al. Guidelines for medical and health information sites on the Internet. Disponible en: http://www.ama-assn.org/ama/pub/category/1905.html [Consultado: 20 de enero del 2006].

Recibido: 23 de mayo del 2006. Aprobado: 4 de junio del 2006.
Lic. Carlos Robert Barrera. Biblioteca Médica Nacional. Centro Nacional de Información de Ciencias Médicas-Infomed. Calle 23 No. 162 esquina N, El Vedado. Ciudad de La Habana, Cuba. Correo electrónico: carlosbarrera27@yahoo.es

Abstract

A group of proposals made by different authors to evaluate the available digital resources on the Internet is analyzed aimed at developing new schemes for the evaluation of the websites of public and medical libraries. The parameters and indicators included in each of the 4 proposals selected among those existing in the reviewed literature are expose, in order to create new models for the evaluation of this type of sites. Finally, based on the importance, adequacy and level of coincidence among the criteria exposed by each author, a series of parameters and indicators considered valid for the evaluation of the referred sites are proposed.

Key words: Evaluation, information resources, websites, indicators and parameters.

Ficha de procesamiento

Clasificación: Artículo original.

Términos sugeridos para la indización

Según DeCs1

AUTOMATIZACIÓN DE BIBLIOTECAS; INTERNET.
LIBRARY AUTOMATION; INTERNET.

Según DeCI2

BIBLIOTECA DIGITAL; EVALUACIÓN DE LA CALIDAD ; RECURSOS DE INFORMACIÓN; INFORMACIÓN EN SALUD; INTERNET.
DIGITAL LIBRARY; QUALITY EVALUATION; INFORMATION RESOURCES; HEALTH INFORMATION; INTERNET.

1BIREME. Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004.

Disponible en: http://decs.bvs.br/E/homepagee.htm

2Díaz del Campo S. Propuesta de términos para la indización en Ciencias de la Información. Descriptores en Ciencias de la Información (DeCI). Disponible en: http://cis.sld.cu/E/tesauro.pdf

1Licenciado en Bibliotecología y Ciencias de la Información. Biblioteca Médica Nacional. Centro Nacional de Información de Ciencias Médicas-Infomed.
2Master en Bibliotecología y Ciencia de la Información. Biblioteca Nacional “José Martí”.
3Licenciado en Bibliotecología y Ciencia de la Información. Biblioteca Nacional “José Martí”.

Índice Anterior Siguiente