MsC. Ana Margarita Cabrera Facundo1 y MsC. Adrián Coutín Domínguez2
Se ofrece una panorámica de las tendencias, modelos y procedimientos utilizados para la evaluación de las bibliotecas digitales. Es un tema controvertido, con múltiples vertientes y una terminología en formación. En muchos casos, este tema se vincula con otro mucho más amplio aún, la evaluación de los recursos digitales en la red. Se presenta sintéticamente los resultados de la indagación en Internet sobre los aspectos considerados para la evaluación de las bibliotecas digitales y la distinción entre la evaluación de las bibliotecas digitales en general y de arte en particular.
Palabras clave: Bibliotecas digitales, bibliotecas de arte, modelos de evaluación.
An overview of the tendencies, models and procedures used to evaluate digital libraries is presented. It is a quite controversial subject with many trends and a terminology under formation. In many cases, this subject is linked to a yet wider one; the evaluation of the digital resources in the web. The results of the Internet research on the evaluation of digital libraries are briefly dealt with, as well as the distinctions between the evaluation of digital libraries in general and that art libraries in particular.
Key words: Digital libraries, art libraries, evaluation models.
Copyright: © ECIMED. Contribución de acceso abierto, distribuida bajo los términos de la Licencia Creative Commons Reconocimiento-No Comercial-Compartir Igual 2.0, que permite consultar, reproducir, distribuir, comunicar públicamente y utilizar los resultados del trabajo en la práctica, así como todos sus derivados, sin propósitos comerciales y con licencia idéntica, siempre que se cite adecuadamente el autor o los autores y su fuente original.
Cita (Vancouver): Cabrera Facundo AM. Las bibliotecas digitales. Parte III. Evaluación. Acimed 2005;13(5). Disponible en: http://bvs.sld.cu/revistas/aci/vol13_5_05/aci04505.htm Consultado: día/mes/año.
En el año 1997, investigadores de la Universidad de Berkeley en California,
comenzaron a aplicar aspectos psicológicos para la evaluación
de las bibliotecas digitales, a partir de la teoría de Pierre Bourdieu
sobre las relaciones entre los individuos y sus campos de orientación
y comportamiento.1 Se emplearon herramientas
y tecnologías para este propósito específico y para la
determinación de contextos socio-culturales, con el objetivo de brindar
mejores servicios y perfeccionar los parámetros de búsqueda y
las políticas de digitalización que se conformaban.
A principios de este siglo XXI y con lo que podría llamarse la pirámide
ascendente de las bibliotecas digitales en Internet, han crecido también
las investigaciones en el campo de la evaluación. Algunos sitios incluso
reúnen materiales procedentes de estudios relacionados con la evaluación
de las bibliotecas digitales, como por ejemplo, Argus Clearinghouse (http://clearinghouse.net/ratings.html),
OMNI Guidelines for Resource Evaluation (http://omni.library.nottingham.ac.uk/agec/evalguid.html),
The WWW Virtual Library: Information Management (http://www.ciolek.com/WWWVL-InfoQuality.html
y Sitio de Conferencia Unida de Bibliotecas Digitales (http://www.jcdl.org/),
entre otros.
En la Universidad de Illinois, se desarrolló una metodología
de evaluación para su proyecto de biblioteca digital a partir de estudios
enfocados en el "consumo de información" en ambiente digital,
sobre la base de una profundización en el criterio relativo al análisis
del uso de materiales recuperados por los usuarios. Estos criterios relativos
al acceso son objeto de investigación hoy y sus resultados ayudan a eliminar
barreras triviales y de otro tipo en el uso y el acceso a la información
en las bibliotecas digitales.
Otra arista de las investigaciones de evaluación la brinda Saracevic,
al afirmar que la evaluación concentrada en los usuarios y sus interacciones,
por medio de las interfaces, junto a la usabilidad y la funcionalidad son los
principales criterios para evaluar las bibliotecas digitales. Enfatiza además,
que la usabilidad es sólo uno de los criterios y acercamientos posibles
y necesarios en la problemática.
Ciolek, por su parte afirma, que los trabajos de evaluación de los recursos
digitales en el web están apenas en sus inicios y la tendencia es que
los criterios propuestos, generalmente, se consideran como verdaderos.2
No obstante, en la revisión bibliográfica realizada para
el desarrollo del presente artículo, fue posible hallar importantes avances
en la identificación de variables para evaluar una biblioteca digital,
basados en criterios constatables y que incluyen, en una forma u otra, las relacionadas
con la cobertura temática y temporal, los tipos de servicios que brindan,
las características de los accesos y los tipos de accesos.
Para ilustrar las tendencias y aspectos más importantes en la evaluación de recursos digitales, se empleará el trabajo realizado por Wilkinson, Oliver y Bennett en el año 1997.
Síntesis de los criterios utilizados para evaluar los recursos digitales de información, según los autores más citados en la literatura
|
Autores
|
Criterios
|
| Caywood (1995) |
|
| Ciolek (1995) |
|
| Tillman (1995) |
|
| Smith (1998) |
|
| Grassian (1997) |
|
| Harris (1997) |
|
| Cohen (1997) |
|
| Auer (1997) |
|
Fuente: Wilkinson GL., Oliver KM, Bennett LT. Evaluating the Quality of Internet Information Sources: quality indicators as ranked by experienced Internet users. 1997. Disponible en: http://itech1.coe.uga.edu/Faculty/gwilkinson/rankings.html [Consultado: 23 de abril del 2003].
Principales indicadores de calidad de los recursos digitales de información, según la perspectiva de sus usuarios
| Aspectos | Categorías | Indicadores |
| Calidad del sitio | Aspectos estéticos y afectivos | Relación del diseño con el contenido |
| Legibilidad y condición de lectura | ||
| Calidad de los enlaces | Visibilidad y claridad de los enlaces | |
| Calidad de la información | Relevancia y alcance del contenido | Actualidad de la información Contenido relacionado a las necesidades de los usuarios |
| Precisión y equilibrio del contenido | Documentos sin errores obvios o omisiones engañosas Identificación clara de las tendencias e ideas del autor Interés comercial del patrocinador o autor del Sitio aparente |
|
| Calidad de los Enlaces | Relevancia de los enlaces y documentos disponibles Simplicidad |
|
| Identificación del autor | Indicación del nombre del autor Indicación de la filiación profesional o institucional del autor |
|
| Autoridad del autor | Indicación del currículo del autor | |
| Identificación del recurso y de la documentación | Indicación de la fecha de la última revisión del
documento Indicación del título del documento Indicación del campo, disciplina o tópicos del documento |
|
| Estructura y diseño de la información | Indicación del alcance, propósito y audiencia del documento | |
| Validación del contenido | Indicación de bibliografía y referencias bibliográficas | |
| Navegación dentro del documento | Adecuación del esquema organizacional del sitio Contexto de navegación |
|
| Calidad del sitio | Facilidad de uso y acceso del Sitio | Indicación del individuo, grupo o organización responsable por el mantenimiento del sitio |
| Identificación del recurso y de la documentación | Información al usuario sobre el material controversial o impropio Estabilidad del sitio: indicación de la remoción momentánea o re direccionamiento hacia una nueva dirección en caso que corresponda |
|
| Calidad de los enlaces | Indicación del tipo de información que está siendo
apuntada (ex.: definición, ejemplos, etc.) Enlaces comentados Enlaces con acceso directo a los recursos de la Internet |
|
| Estructura y diseño de la información | Indicación de los varios modos de obtener un documento Claridad y facilidad de uso de los íconos y demás recursos gráficos Exploración de la capacidad interactiva del web Disponibilidad de recursos de auxilio para ayudar en el uso del documento Disponibilidad de medios para el aprendizaje en el uso del recurso |
Fuente: Wilkinson GL., Oliver KM, Bennett LT. Evaluating the Quality of Internet Information Sources: quality indicators as ranked by experienced Internet users. 1997. Disponible en: http://itech1.coe.uga.edu/Faculty/gwilkinson/rankings.html [Consultado: 23 de abril del 2003].
Más recientemente, Blandford y Buchanan, desarrollaron investigaciones
sobre la evaluación de los recursos digitales y las bibliotecas digitales,
a partir de criterios de usabilidad, en forma reiterada en cada investigación
y como elemento clave en el acceso. Estos autores, desde hace años, organizan
un "Taller sobre Usabilidad de Bibliotecas Digitales" al que asisten
autoridades en la materia para debatir sus puntos de vista sobre el tema. http://www.uclic.ucl.ac.uk/annb/DLUsability/JCDL02.html.
Las dos características principales de la evaluación de recursos
digitales, donde podría incluirse la evaluación de las bibliotecas
digitales, son las siguientes:
" Se basa fundamentalmente en métodos cualitativos aunque pueden
complementarse con métodos cuantitativos.
" Utiliza criterios en los que, inevitablemente, la subjetividad de los
analistas interviene de manera determinante, para ello no hay solución
definitiva mientras se utilicen métodos cualitativos. En este sentido,
cabe mencionar algunos medios para atenuar sus efectos:
El desarrollo de métodos y modelos de evaluación para bibliotecas
digitales constituye una necesidad propia de su avance y generalización;
no obstante, según una fuente autorizada como es Saracevic, estos aún
son insuficientes debido precisamente a la complejidad de los servicios de las
bibliotecas digitales.3
Los dos ingredientes que hacen que una biblioteca digital sea valiosa parecen
estar muy claros en una primera aproximación: contenido y forma con múltiples
aristas de análisis, por supuesto; a los efectos de evaluación
estos dos criterios son un punto de partida.
Puede tenerse una biblioteca digital con contenidos de alta calidad, pero "no
usables" por estar mal organizados. Estamos entonces ante un recurso útil
pero no usable. Con las cuestiones de forma, puede llegarse a conclusiones parecidas:
una biblioteca digital puede estar exquisitamente diseñada, pero estar
tan pobremente estructurada en cuanto a los contenidos y sistemas de navegación
que se convierta en una experiencia frustrante para los usuarios.4
Se propone facilitar la evaluación de bibliotecas de todas clases. Para
ello, describe un conjunto de indicadores de rendimiento y ofrece pautas para
su utilización como herramientas para evaluar la calidad y efectividad
de los servicios y las actividades bibliotecarias, así como el uso de
los recursos.
El cuerpo de la norma se abre con una explicación de su alcance y ámbito
de aplicación. Tras una definición precisa de los términos
empleados, se aclaran los criterios de evaluación, el marco descriptivo
de los indicadores, y se explica cómo emplearlos.
Los 29 indicadores que propone la norma, agrupados por distintos servicios,
actividades o aspectos bibliotecarios, como el préstamo, la búsqueda
de información, la formación de usuarios o el proceso técnico
pueden resumirse en:
Es importante que al utilizar indicadores y comparar los resultados obtenidos
con los de otra biblioteca, no se pierdan de vista las metas y los objetivos
establecidos por cada una, y el tipo de usuario al que se dirige.
Mención obligada merecen los estudios realizados por el profesor Lluís
Codina, quien presenta una de las metodologías de evaluación de
recursos digitales más estructuradas y encontradas en la bibliografía
consultada,5 y única hasta donde han
investigado estos autores, en cuanto a la pormenorización de todos los
aspectos tanto teóricos como de la forma de aplicabilidad empírica.
Aunque su metodología se refiere a recursos digitales en general, sin
precisar las bibliotecas digitales, ella puede ser muy útil para los
estudios empíricos en bibliotecas digitales. Se ha aplicado en forma
explicativa en revistas electrónicas, concretamente, en la Universidad
de Barcelona a la revista electrónica BiD,6
sobre bibliotecología y documentación.
El autor propone la conveniencia de distinguir conceptos como:
A continuación se sintetizan parámetros e indicadores.
|
Parámetros
|
Indicadores
|
| Autoría | |
| Autoría del recurso bien determinada | |
| Solvencia de la institución | |
| Posibilidad de contactar con el autor o institución | |
| Posibilidad de enviar mensajes al autor o institución | |
| Contenido | |
| Existencia de información valiosa | |
| Volumen de información suficiente | |
| Información contrastada y rigurosa, editada o supervisada | |
| Información actualizada | |
| Navegación y recuperación | |
| Recorrer la estructura del web sin perderse | |
| Orientaciones de contexto | |
| Jerarquía de los contenidos | |
| Sistema de búsqueda | |
| Mapa de navegación o sumario | |
| Sumarios locales o secciones | |
| Índices temáticos, cronológicos, geográficos u onomásticos | |
| Necesidad de desplazarse para ver la totalidad del sumario | |
| Navegación semántica | |
| Opciones de navegación claras | |
| Navegación con un número limitado de clips | |
| Ergonomía | |
| Buena relación figura-fondo | |
| Tipografía adecuada | |
| Márgenes a ambos lados del texto y entre párrafos | |
| Imágenes que completan la información textual o la entorpecen | |
| Visualización agradable | |
| Luminosidad | |
| Enlaces externos | |
| Enlaces evaluados y seleccionados | |
| Enlaces actualizados | |
| Valor añadido en los enlaces | |
| Visibilidad | |
| Título del web en la barra del navegador | |
| Contenido del recurso en los primeros párrafos | |
| Presencia de meta etiquetas básicas | |
| Presencia de meta etiquetas Dublin Core | |
| Enlaces desde otras páginas | |
Fuente: Codina L. Parámetros e indicadores de calidad para la evaluación de recursos digitales. Bilbao: Universidad del País Vasco, 2000. p. 135-44.
En el taller DELOS, sobre la Evaluación de Bibliotecas Digitales, celebrado
a mediados del 2002 en Budapest, Sandusky presentó un interesante estudio
acerca de los "Atributos de las Bibliotecas Digitales: investigación
acerca de la usabilidad".7 Su propuesta
desarrolló una lista de atributos o dimensiones que ayudan a identificar
similitudes, diferencias y especificidades en diferentes bibliotecas digitales,
en busca de un equilibrio entre los tres atributos de éstas: técnico,
social y organizacional. El sistema propuesto por Sandusky, consta de 6 atributos:
audiencia (usuarios); institución, acceso, contenido, servicios y diseño
y desarrollos.
Este esquema deja abierta la posibilidad de considerar cuantas variables y
atributos puedan ser necesarios para la evaluación de una biblioteca
digital o un tipo de éstas en particular y se corresponde con la "cascada
de interacciones" del modelo propuesto por Marcia Bates.8 Esta cascada
de interacciones culmina - según la autora- en una interfaz donde todas
las interacciones prioritarias producen una recuperación de información
efectiva, y de no ser así, el sistema trabaje en contra de sus propósitos.
Las numerosas bibliotecas digitales, el acceso a catálogos en línea,
a bases de datos y otros servicios de información digitales en Internet,
ilustran con numerosos ejemplos como la cascada de interacciones, mencionada
por Bates, funciona.
Otros estudios de utilidad en el tema de música en las bibliotecas digitales,
realizados por Hanna Stelmaszewska y Ana Blandford, en la Universidad de Los
Angeles, ensayaron una variedad de técnicas de evaluación de utilidad
en lo que concierne al diseño de las bibliotecas digitales de música.9
El trabajo condujo a que sus recomendaciones se incorporaran en el diseño
de la Colección de Música de Biblioteca Digital, desarrollada
en la Universidad Waikato, Nueva Zelanda.
Otra tendencia importante es la que desarrollan Saracevic y Lisa Covi donde
presentan una estructura para evaluar las bibliotecas digitales consistente
en siete niveles:10
Los siete niveles están agrupados de la siguiente forma:
Nivel 1 al 3: centrado en el usuario.
Nivel 5 al 7: centrado en el sistema.
Nivel 4: es la frontera entre el usuario y el sistema.
En este esquema, cada nivel representa un aspecto del sistema y puede estar
sujeto a evaluación.
Otro esquema de evaluación holística, consistente en 4 dimensiones mayores, es presentado por Fuhr y sus colaboradores.11
Estas dimensiones son:
Este modelo es un intento de definir un esquema abierto y comprensivo de criterios para su uso en la evaluación.
El modelo propuesto por Robert J. Sandusky, aunque es objeto de un pilotaje empírico en bibliotecas digitales comerciales, por su flexibilidad y amplios criterios resume -a nuestro juicio- los aspectos fundamentales para la evaluación de las bibliotecas digitales.7 En su fundamentación, se menciona la posible aplicación a bibliotecas digitales de arte, concretamente, en el caso de la música.
Estructura del modelo:
1. Audiencia: Atributos de los usuarios a los que esta destinada la biblioteca
digital en particular. Incluye:
Alcance: Restringida a una comunidad de usuarios específica o al pago
de suscripción, o es gratuita, o subsidiada por el estado.
Coherencia: Los usuarios principales de la biblioteca pertenecen a un grupo
definido con intereses similares o es para un público general.
Adecuación: ¿Son los usuarios actuales de la biblioteca los mismos
para los cuales se creó?
2. Institución: Biblioteca, universidad, compañía u otra
entidad que auspicia la creación de la biblioteca digital. Abarca:
Dirección y control de la biblioteca digital: ¿Quién o
quiénes toman las decisiones en cuanto al manejo de la biblioteca?
Tipos de instituciones: ¿Son los responsables y auspiciadotes de la biblioteca,
instituciones públicas (gobierno, universidad) o privadas (corporaciones,
etc.)?
Modelo económico: Capital de la biblioteca para sostenerse. Vías
de sostenimiento.
Propósitos: Cuáles son los propósitos iniciales de la biblioteca.
3. Acceso: ¿Quién puede usar la biblioteca digital? ¿bajo
qué condiciones?; también las características de soporte
y acceso a los contenidos Incluye:
Modelo de pagos: Correlación entre pagos y accesos.
Visibilidad: ¿Es visible la biblioteca en Internet? ¿Consta de
privilegios de acceso por medio de de pago?
Persistencia: ¿Están garantizados los contenidos para estar disponibles
en el futuro?; ¿Serán preservados en el mismo formato a través
del tiempo (por décadas), o es una biblioteca con contenidos efímeros?
Coherencia: ¿Se adaptan los contenidos a los principios básicos
de la organización de la información? Una biblioteca organizada
puede proveer múltiples tipos de búsquedas y acceso a complejas
estructuras. Este aspecto esta muy relacionado con los contenidos.
4. Contenidos: La información (tipos de documentos) contenidos en la
biblioteca digital. Incluye:
Alcance: Alcance temático dentro de todo el conocimiento humano.
Adecuación (si es necesaria para la audiencia): ¿Responde el
contenido a los intereses de los usuarios?
Coherencia: ¿Incluye la biblioteca vías para cubrir cualquiera
de los tópicos incluidos? ¿Incluye imágenes, sonido, video
u otro complemento de los aspectos que se tratan?
Organización: ¿Está la biblioteca organizada para facilitar
al acceso a la información? ¿Provee la información a texto
completo o sólo llega a un simple nivel de navegación?
Especialización: ¿Los contenidos de la biblioteca están
especializados en una rama determinada del conocimiento o para una audiencia
especializada?
Digitalización: ¿Está el contenido de la biblioteca digitalizado
a partir de materiales impresos?, es digital desde su origen, incluye referencias
a materiales no digitales. Por ejemplo, una biblioteca que contenga periódicos
del siglo XIX, incluirá versiones digitales de los originales.
Recursos: ¿Cuenta la biblioteca con simples o múltiples recursos?
La biblioteca presenta recursos de información creados por una entidad
o por varias o remite a contenidos de diversas entidades.
Restricciones: El contenido esta restringido por derecho de autor o similares
restricciones de la propiedad intelectual.
5. Servicios: Abarcar el personal y la tecnología basada en las capacidades
de enlazar otras colecciones que puedan ser afines y utilizadas. Comprende:
Naturaleza de las interacciones: Esta dimensión representa la manera
en que la biblioteca provee o no ayuda para el trabajo. Si existe interacción
usuarios-usuarios o usuarios-expertos. Se relacionan 3 tipos de interrelaciones:
analítica, de colaboración y referencial.
Análisis: Es cuando las bibliotecas proveen herramientas interactivas
para realizar la evaluación o asimilación de la información.
Colaboración: La biblioteca provee medios para la comunicación
entre los usuarios de la misma, define grupos de interés, chats, etcétera.
Colecciones: Política definida de desarrollo de colecciones y organización
de los servicios a partir de éstas. Cuando la biblioteca define la adición
de contenidos por medio de procesos evaluativos.
Referencias: Cuando la biblioteca brinda a los usuarios la posibilidad de interactuar
con expertos para recibir orientación y ayuda en sus búsquedas
o en su trabajo. Presencia del bibliotecario virtual, dirección de correo
electrónico u otro medio técnico de interactuar con la administración
de la biblioteca.
6. Diseño y desarrollo: Proceso de construcción y mantenimiento
de la Biblioteca digital. Incluye:
Diseño: Se debe tomar como fuente básica para el diseño
a los usuarios, la institución, el acceso a la información y a
los contenidos.
Ciclo del diseño: Se deben realizar regulares revisiones al diseño
basadas en la retroalimentación y en el análisis de la usabilidad
de la biblioteca.
Consultas a los usuarios: Muchas bibliotecas se conciben y diseñan sin una consulta directa a los usuarios a los cuales estará dirigida básicamente.
Se sugiere, con vistas a incorporar al modelo, al menos una variable cuantitativa,
que conceda un mayor peso a la evaluación, añadir en el punto
3, Análisis de acceso - visibilidad, la cantidad de enlaces que posee
la biblioteca digital en los principales motores de búsqueda. Si se considera
que en la medida en que un sitio posea un mayor número de enlaces en
dichos motores, es más visible para cualquier usuario de Internet que
busque información, la inclusión de una variable como la indicada,
sin dudas, incorporará un indicador objetivo nuevo para medir la visibilidad
de la biblioteca evaluada. El cálculo de esta variable puede realizarse
a partir del sitio "Chequeo de Enlaces Populares", disponible en http://www.widexl.com/remote/link-popularity/index.html
Los motores de búsqueda que utiliza dicho sitio son: Google, AlltheWeb, Altavista, MSN, HotBot/Inktomi y Lycos.
A lo largo de la investigación, se pudo verificar que no existe a nivel
empírico ningún proyecto, metodología o estudio que permita
establecer las formas de aplicabilidad de los modelos, tendencias y enfoques
de evaluación abordados. No obstante, se considera necesario profundizar
en la elegibilidad del modelo de Sandusky y no otro, así como expresar
algunos aspectos importantes en relación con la evaluación de
las bibliotecas digitales:
La presente contribución es una versión reducida del trabajo
original que puede consultarse en forma completa en la biblioteca de la Facultad
de Comunicación de la Universidad de La Habana, sita en Calle G entre
21 y 23. El Vedado. Plaza de la Revolución.
Ciudad de La Habana. Cuba. Su referencia bibliográfica completa es: Cabrera Fagundo AM. Bibliotecas digitales de arte. Tendencias evaluativas. Análisis y aplicación de un modelo evaluativo. [Tesis para optar por el grado de Máster en Ciencias de la Información]. Universidad de La Habana: Facultad de Comunicación, 2004. Tutor: MsC. Adrián Coutín Domínguez. 149 p.
Recibido: 21 de septiembre del 2005.
Aprobado: 8 de octubre del 2005.
MsC. Ana Margarita Cabrera Facundo. Biblioteca de las Artes. Instituto Superior de Arte. Calle 120 No. 1110 entre 9 y 13, Reparto Cubanacán, Municipio Playa. La Habana, Cuba. Correo electrónico: anamargaritacf@infomed.sld.cu
1Licenciada en Información
Científico-Técnica y Bibliotecología. Máster en
Ciencias de la Información. Profesora Auxiliar de Informática
y Gráfica por Computadora. Directora de la Biblioteca de las Artes. Instituto
Superior de Arte. La Habana. Cuba.
2Licenciado en Información Científico-Técnica
y Bibliotecología. Máster en Ciencias. Profesor Auxiliar de la
Facultad de Comunicación de la Universidad de La Habana.
Ficha de procesamiento
Términos sugeridos para la indización
Según DeCS1
AUTOMATIZACIÓN DE BIBLIOTECAS; INTERNET.
LIBRARY AUTOMATION; INTERNET.
Según DeCI2
BIBLIOTECA DIGITAL; EVALUACIÓN DE LA CALIDAD.
DIGITAL LIBRARY; QUALITY EVALUATION.
1BIREME. Descriptores en Ciencias de la Salud
(DeCS). Sao Paulo: BIREME, 2004.
Disponible en: http://decs.bvs.br/E/homepagee.htm
2Díaz del Campo S. Propuesta de términos
para la indización en Ciencias de la Información. Descriptores
en Ciencias de la Información (DeCI). Disponible en: http://cis.sld.cu/E/tesauro.pdf