A lo largo de la vida de un proyecto, como puede ser la creación de una Infraestructura de Datos Espaciales -IDE-, hay varias etapas donde es necesaria una evaluación y análisis; Normalmente antes de iniciarse el proyecto, mientras se diseñan los pasos principales y en su posterior seguimiento.

Las evaluaciones previas dan conocimiento si el proyecto avanza según las estrategias y objetivos planteados; la evaluación de una IDE en funcionamiento permite determinar si cumple o no con los objetivos y metas planteados. Y teniendo en cuenta que el objetivo principal de una IDE es facilitar el acceso y uso de la Información Geográfica, comprobar si este acceso ha mejorado gracias a la IDE o a otros factores. La idea base es sencilla, al medir la calidad de una IDE (o un conjunto de ellas) en funcionamiento nos preguntamos si esa IDE ha cumplido los objetivos para los que ha sido creada. A partir esa pregunta básica nos plantearemos otras cuestiones, ¿funciona de una forma eficiente?, ¿tiene en cuenta la neutralidad tecnológica?, ¿llega a suficiente gente?

Las Infraestructura de Datos Espaciales son muy complejas y abarcan a muchos actores. Existen una serie de datos, que se ofrecen a través de una tecnología y con unos estándares, gracias a unas políticas sustentadas en unos presupuestos económicos asignados a una organización, que necesita de personal, y todo ello orientado a una serie de usuarios.

Comparando indicadores

Debido a esta complejidad los métodos de evaluación que se han ido proponiendo con el tiempo han sido muy variados. Tan variados que son muy pocos los indicadores usados en dos evaluaciones distintas. Aunque no exactamente buscando medir la calidad, en el artículo «Indicadores de desempeño para evaluar las Infraestructuras de Datos Espaciales» los autores presentaron un análisis comparativo del uso de indicadores para la evaluación y monitoreo del desarrollo IDE, para lo cual recopilaron los indicadores propuestos por los diferentes equipos creadores de cinco IDE distintas.

De los 103 indicadores recogidos, solo 10 de ellos se utilizan en la evaluación de dos o más IDE. Por supuesto esto es normal en ciertos casos, el más destacable sea quizá el diferente grado de desarrollo de las distintas IDE, que genera preocupaciones distintas en sus creadores. Mientras unas están preocupadas por la existencia de datos y metadatos, o si cuenta con un marco legal que respalde su actividad, otras lo dan por supuesto y sus indicadores se orientan más al rendimiento de la infraestructura, al impacto socioeconómico o al desarrollo de la IDE, en lugar de a su existencia.

Evaluación centrada en el usuario

Otros autores hablan de la necesidad de indicadores específicos a la hora de medir a la 3ª generación de IDE, que da el protagonismo al usuario, descentralizando y democratizando los datos, así como los procesos geoespaciales que los generan y mantienen; esto necesita nuevos indicadores. Esa es la idea plasmada en «Participación y dinamicidad en las Infraestructuras de Datos Espaciales: una propuesta de indicadores para medir su impacto en la sociedad». Así hay añaden nuevos indicadores capaces de medir el impacto social de las nuevas IDE (15 de dialogo y 7 de dinamicidad). Algunos ejemplos son el porcentaje de actividad voluntaria, la amplitud del grupo de usuarios, la frecuencia de contribución o la frecuencia de aportes.

Otra propuesta es atender a la información no explicita que suministran los usuarios a partir de cómo usan un Geoportal. Es la tesis del artículo «Análisis de navegación en geoportales» donde en vez de indicadores se estudian los patrones de uso del Geoportal a partir de la información suministrada por los logs del servidor: día de la semana de mayor uso, hora, número de peticiones, etc.; este conocimiento permite «personalizar los sitios web, mejorar el diseño de los sitios, conocer las necesidades de los usuarios, contar con información para tomar decisiones con el objetivo de aumentar la satisfacción de los usuarios, gestionar mejor las relaciones con los clientes, entre otras aplicaciones».

De esta forma evaluamos cuantitativamente el logro de los objetivos de los geoportales IDE en base al análisis de la navegación de los usuarios.

Evaluación de la calidad geoportales IDE

Otras propuestas centran la evaluación de la calidad en los geoportales, destacando la usabilidad y la interoperabilidad. En «Aproximación a una metodología de evaluación de la calidad de geoportales IDE» los autores proponen un conjunto de criterios para caracterizar la calidad general de los geoportales IDE.

Este conjunto de criterios cualitativos (19) atienden a otros tantos aspectos de la usabilidad e interoperabilidad de un Geoportal. Algunos de los criterios propuestos son: apertura, multilingüismo, responsividad, identidad, accesibilidad, usabilidad, estandarización, aviso legal, visibilidad de recursos, disponibilidad o rendimiento.

La ventaja de esta metodología es su sencillez; por el contrario está sujeta a cierta subjetividad y no contempla el grado de cumplimiento de los criterios; por ejemplo se puede cumplir el criterio de responsividad (adaptación a diferentes tamaños de pantalla), pero el texto puede ser demasiado pequeño para leerlo, los elementos en los que se puede hacer clic estar demasiado cerca unos de otros o que el contenido ser más ancho que la pantalla, por citar solo algunos de los aspectos que tiene en cuenta Google a la hora medir la usabilidad móvil.

Se trata más bien de un conjunto de buenas prácticas y recomendaciones a tener en cuenta a la hora de desarrollar un Geoportal.

Conclusiones

A pesar de la necesidad de observar el impacto de las IDE y su evolución sigue sin haber unos criterios consensuados y fiables para llevar a cabo la evaluación desde diferentes enfoques y objetivos. La literatura científica destaca la dificultad de evaluar y medir la calidad de una IDE y aun más, comparar varias y durante varios años.

En «La calidad de las IDE desde el punto de vista de la interoperabilidad» podemos leer como las últimas propuestas pasan por el uso de un sistema de indicadores de calidad de los componentes implementados en una IDE tomando «como base su característica más importante, la interoperabilidad»; aunque es una metodología todavía por desarrollar los autores del artículo adelantan algunas claves para abordar con éxito esta metodología.