Investigadores de las universidades de Granada y Navarra ponen en evidencia las herramientas bibliométricas Google Scholar Citations y Google Scholar Metrics, dos sistemas cada vez más empleados por la comunidad científica mundial

UGR/DICYT Investigadores de las universidades de Granada y Navarra han demostrado la falta de rigor de las herramientas bibliométricas de Google que son cada vez más usadas a nivel mundial para valorar el mpacto de las publicaciones científicas. Su trabajo, publicado en el Journal of the American Society for Information Science and Technology, aparece en una Carta al editor en el último número de la prestigiosa revista Science, y alerta de la facilidad que existe para indizar en Google artículos falsos y aumentar así el número de citas de los investigadores, artículos y revistas científicas.

Esta investigación ha puesto en evidencia las herramientas Google Scholar Citations y Google Scholar Metrics, dos buscadores de Google especializados en buscar y medir el impacto científico de investigadores y revistas científicas y cuyo uso está extendiéndose rápidamente en el mundo académico.

El falso artículo de Pantani-Contador

Para llevarla a cabo, sus autores realizaron un experimento consistente en editar un falso artículo científico publicado por un supuesto investigador llamado Marco Alberto Pantani-Contador. El texto, carente de sentido alguno, fue copiado y pegado de la página web del grupo de investigación al que pertenecen (EC3: Evaluación de la Ciencia y de la Comunicación Científica), y traducido al inglés con Google Translator. Los investigadores dividieron a su vez el falso paper en seis artículos, citando en cada uno de ellos otros 129 trabajos científicos.

El artículo de Pantani-Contador fue subido a una página web personal de la Universidad de Granada, y rápidamente Google lo indizó incluyéndolo en sus motores de búsqueda, lo que demuestra que esta operación se realiza de manera automática, sin tener en cuenta en absoluto el contenido del paper indizado.

El resultado no se hizo esperar: los tres autores materiales de este experimento, a quienes Pantani-Contador citaba en su falso artículo, vieron cómo aumentaban considerablemente sus citas en Google Scholar, sobre todo en el caso de los investigadores más jóvenes, que vieron multiplicadas por seis su número de citas, engrosando notoriamente su perfil investigador en Google Scholar Citations. Además, todos los indicadores bibliométricos de los tres autores se incrementaron notablemente, y también se vieron afectados, con aumentos de citas, 47 investigadores y 51 revistas.

Productos muy usados

Como explica el autor principal del trabajo publicado en Science, el catedrático de Documentación de la UGR Emilio Delgado López-Cózar, "este experimento demuestra lo fácil que puede ser para cualquier persona con unos mínimos conocimientos informáticos manipular los productos que nos ofrece Google Scholar, tan empleados en el mundo de la comunicación científica".

El investigador considera que "la obsesión compulsiva" que en la actualidad existe por utilizar los recuentos de citas como unidad de medida de toda la actividad científica "es un terreno abonado para que triunfen productos simples, universales y gratuitos como los promovidos por Google, que tan velozmente se han propagado a nivel mundial pero cuya falta de control puede empujar a muchos científicos a falsear sus resultados".

Delgado asegura que, si el fraude de Google no se puede eliminar, "sí es posible al menos prevenirlo o dificultarlo. Por eso pedimos que los índices de citas, y especialmente los promovidos por Google, se diseñen de forma transparente, para que puedan desenmascarar a los tramposos".