1. 1. II. Altmetrics 3 Ventajas y limitaciones Curso de Altmetrics para bibliotecarios by Nieves Gonzlez-Fernndez-Villavicencio y Vctor Moya-Orozco is licensed under a Creative Commons Reconocimiento 4.0 Internacional License. Nieves Gonzlez @nievesglez Vctor Moya @vicmoyoro Sevilla, 24 de mayo de 2016
2. 2. I. Visibilidad I.1. Introduccin: Ciencia 2.0 (020) Estrategia para mejorar la visibilidad (020) Actividad 1 (030) I.2. Perfiles de investigador (030) Actividad 2 (030) I.3. Herramientas para mejorar la visibilidad (020) II. Altmetrics II.1. Introduccin: bibliotecarios y mtricas (010). Entendiendo altmetrics (1h) Altmetrics en la prctica. Actividad 3 (030) II.2. Altmetrics para conocer el impacto del investigador e institucional. Actividad 4 (045) II.3 Ventajas y problemas (020) II.4. Conclusiones (020)
3. 3. Ventajas
4. 4. Diversidad No slo son capaces de ofrecer informacin sobre publicaciones cientficas, sino tambin sobre otro tipo de resultados de investigacin, como conjuntos de datos, presentaciones, software, etc. Disciplinas como Humanidades y Ciencias Sociales, que basan su produccin cientfica en monografas, pueden obtener ms datos sobre ellas que el simple prestigio editorial.
5. 5. Otros impactos Algunos indicadores altmtricos pueden ofrecer no slo informacin sobre el impacto de la investigacin en un entorno acadmico, sino tambin en otros pblicos (por ejemplo, en noticias de medios de masa, o uso en la elaboracin de documentos legislativos...). Permiten conocer otros impactos: social, econmico, medioambiental, etc.
6. 6. Tipos de impacto 'La contribucin demostrable que una investigacin de excelencia hace a la sociedad y la economa http://www.esrc.ac.uk/research/evaluation-and-impact/what-is-impact/ Impacto social Impacto cultural Impacto medioambiental Impacto econmico Impacto en la investigacin Impacto en los investigadores Impacto en la ciencia Otros impactos
7. 7. Amplian la imagen del impacto de la investigacin, ya que complementan a otras mtricas a la hora de conocer cmo est siendo aceptada por diversos tipos de pblico. Imagen ms amplia del impacto
8. 8. Van al grano Al contrario que otros indicadores bibliomtricos, que se basan en el impacto de la revista, las altmetrics miden el impacto del artculo individualmente, mostrando una imagen ms real.
9. 9. Inmediatez Frente a la demora que suponen algunas mtricas tradicionales, para las que hay que esperar hasta dos aos desde la publicacin del artculo, las altmetrics pueden ofrecer informacin desde el mismo momento de la publicacin. De la misma forma, esperar citas es especialmente problemtico para los nuevos investigadores que tratan de hacerse un hueco en su campo.
10. 10. Inmediatez
11. 11. Las bellas durmientes de la ciencia Las bellas durmientes son esos artculos que, una vez publicados, pasan desapercibidos para su audiencia potencial y que aos despus de repente despiertan inters en su mbito. Las altmetrics podran combatir este problema, ya que se pueden utilizar en sistemas de recomendacin automtica para ofrecer artculos relacionados basndose en ellas. http://www.pnas.org/content/112/24/7426.abstract
12. 12. Entorno Los datos altmtricos pueden verse en su entorno y contexto, dando la posibilidad de revisar inmediatamente si el impacto de un artculo es positivo o negativo, permitiendo al autor que puede corregir posibles malentendidos o malos usos y responder directamente.
13. 13. Visibilidad Altmetrics pueden ayudar a los autores a hacer un seguimiento de la difusin de su resultados de investigacin y les permiten tomar decisiones inmediatas para obtener mayor visibilidad.
14. 14. Limitaciones y retos futuros
15. 15. Falta de normalizacin Las altmetrics presentan problemas de normalizacin, tanto en el aspecto de su recopilacin como en el de su uso en la evaluacin cientfica. Reto: Organizaciones como NISO estn trabajando en recomendaciones para la elaboracin de estas mtricas basadas en la transparencia y definicin de los datos o la existencia de identificadores nicos.
16. 16. Falta de regulacin No estn reguladas: al tratarse de indicadores que proceden, en muchos casos, de herramientas poco controladas, pueden dar lugar a la manipulacin y falsificacin. Las mtricas tradicionales no estn libres de este problema. Reto: detectar la manipulacin es posible, detectando bots o picos extraos en la citacin social de un artculo. Los proveedores de altmetrics deben trabajar este aspecto.
17. 17. Fiabilidad Aunque la mayora de las altmticas pueden indicar popularidad, no est tan claro que sirvan para medir la calidad cientfica. Reto: es necesario definir los diferentes impactos que muetran las altmetrics, ya que el hecho de no indicar impacto cientfico no les quita importancia como mtricas complementarias.
18. 18. Tiempo y dificultad La cantidad de medios sociales que pueden utilizarse para obtener altmetrics hacen difcil y costoso su recopilacin e interpretacin. Reto: Los proveedores de altmetrics ya estn reduciendo este problema, pero an es pronto. Estos sistemas tienen que mejorar para proveer altmetrics que puedan ser fcilmente recuperables, identificables e interpretables.
19. 19. Fragilidad de los medios sociales Los medios sociales presentan una fragilidad que afecta a la recopilacin de altmetrics. Tienen un ciclo de vida difcil de predecir y pueden desaparecer en cualquier momento (Connotea) o pueden cambiar sus polticas rpidamente y afectar a los datos que aportan. Reto: la diversidad de fuentes, la seleccin de las ms perdurables y la implicacin de los desarrolladores de medios sociales permitirn un mejor entendimiento de las altmetrics y una mayor perdurabilidad.
20. 20. Aceptacin En Espaa, las altmetrics no estn siendo tenidas en cuenta en la evaluacin de los investigadores. Aunque cada da ms organismos de financiacin y evaluacin las estn adoptando como mtricas alternativas e introduciendo el concepto de impactos (pl.) en el extranjero. Reto: los organismos de evaluacin y financiacin deben estudiar el mejor modo de implementarlas en sus procesos, teniendo en cuenta que ya se empiezan a tener en cuenta conceptos como el Acceso Abierto.
21. 21. Entorno El uso de medios sociales, del que parten los datos altmtricos, pueden variar segn la disciplina, la ubicacin geogrfica y a lo largo del tiempo. Reto: es necesario seguir desarrollando herramientas de benchmarking que permitan comparar los resultados segn diferentes contextos, como ya est haciendo Snowball Metrics. Por otra parte, las mtricas tradicionales no estn libres de esta limitacin.
22. 22. Falta de correlacin Los estudios sobre altmetrics desarrollados hasta la fecha no demuestran una clara correlacin entre citas y datos altmtricos. Esta correlacin, aunque importante, no debe ser determinante, ya que lo que si muestran los estudios es que estas mtricas complementan al ofrecer otros datos que las tradicionales no ofrecen. Reto: la correlacin puede ir aumentando con el aumento de la masa crtica de investigadores en medios sociales, con el uso de herramientas altmtricas para la bsqueda y recuperacin de informacin o con un mayor entendimiento de su significado. Hay que entender que son datos complementarios y que la correlacin nosiempre es necesaria.
23. 23. Uso e impacto. Correlaciones
24. 24. Google Scholar Citations (GSC) es la plataforma ms utilizada seguida por ResearchGate (que est creciendo). Mendeley, ResearcherID y Twitter tienen un gran crecimiento pero muchos de sus perfiles estn vacos. Crecimiento de la masa crtica Martin-Martin, A., Orduna-Malea, E., Ayllon, J. M., & Lopez-Cozar, E. D. (2016). The counting house: measuring those who count. Presence of Bibliometrics, Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter. EC3 Working papers, 21. http://arxiv.org/abs/1602.02412
25. 25. Los indicadores de GSC (ndice h y 5 aos) correlacionan muy bien con el resto de indicadores de publicacin, cita o uso, pero no con los indicadores de conectividad, como seguidores en Twitter, ResearchGate o Mendeley. En ResearchGate, el RG Score, su indicador estrella, correlaciona bien con los dems indicadores basados en citas (GSC). ResearchID se encuentra separado del resto de las mtricas de citas (GSC y RG). Mendeley y su indicador readers correlaciona bien con indicadores de total de publicaciones (a ms publicaciones, ms lectores), con RG Score, y h index y total de citas de GSC. Mendeley tiene una correlacin muy fuerte con las citas tradicionales (Suiter & Moulaison, 2015). Correlacin con otras mtricas Martin-Martin, A., Orduna-Malea, E., Ayllon, J. M., & Lopez-Cozar, E. D. (2016). The counting house: measuring those who count. Presence of Bibliometrics, Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter. EC3 Working papers, 21. http://arxiv.org/abs/1602.02412
26. 26. Mendeley: Estadsticas de correlacin con Scopus
27. 27. Las mtricas de Twitter se separan de las dems. Miden otra dimensin de la actividad social de los investigadores. Twitter tiene una correlacin ms baja con las citas que Mendeley (Suiter & Moulaison, 2015). Sin embargo, Twitter puede predecir artculos altamente citados en los tres primeros das de la publicacin del artculo = Twimpact factor (Eysenbach, 2011). Todas las mtricas de conectividad social (seguidores) correlacionan entre si (Mendeley, Twitter y RG). Correlacin con otras mtricas Martin-Martin, A., Orduna-Malea, E., Ayllon, J. M., & Lopez-Cozar, E. D. (2016). The counting house: measuring those who count. Presence of Bibliometrics, Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter. EC3 Working papers, 21. http://arxiv.org/abs/1602.02412
28. 28. Ortega, Jos Luis. Relationship between altmetric and bibliometric indicators across academic social sites: The case of CSICs members. Journal of Informetrics, 2015, v. 9, n. 1, pp. 39- 49 Correlacin entre perfiles de investigador
29. 29. El uso de medios sociales incrementa las citas o refleja las cualidades del artculo, que adems predice las citas. (Eysenbach, 2011) El verdadero uso de estas mtricas es para medir el impacto social, cuyas medidas se proponen como complementos a las mtricas de citas tradicionales (Eysenbach, 2011; Martn-Martn et al., 2016). Significados de las correlaciones
30. 30. Dos clases de impacto en la web: 1. Las ligadas al impacto acadmico y 2. Las asociadas con la conectividad y popularidad (followers). Divididas en: a. mtricas de uso: visualizaciones y descargas. b. mtricas de citacin: Correlacin muy alta entre todas las mtricas de GSC, RG Score y readers de Mendeley.
31. 31. Estudio de correlaciones entre altmtricas y mtricas tradicionales. (Suiter & Moulaison, 2015) Twitter tiene una correlacin ms baja con las citas Artculos en PubMed tienen una alta correlacin con Blogs, Facebook y Twitter En general, baja correlacin con medios sociales, excepto Twitter
32. 32. Resultados del estudio sobre uso de Altmetrics https://101innovations.wordpress.com/press/
33. 33. II. Altmetrics 4 Conclusiones y debate
34. 34. Conclusiones y debate - Surgen ante el descontento de cierto sector la comunidad cientfica a las formas de evaluacin basadas en citas y al JIF. - Miden impactos diferentes a las mtricas tradicionales. - Por eso, aunque nacen como alternativas, se han dirigido ms a un uso como cmtrica complementarias de las tradicionales. - Comienzan a ser tenidas en cuenta por evaluadores y organismos de financiacin (especialmente en EE.UU.). - Existen muchas herramientas para evaluar las altmetrics (fuentes y proveedores). - Las altmetrics irn cobrando importancia conforme aumente la masa crtica de investigadores en medios sociales. Las altmetrics
35. 35. Conclusiones y debate Los bibliotecarios y las altmetrics - Los bibliotecarios que ofrecen servicios a los investigadores deben conocerlas para asesorarles y monitorizar los impactos de la actividad cientfica de la institucin. - Deben conocer las herramientas de medicin disponibles (gratuitas o suscritas) para asesorar a los investigadores a mejorar sus altmetrics. - Deben saber cmo integrarlas en la evaluacin global de la produccin cientfica de los investigadores. - Son puentes entre los proveedores - Deben saber interpretarlas y explicar su funcin en los productos de informacin que las integran.
36. 36. Gonzlez-Fernndez-Villavicencio, N., Domnguez-Aroca, M.-I., Caldern-Rehecho, A., & Garca- Hernndez, P. (2015). Qu papel juegan los bibliotecarios en las altmetrics? Anales de Documentacin, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641
37. 37. Gonzlez-Fernndez-Villavicencio, N., Domnguez-Aroca, M.-I., Caldern-Rehecho, A., & Garca- Hernndez, P. (2015). Qu papel juegan los bibliotecarios en las altmetrics? Anales de Documentacin, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641
38. 38. Gonzlez-Fernndez-Villavicencio, N., Domnguez-Aroca, M.-I., Caldern-Rehecho, A., & Garca- Hernndez, P. (2015). Qu papel juegan los bibliotecarios en las altmetrics? Anales de Documentacin, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641
39. 39. Gonzlez-Fernndez-Villavicencio, N., Domnguez-Aroca, M.-I., Caldern-Rehecho, A., & Garca- Hernndez, P. (2015). Qu papel juegan los bibliotecarios en las altmetrics? Anales de Documentacin, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641