Introducción
El tema de “revistas indexadas” es de mucha relevancia en las universidades en casi todos los países del mundo, incluyendo la República Dominicana (Melo, 2017). El concepto “revistas indexadas”, sin embargo, tiene una historia muy larga pues se originó hacen 125 años con la publicacion del Index Medicus en el 1879 (Blake, 1980). Al paso de los años, otros servicios de indexación han surgido, entre ellos MedLine, PubMed, Science Citation Index (SCI), (Journal Citation Reports (JRC), Social Science Citation Index (SSCI), Arts and Humanities Citation Index (AHCI), PsychNet, Google Scholar, SCOPUS. Otros servicios indexados, pero con menos influencia en relacion a los anteriores son el Director of Research Journals Indexing (DRJI), International Scientific Indexing (ISI), y Emerging Sources Citation Index.
¿Es una revista indexada evidencia de la “alta calidad” or “reputación” de esa revista? La respuesta a esta pregunta está relacionada con la definición de “indexado” en este contexto. Cuando decimos que una revista es “indexada” esto indica que esa revista está disponible (mediante una suscripción) para todas las personas y universidades que utilizan el servicio indexado particular. En este contexto, la revista es “visible” para las personas (si la suscripción es personal) y universidades (si la suscripción es institucional) que están buscando informacion en relacion a un área determinada. Por ejemplo, si el área es medicina, psicología, o sociología, podemos ir a un servicio de revistas indexadas y buscar todas las revistas que tratan con esas áreas, y entonces buscar el tema de interés en los articulos publicados en revistas que tratan con esas áreas. Pero esto no significa que la revista en cuestión is the “alta calidad” or de “mucha reputación”. Esto es, una revista “indexada” solamente implica que uno puede “ver” y revisar el contenido de esa revista en un servicio indexado (e.g., MedLine, Science Citation Index, Emerging Sources Citation Index, Google Scholar, etc.).
¿Cómo Asegurar la Revista Será Indexada?
Si usted es el editor de una revista científica o académica de circulación nacional o internacional y quiere estar seguro que su revista será indexada, las siguientes alternativas están disponibles. Primero, evite servicios indexados que requiere un número muy alto en los criterios de selección (ej., el MedLine require cumplir con 30 criterios) y seleccione servicios con criterios más reducidos. Por ejemplo, en el caso del Emerging Sources Citation Index el editor solamente tiene que cumplir con cinco criterios de selección para indexar la revista en este servicio (algunos ya incluidos en el MedLine; ej., tener el ISSN). El SCOPUS Index también requiere que la revista cumpla con un mínimo de 5 criterios de selección para ser indexada. Segundo, seleccione un servicio indexado en el cual el criterio primario de selección es que la revista pague por ese servicio. Por ejemplo la Internacional Scientific Indexing (ISI) requiere $30 (en dólares) para incluir la revista en ese Index; y si el editor también quiere que el ISI calcule el “impact factor” (factor de impacto) de la revista el editor tiene que pagar $100 (dólares) extra para este servicio. [El factor de impacto es una medida de la frecuencia de citación de la revista o un artículo en otras fuentes de publicacion]. Entonces, si usted quiere estar seguro que la revista será indexada lo prudente es seleccionar un servicio con un número mínimo de criterios de selección o pagar por ese servicio. El lector puede revidar esa informacion en http://isindexing.com/isi/evaluation.php (ISI), en la página del MedLine https://www.nlm.nih.gov/pubs/factsheets/jsel.html y en la página de SCOPUS https://www.asianeditor.org/event/2015/workshop7/4.How%20to%20add%20Journal.pdf.
El Juicio de Pares” (Peer-reviewed) No Garantizar la Calidad de una Revista Indexada
Otra falsa creencia en este contexto es asumir que las revistas indexadas son de “alta calidad” o de mucha “reputación” debido a que un criterio de selección en la mayoría de servicios indexados es que los articulos sean revisados en un sistema de juicio de pares (peer review; Novelle, 2008; Smith, 2006). En este sistema, el editor envía el articulo a por lo menos tres expertos en el área del articulo con la meta de aconsejar al editor sobre la decisión de aceptar or rechazar el artículo.
Sin embargo, el sistema de juicio de pares tampoco garantiza la “calidad” or “reputación” de la revista. Este sistema es generalmente efectivo cuando el artículo es revisado de manera muy detallada o exhaustiva y con enfasis en la introducción que justicia porque ese artículo es importante, la metodología y procedimientos, análisis estadísticos, relacion entre los resultados del artículo, importancia de las referencias citadas, y escribir un análisis muy detallado con enfasis en las deficiencias del articulo y áreas que necesitan más detalles. Pero este tipo de revisión en el proceso de juicio de pares es muy rara (Novella, 2008; Smith, 2006) pues el mismo requiere de mucho tiempo (horas, semanas, o meses) revisando el articulo y la mayoría de los revisores no tienen ese tiempo disponible debido a sus responsabilidades académicas (ej., la investigacion, producción de articulos y libros, dando clases a nivel de la maestria o el doctorado, presentación en conferencias nacionales e internacionales, coordinador de áreas académica, etc.). Debido a esta realidad en el proceso de juicio de pares, lo más común es una revisión cursoria o superficial del artículo sin enfatizar detalles que podrían demostrar fallos esenciales en el artículo (ej., uso erróneo del análisis estadístico, resultados no apoyado por el diseño experimental, etc.). En este caso, el revisor del artículo que enfatiza el proceso cursorio o superficial en juicio de pares envía una nota al editor diciendo que “el articulo me parce bien” (Smith, 2006, p. 2) y entonces recomienda la aceptación del mismo. Debido a que el editor generalmente selecciona revisores que son “expertos” en el área del artículo y con una “reputación” nacional e internacional, el editor generalmente acepta la decisión cursoria o superficial del revisor.
Otra alternativa ofrecida en el proceso editorial de la revista es sugerirle al revisor tomar una decisión de aceptar or rechazar el artículo marcando (√) en un formulario varias áreas con una escala de 1-5 (5 = lo mejor; ej., el artículo es apropiado para la revista, es significativo, el diseño experimental y análisis estadísticos son apropiados, etc.). El revisor sencillamente marca esas áreas y si el puntaje es de 4 a 5 el revisor generalmente acepta el artículo sin tener que escribir un resumen detallados para justificar esa aceptación. Lo mismo ocurre si el revisor rechaza el artículo en base solamente a esas áreas marcadas en esa escala.
Soy miembro del sistema de juicio de pares en varias revistas indexadas en los Estados Unidos y puedo testificar que el enfasis en la revisión cursoria o superficial o pedirle al revisor que marque esas áreas en ese formulario son más comunes que el caso de escribir un resumen muy detallados sobre ese artículo. Yo siempre envio al editor un resumen detallados de mis revisiones, pero no me sorprendo cuando el editor me envía la justificación de otros revisores en términos de aceptar o rechazar el artículo, pero en la cual ellos evidentemente utilizaron el proceso cursorio o superficial en la revisión del articulo o decidieron solamente marcar esas áreas en ese formulario. Esta situación generalmente termina en inconsistencias entre los revisores y confusión en el autor del artículo. Por ejemplo, Smith (2006) cita el caso en el cual el Revisor A envía una nota al editor diciendo “encuentro este artículo extremadamente desorganizado y con un número muy elevado de deficiencias” y rechaza el artículo. El Revisor B, sin embargo, también envía una nota al mismo editor diciendo que el artículo “ha sido escrito de manera muy clara y será entendido por el lector” y acepta el artículo. Estas son, por supuesto, observaciones contradictorias en relacion al mismo artículo entre los revisores (Solomon, 2007), lo que confunde al autor del artículo cuando el editor le envía las razones por las cuales el artículo fue rechazado (si el editor sigue la recomendación del Revisor A, en ese ejemplo). Por esta razón, Smith (2006) considera que el proceso de juicio de pares es como una lotería en el sentido de que los artículo son aceptado o rechazado dependiendo de quién es el revisor. Si el revisor enfatiza la revisión cursoria o artificial, más probabilidad habrá de que el articulo será aceptado; si el revisor enfatiza una evaluacion exhaustiva y con enfasis en detalles muy específicos, más cerca está el artículo de ser rechazado, or aceptado con revisiones mayores el autor tiene que responder y luego enviar el mismo artículo al editor para una segunda revisión. En una revisión exhaustiva no es raro múltiple revisiones, lo que estimula al autor enviar el artículo a otra revista que enfatiza la revisión cursoria or artificial para evitar pasar meses y a veces años revisando el mismo artículo.
La Evaluación Empírica de las Deficiencias de “Juicios de Pares” en Revistas Indexadas
Las deficiencias del proceso de juicio de pares ha sido empíricamente validada or confirmada. Por ejemplo, el editor y sus editores asociados (Godlee, Gale, &, Martyn, 1998) en el British Medical Journal (BMJ), la cual es una revista indexada de mucha reputación en medicina, y con enfasis en juicios de pares (peer-reviewed), aceptaron un artículo para publicacion en el BMJ. Con el permiso de los autores del artículo ya aceptado en BMJ, Godlee et al. alteraron el artículo incluyendo 8 errores muy graves y lo enviaron de nuevo a 420 revisores. En general, de un total de 221 (52.7%) revisores que aceptaron revisar el artículo (sin saber sobre esos errores introducidos por Godlee et al.) 73 revisores aceptaron el artículo con mínimas revisiones, 27 revisores recomendaron publicar el artículo pero con revisiones mayores, y 66 aconsejaron al editor rechazar el artículo. Debido a los errores significativos en ese artículo, se esperada que todos los revisores debían rechazar el articulo sin recomendar revisiones pero solamente 66 revisores recomendaron rechazar el artículo, y otros revisores aceptaron el articulo con algunas revisiones.
En otra investigacion similar (Baxt, Waeckerle, Berlin, & Callahm, 1998; Solomon, 2007) los autores inventaron (esto es, no real) un artículo con 10 errores mayores y 13 errores menores. El artículo fue enviado para revisión a todos los revisores (n = 262) del Annals of Emergency Medicine la cual también es una revista indexada de mucha reputación en medicina. Un total de 199 (98%) revisores enviaron sus comentarios al editor con los siguientes resultados: 15 recomendaron aceptar el artículo, 117 rechazaron el artículo, y 67 optaron por revisión. Además, 68% de los revisores no reportaron que las conclusiones del artículo no estaban apoyadas por los resultados. En este ejemplo, si el editor decide aceptar el artículo en base al juicio de pares (peer-review) entre los 15 revisores recomendando el artículo para publicacion, el editor entonces publicará un artículo con errores metodológicos y estadísticos muy significativos.
Debido a esos resultados en la investigacion del proceso de juicio de pares en revistas indexadas, tres observaciones han sido ofrecidas (Baxt et al., 1998; Godlee et al., 1998).). Primero, ese proceso no es necesariamente efectivo en la identificación de errores metodológicos graves en articulos sometidos a revistas indexadas (que tradicionalmente siguen ese proceso). Segundo, ese proceso está basado en la fé de sus efectos en el sentido de que si el enfasis es en juicio de pares, entonces ese proceso es efectivo en la selección de articulos. Tercero, tenemos pocas evidencias de que ese proceso es realmente efectivo en la exclusión de articulos que no debería ser publicado en revistas indexadas debido a graves errores metodológicos y estadísticos.
Mayores Defectos en el Proceso de Juicio de Pares en Revistas Indexadas
Smith (2006) identificó los mayores defectos en el proceso de juicio de pares, entre ellos (1) el problema de la inconsistencia entre los revisores; (2) prejuicios en los revisores que se oponen a publicar articulos con resultados negativos (esto es, la hipótesis nula no es rechazada) o rechazan evaluar articulos que no formulan hipóteses (pues esos revisores creen, erróneamente, que una ciencia no puede avanzar sin la formulación de hipóteses); (3) favoritismo en la aceptación del articulo (ej., si el artículo es sometido por un autor de mucho prestigio y de una universidad también de mucho prestigio, el articulo debe ser aceptado); y (4) el abuso en el proceso de juicio de pares (ver a Smith, 2006). En este tipo de abuso en el proceso el proceso de juicio de pares (peer review) el revisor del articulo envía al editor una revisión extremadamente negativa y sin sentido (excepto en la cabeza del revisor) con el fin de evitar que el artículo no sea publicado debido a que ese revisor esta también planeando enviar un artículo con el mismo tema a otra revista indexada. En este caso, la meta del revisor es buscar una manera de convencer al editor que no publique el articulo o que extienda el proceso de revisión del artículo por meses (y a veces años) para asi evitar una competencia entre ese artículo y el artículo que ese revisor esta también planeando enviar para publicación.
En el caso de rechazar el articulo porque este no formula hipótesis (ver a Ferguson, 2015), un ejemplo es mi artículo en Military Psychology (Paniagua, Black, & Gallaway, 2016). En ese artículo yo no formulé hipóteses y fue rechazado por un revisor precisamente por la ausencia de hipóteses. Convencí al editor que ese revisor estaba errado por tres razones: (1) el artículo es un sumario de la instrumentación en la evaluacion de problemas cognitivos y conductuales en el contexto militar y no un artículo en la evaluacion de la hipótesis nula en contra de la hipótesis experimental; (2) sometí ejemplos de articulos publicados en otras revistas científicas con enfasis en el mismo tema pero sin la formulación de hipóteses; (3) demostré que Military Psychology ya había publicado varios articulos sin hipóteses y relacionados con el tema de mi artículo, y (4) cité el estadístico de más influencia en nuestro tiempo, Jacob Cohen, el cual escribió que la formulación de hipóteses “no solamente ha fracasado en apoyar el avance de la psicología como una ciencia [y otras ciencias] pero también ha seriamente impedido ese avance” (Cohen, 1994, p. 997). En este contexto también es importante señalar que la hipótesis nula siempre is rechazada, si uno sabes sobre los “engaños” estadísticos para rechazar esta hipótesis (ej., es más fácil rechazar esa hipótesis con un valor the p = 0.05 en lugar de 0.01). Es también más difícil rechazar esa hipótesis cuando las dos “colas” de la curva normal son consideradas en las tablas estadísticas (ej., la tabla para el t-test). Es por esos “engaños” estadísticos que Cohen (1990) concluyó que la “hipótesis nula es siempre falsa” (p. 1308). Por tanto, si esa hipótesis es siempre falsa, la pregunta es ¿Por qué usted necesita esa hipótesis si usted sabe que la rechazará con esos engaños estadísticos? A pesar de la observación de Cohen (1990), la mayoría de las revistas indexadas requieren la formulación de hipótesis en la evaluacion del artículo, lo que “fuerza” al autor del artículo a formular la hipótesis nula cuando el autor estar seguro que rechazará ese hipótesis con engaños estadísticos (Ferguson, 2015; Paniagua, en prensa).
Otros defectos en el proceso de juicio de pares (peer-review) son formulados por Rahman (2003), incluyendo que este proceso no es una validación de los resultados y tampoco enfatiza la veracidad o la potencial replicación del artículo. Rhaman (2003) también observa que la validez de los resultados del articulo sometido a publicacion no ocurre during ese proceso, pero después de meses o años de la publicacion del artículo cuando otros investigadores replican la metodología del artículo, lo que es un evento muy raro pues solamente el 1% de articulos publicados en revistas científicas son replicados (ver a Kline, 2013. p. 269) debido al hecho de que la mayoría de editores de esas revistas no publican replicaciones de articulos ya publicados (Nix & Barnette, 1998).
Para responder a prejuicios y abusos en los revisores es importante tener paciencia, pues esto generalmente require de varios meses y a veces años tratando de convencer al editor que algunos revisores están prejuiciados en contra del articulo o que no tienen experiencia cientifica en el área del artículo. Pero si usted no quiere perder el tiempo “peleando” con los revisores de su artículo o no puede convencer al editor que esos revisores están prejuiciados en contra del artículo sin razones metodológicas justificables, entonces envía su artículo a otras de las miles de revistas indexadas en su profesión, y de seguro que encontrara una revista indexada en la cual su articulos será aceptado. Pero es importante recordar que el término “indexado” no significa que la revista que decidió publicar su artículo es de “mucha calidad”, por razones discutidas anteriormente.
Conclusión
Este comentario demuestra que, el hecho de que una revista es indexada, esto no necesariamente significa que esa revista es de mucha “calidad” o “reputación” en un área determinada. La razón de esta observación es que existen múltiples procesos para indexar una revista, y la meta del editor de la revista es buscar el proceso de revistas indexadas que garantiza que la revista será indexada incluyendo, por ejemplo, pagar para indexar la revista. Este comentario también demuestra que el uso del proceso de juicios de pares en la mayoría de las revistas indexadas durante la revisión de articulos y la eventual decisión del editor (ej., aceptarlo con revisiones mayores), no es un proceso generalmente válido, no es confiable, con bastante inconsistencia entre los revisores, y con abusos por algunos revisores. En este sentido, Smith (2006) concluye que “tenemos muy poca evidencia de la efectividad del [proceso de juicio de pares], pero tenemos evidencia considerable en sus defectos” (p. 3). Entonces, justificar la “calidad” o la “reputación” de una revista indexada en base al proceso de juicio de pares es tan problemático como asi también justificar la relevancia de la revista en términos de que la misma es indexada. Lo más importante no es que el artículo es publicado en una revista indexada con énfasis en juicio de pares (peer-reviewed), pero que otros investigadores consideran que ese artículo contribuye al avance científico de la profesión del autor (ej., física, medicina, psicología, sociología, etc.) y que, aunque es un evento muy raro en el proceso editorial, es posible replicar la metodología del articulo para verificar sus resultados (Fisher, 1971).
Bibliografia
Baxt, W. G., Waeckerle, J. F., Berlin, J. A., & Callahm, M. L. (1998). Who reviews the reviewers? Feasibility of using fictitious manuscript to evaluate peer reviewer performance. Annals of Emergency Medicine, 32, 310-317. [doi: 10.1016/S0196- 0644(98)70006-X].
Blake, J. B. (1980). Centenary of Index Medicus, 1879-1979. Bethesda, Md.: U.S. Dept. of Health and Human Services, Public Health Service, National Institutes of Health, Library of Medicine. (NIH publication; no. 80-2068).
Cohen, J. (1990). Things I have learned (so far). American Psychologist, 45, 1304-1312.
Cohen, J. (1994). The earth is round (p < .05). American Psychologists, 49, 997-1003.
Ferguson, C. J. (2015). “Everybody knows psychology is not a real science”: Public perceptions of psychology and how we can improve our relationship with policymakers, the scientific community and the general public. American Psychologist, 70, 527-542. http/dex.doi.org/10.1037/a0039405
Fisher, R. A. (1971). The design of experiments. (8th ed.). New York: Hafner Publishing.
Godlee F, Gale C.R., &, Martyn, C. N. (1998). Effect on the quality of peer review of blinding reviewers and asking them to sign their reports: a randomized controlled trial. JAMA. 280(3), 237-240. doi:10.1001/jama.280.3.237
Kline, R. B. (2013). Beyond significance testing: Statistics reform in the behavioral sciences. Washington, DC: American Psychological Association.
Melo, W. (2017, segunda quincena de julio). Artículos en revistas indexados afianza rol investigativo en la UASD. El Universitario. Universidad Autónoma de Santo Domingo. https://issuu.com/eluniversitariouasd/docs/el_universitario_- _segunda_quincena_515797fdccb8ec
Nix, T. W., & Barnette, J. J. (1998). The data analysis dilemma: Ban or abandon: A review of null hypothesis significance testing. Research in the Schools, 5(2), 3-14.
Novella, S. (2008). The importance and limitations of peer-review. Science-Base Medicine. https://sciencebasedmedicine.org/the-importance-and-limitations-of-peer-review/
Paniagua, F. A. (En prensa). The Null hypothesis is always rejected with statistical Tricks: Why do you need it? Interamerican Journal of Psychology.
Paniagua, F. A., Black, S. A., & Gallaway, M. S. (2016). Psychometrics of behavioral health screening scales in military contexts. Military Psychology, 28 (6), 448-467
Rahman, J. (2003). The scientific peer review process and its limitations. The Next Generation.
Salomon, D. J. (2007). The role of peer review for scholarly journals in the information age. The Journal of Electronic Publishing, 10 (1). [DOI: http://dx.doi.org/10.3998/3336451.0010.107]
Smith, R. (2006). Peer review: A flaw process at the heart of science journals. Journal of the Royal Society of Medicine, 99(4), 178–182.doi: 10.1258/jrsm.99.4.178
