redalyc.org
Red de Revistas Científicas de América Latina y el Caribe, España y Portugal
Scientific Information System
Español
Metodología de evaluación de revistas Redalyc

Metodología de evaluación de revistas Redalyc

 

I. Recuento histórico de los procesos de evaluación de revistas
Desde su surgimiento, uno de los principales objetivos de redalyc.org ha sido desarrollar mecanismos que contribuyan a fortalecer la producción académica generada en y sobre Iberoamérica. Los criterios de inclusión de revistas al acervo redalyc.org han cambiado con el tiempo en función del desarrollo del sistema, y de la dinámica propia de las revistas científicas iberoamericanas.

  • Primera época: 2003-2005. El principal reto al que se enfrentaba la producción científica de Iberoamérica se relacionaba fundamentalmente con la falta de difusión, debido a dos aspectos: a) no cumplían con los requisitos para formar parte de las bases de datos de contenido científico y, b) su distribución se restringía a los ámbitos locales y no alcanzaban una consolidación internacional. Por ello, se decidió integrar el acervo redalyc.org con aquellas publicaciones que cumplieran, al menos, con los parámetros de evaluación establecidos por el Catálogo Latindex (véase www.unam.latindex.mx). De esta forma, entre 2003 y 2005 se logró integrar alrededor de 200 revistas al acervo, las cuales se vieron beneficiadas de las ventajas de visibilidad ofrecidas por una hemeroteca electrónica especializada y de cobertura internacional. Es necesario puntualizar que si bien los criterios adoptados en esa primera etapa fueron los del Catálogo Latindex, la evaluación de las revistas era realizada por Redalyc.
  • Segunda época: 2005-2007. Una vez que fue posible integrar una base de datos relativamente sólida, se advirtió la necesidad de establecer criterios de inclusión que permitieran conformar un acervo exclusivamente académico. En razón de ello, si bien se continuaron considerando los elementos de evaluación del Catálogo Latindex, se restringió el acceso solamente a aquellas revistas que cumplieran con los dos parámetros fundamentales de toda publicación científica: integrar prioritariamente resultados originales de investigación y recurrir a algún mecanismo de dictamen académico (peer review). Con esta forma de trabajo, se logró conformar una base de datos de contenido científico con más de 500 revistas editadas en y sobre Iberoamérica.
  • Tercera época: 2008- a la fecha. Una vez que ha sido posible advertir signos de franca mejoría en la calidad de las revistas académicas de la región, y que se ha colaborado en la profesionalización del trabajo de los editores, a partir de abril del 2008 redalyc.org inició una nueva etapa de trabajo con base en la definición de nuevos criterios, políticas y procedimientos para la admisión, clasificación y permanencia de las revistas científicas del acervo. Se integró el Comité Científico Asesor de Redalyc¹ y los lineamientos de la política editorial se han afianzado, lo cual sentó las bases para la definición de criterios propios para la evaluación de revistas científicas: Metodología Redalyc, que a continuación se presenta:

II. Criterios de evaluación de revistas
La metodología vigente se conforma en total por 60 criterios organizados en tres módulos. Los dos primeros agrupan 39 criterios con una valoración cuantitativa, y el tercero contempla 21 criterios ponderados cualitativamente:

 

Modulo
Criterios
Puntaje
A.
12 Básicos de admisión
30.7 %
B.
27 Generales de calidad editorial
69.3 %
C.
21 Gestión editorial
Valor cualitativo

 

Para que una revista sea incluida en el acervo Redalyc deberá cumplir, al menos, 82% de los 39 criterios establecidos en los módulos A y B. Tomando en consideración que los 12 criterios del módulo A son obligatorios:

 

Composición de la calificación

 

 

Posterior a ello se realiza una evaluación cualitativa con base en los 21 criterios de gestión editorial definidos en el módulo C. A partir de una valoración de todos los rubros anteriores se toma la decisión de proponer revistas para su inclusión en Redalyc.

 

Módulo A. Criterios básicos de admisión

 

Doce criterios que de forma obligatoria deben ser cubiertos por todas y cada una de las revistas interesadas en ser incluidas en el acervo Redalyc. Si una revista no acredita satisfactoriamente estos criterios, el proceso de evaluación se suspende en esta etapa y la revista se considera postergada para su posterior evaluación cuando mejore sus procesos editoriales, para lo cual deberá iniciar nuevamente su postulación desde la primera etapa.

Antigüedad
  1. Las revistas con periodicidad menor a la semestral o las electrónicas con periodicidad continua deben presentar los fascículos editados durante todo el año inmediato anterior a la fecha de su postulación.
  2. Las revistas con periodicidad semestral, anual o bianual deben presentar, al menos, los tres fascículos más recientemente editados. En ambos casos se consideran números editados con periodicidad regular y sin retraso.

    Las periodicidades mayores a semestral no son recomendables debido a la dinámica necesaria para la comunicación científica con actualidad y serán consideradas como un aspecto a mejorar en cualquier revista.

 

 

Criterio básico 1
 
Contenido científico  
Al menos 80% de las colaboraciones publicadas en cada fascículo deben ser resultados originales producto de investigaciones científicas, así como otras contribuciones originales significativas para el área específica de la revista.

Se recomienda, según cada área disciplinar, una publicación mínima anual de artículos que se indica en el siguiente cuadro.

Ciencias agrarias21Artículos
Ciencias biológicas32Artículos
Ingenierías20Artículos
Ciencias exactas y de la tierra19Artículos
Humanidades16Artículos
Lengua, literatura y artes16Artículos
Ciencias de la salud32Artículos
Ciencias sociales17Artículos
Criterio básico 2
Revisión por pares

La revista deberá practicar un proceso de revisión, dictamen o arbitraje de los artículos postulados para publicación. Para evaluar este segmento se recomienda remitir el formato de dictamen usado por la revista. El equipo de Redalyc verificará que en algún apartado de la revista –de preferencia en las instrucciones para autores– se mencionen explícitamente los tres aspectos siguientes:

   

a. Que todo original será sometido al proceso de dictamen por pares académicos (especialistas), preferentemente bajo la modalidad doble ciego (peer review double blind).

Criterio básico 3

b. Que el proceso de dictamen exija anonimato, al menos, por parte de los dictaminadores.

Criterio básico 4

c. La descripción detallada el proceso de dictamen (fases del proceso, posibles resultados, cómo se dirimen casos de controversia, etcétera).

Criterio básico 5 Exigencia de originalidad

En algún apartado de la revista, de preferencia en las instrucciones para autores, debe exigirse explícitamente lo siguiente: (se recomienda remitir el formato de la carta de exigencia de originalidad que se le da a firmar a los autores).

   

a. Que todo artículo postulado para publicación debe ser original o inédito, y

Criterio básico 6

b. No estar postulado para publicación simultáneamente en otras revistas u órganos editoriales.

Criterio básico 7 Cumplimiento de la periodicidad

Los fascículos postulados deben ser editados puntualmente de acuerdo con la periodicidad expresada por la revista. Para ello se analizarán los fascículos más recientemente editados. Los números dobles son considerados de facto como edición con retraso. Para que sea considerada para su evaluación debe estar actualizada. Y debe contar con una página electrónica, bajo el criterio de que Redalyc no busca sustituir la presencia de la revista en la web, sino recomendar las mejores prácticas de visibilidad e interoperabilidad tecnológica la revista.

Lo anterior, acorde con los tiempos que vive la comunicación científica, donde el impreso pierde peso por sus limitantes de costo y alcance.


Los volúmenes impresos son referenciales para verificar la concordancia entre edición impresa y electrónica. La verificación de los elementos a evaluar se hará sobre electrónico.

  Criterio básico 8 Datos básicos de identificación de la revista en su portada y página de presentación:

a. Título completo

Criterio básico 9

b. ISSN impreso y/o electrónico (según el soporte de la revista)

Criterio básico 10

c. Volumen y número

Criterio básico 11

d. Periodo que cubre la edición indicando mes(es) y año(s)

Criterio básico 12

 

Módulo B. Criterios generales de calidad editorial

 

Si la revista acredita satisfactoriamente todos los criterios del módulo A, se procede a analizar los veintisiete criterios vinculados con la calidad de los procesos editoriales:

 

Generalidades de la revista  

a. Existencia de un consejo editorial indicando el nombre completo de cada miembro

Criterio 13

b. Indicar clara y explícitamente el objetivo de la revista

Criterio 14

c. Indicar explícitamente la cobertura temática de la revista

Criterio 15

d. Indicar explícitamente la periodicidad de la revista

Criterio 16

e. Indicar detalladamente las normas de elaboración de las referencias bibliográficas y la norma de citación a la que se recurre

Criterio 17

f. Indicar si la revista está incluida en:

  • Directorios
  • Bases de datos e
  • Indizaciones
Criterio 18

g. Mención explícita de las condiciones bajo las que la revista o institución editora se reserva los derechos de autor o difusión de los contenidos; en su caso, remitir los formatos que firman los autores para ceder los derechos de la distribución y reproducción de los materiales. La incorporación de licencias Creative Commons es recomendable para cubrir este requisito.

Criterio 19
   
Datos de la institución editora en hoja de presentación

a. Indicar el nombre completo de la institución u organismo editor (sin abreviaturas)

Criterio 20

b. Ciudad y país de edición (sin abreviaturas)

Criterio 21

c. Dirección postal

Criterio 22

d. Correo electrónico

Criterio 23

e. Teléfono y/o fax

Criterio 24
Tabla de contenido

a. Título completo en el idioma original de cada uno de los artículos

Criterio 25

b. Traducción al inglés del título de cada artículo

Criterio 26

c. Nombre(s) completo(s) de todos y cada uno de los autor(es) de cada artículo (de preferencia sin abreviaturas y con apellidos unidos por un guión)

Criterio 27

d. Página de inicio del artículo (salvo revistas exclusivamente electrónicas que pueden o no indicarlo, o bien mencionar el DOI)

Criterio 28

Identificación de los autores en todos y cada uno de los artículos

Para efectos de evaluación no se considerará la información incluida en la sección generalmente denominada "Nuestros Autores".

 

a. Nombre(s) completo(s) de autor(es)

Criterio 29

b. Indicar la institución de adscripción de cada autor, no se considera válido el uso exclusivo de siglas

Criterio 30

c. Indicar el país de la institución de adscripción de cada autor (no se consideran válidas las abreviaturas)

Criterio 31

d. Correo electrónico de al menos uno de los autores de cada artículo

Criterio 32
Identificación del contenido de todos y cada uno de los artículos

Para efectos de evaluación no se considerará la información incluida en la sección generalmente llamada "resúmenes y/o abstracts".

 

a. Resumen de cada artículo en el idioma original del trabajo

Criterio 33

b. Resumen en inglés (abstract) de cada artículo

Criterio 34

c. Palabras clave del artículo en el idioma original del trabajo

Criterio 35

d. Palabras clave en inglés (key words) de cada artículo

Criterio 36

e. Identificación del artículo mediante membrete bibliográfico en página inicial, que incluya necesariamente:

    • Nombre de la revista o ISSN
    • Volumen y número; y preferentemente también especifique
    • Periodo que cubre la edición indicando mes(es) y año(s), y
    • Páginas que abarca el artículo
Criterio 37

f. Indicar la fecha de recepción de cada artículo publicado.

Criterio 38

g. Indicar la fecha de aceptación/publicación de cada artículo.

Criterio 39

 

Módulo C. Gestión editorial

 

Posterior a ello, se analizan 21 criterios cualitativos con la finalidad de identificar prácticas editoriales de las revistas. Su cumplimiento es fundamental para la consolidación de todo órgano científico de difusión.



Administración de procesos editoriales  
  1. Mención del directorio completo de la revista (director, editor, editores adjuntos, corrector, traductor, diseñador, desarrollador de sistemas etcétera).
Criterio 40
  1. Indicar la afiliación institucional de los miembros del consejo editorial, indicado el país (es indispensable no utilizar siglas)
Criterio 41
  1. Indicar explícitamente el público al que se dirige la revista
Criterios 42
  1. Incluir las instrucciones a los autores en inglés
Criterios 43
  1. Identificar cada artículo mediante membrete bibliográfico en páginas interiores donde se incluya:
    • Nombre de la revista o ISSN (indispensable)
    • Volumen y número (indispensable)
    • Periodo que cubre la edición indicando meses y años (deseable)
    • Nombre(s) de los autor(es)
Criterios 44
  1. Verificar que las referencias bibliográficas sean acordes con lo indicado en las instrucciones a los autores.
Criterios 45
Consolidación como órgano de comunicación científica  
  1. Homogeneidad de los fascículos en cuanto a número de artículos publicados.
Criterios 46
  1. Presencia constante de secciones fijas en la revista.
Criterios 47
  1. Mención explícita de la participación de evaluadores externos en el proceso de dictamen.
Criterios 48
  1. Al menos 75% de los integrantes del consejo editorial deben ser ajenos a la entidad editora.
Criterios 49
  1. Al menos 75% de los autores de cada fascículo deben estar adscritos a instituciones externas a la entidad editora, o a los órganos directivos de la propia revista.
Criterios 50
  1. Se pondrá especial atención en los casos donde el editor –o algún otro miembro del consejo editorial– publique con frecuencia en la revista que gestionan (por cuanto vulnera el principio de anonimato del proceso de arbitraje).
Criterio 51
  1. Se pondrá especial atención en los casos donde un mismo autor publique más de un artículo por fascículo, o constantemente en números consecutivos.
Criterio 52
  1. Se pondrá especial atención en los casos de fascículos publicados sin contenido científico o documentos republicados.
Criterio 53
  1. Se valora positivamente cuando la revista se suscribe a algún código de ética y buenas prácticas editoriales científicas.
Criterio 54
  1. Califica positivamente si las indizaciones declaradas por la revista se encuentran vigentes y ello es constatado al momento de la evaluación
Criterio 55
Gestión de revistas electrónicas  
  1. En el caso de revistas electrónicas califica positivamente si manejan más de un formato en el despliegue de los artículos publicados: pdf, html, xml.
Criterio 56
  1. Cuando se trata de una revista electrónica que tiene a su vez una versión impresa, se valora positivamente que ambos soportes sean homogenénos.
Criterio 57
  1. Utilización de gestores electrónicos:
    • Gestor que utiliza y versión
    • Lo utiliza sólo como plataforma de publicación electrónica
    • Lo utiliza como herramienta de gestión del proceso de dictamen
Criterio 58
  1. Califica positivamente si la revista cuenta con protocolos de interoperabilidad (OAI-PMH: Open Archives Initiatives – Protocol for Metadata Harvestig)
Criterio 59
  1. Se valora positivamente cuando la página electrónica de la revista cuenta con adecuada navegabilidad, usabilidad y está constantemente actualizada.
Criterio 60

¹ El Comité Científico Asesor de Redalyc está integrado por académicos de reconocido prestigio internacional, expertos en diversos campos del conocimiento –tanto en el ámbito de las ciencias naturales y exactas, como en las sociales y humanidades– y con amplia experiencia editorial. Este cuerpo colegiado tiene la función de respaldar los lineamientos de evaluación a los que serán sujetas las revistas y otorgar su aval académico en la incorporación o rechazo de alguna publicación al acervo Redalyc.

uaem-pie
Universidad Autónoma del Estado de México
Sistema de información Científica Redalyc
Versión 2.2 beta | 2015
redalyc@redalyc.org
Pie piepag
Normal version |Basic version