ACTIVIDAD FORMATIVA 1. Doctorado Territorio y Sociedad. ULPGC-ULL

Material preparado por: Francisco Díez de Velasco. Universidad de La Laguna
 



 

La calidad de una publicación en áreas bibliométricas y no bibliométricas y su evaluación y los criterios de la CNEAI

La calidad de una publicación en áreas bibliométricas y no bibliométricas. Especificidades de las áreas no bibliométricas y criterios de justificación de la elección de donde publicar. La evaluación de la investigación y los criterios de evaluación en la CNEAI. La actitud ante la evaluación. Los criterios de objetividad a la hora de justificar la calidad y el impacto de la investigación: coherencia, relevancia, impacto.
 


I) Finalidad de la actividad

En relación con la competencia básica o general 13 de nuestro doctorado
    -enlace general: http://www.docteso.es/competencias.html
    -enlace a la memoria del doctorado (p.16): http://www.ull.es/Private/folder/masters/doctricontinetal/MemoriaTerritorioSociedad.pdf
(otro enlace)

CB13: Capacidad de realizar una contribución científica, a través de una investigación original, que amplíe las fronteras del conocimiento en este campo, y que merezca la publicación referenciada a nivel nacional o internacional

Conectado con:  1) Presentación de un aspecto teórico y/o metodológico derivado de la tesis en un contexto público (Congreso, Seminario, Workshop) especializado en una o varias de las líneas de investigación del doctorado
                           2) Seminarios de investigación
                           3) Movilidad


II) Especificidades de las áreas bibliométricas y no bibliométricas y criterios de justificación de la elección de donde publicar
 

Diferencias notables en el trabajo de evaluación, es mucho más complicado y opinable en las áreas no bibliométricas. Requiere tener en cuenta muchas más variables a la hora de justificar que una publicación resulta adecuada para nuestro trabajo. Se trata de un elemento importante, por ejemplo, a la hora de plantearse una tesis por compendio de investigación, pero en general para planificar nuestra difusión de la investigación.
 

Se trata de buscar revistas y lugares de calidad e impacto donde publicar, ¿hay algún estándar?: sí.
 

Seguiremos los criterios de uno de los organismos de evaluación clave a la hora de determinar la calidad en la investigación científica en España que es la CNEAI (Comisión Nacional Evaluadora de la Actividad Investigadora)
Web de la CNEAI (http://www.mecd.gob.es/ministerio-mecd/organizacion/organismos/cneai.html) (12)



 
 
 
 

CRITERIOS ESPECÍFICOS CNEAI de 2016: APENDICE I (https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11189):

Criterios que debe reunir un medio de difusión de la investigación (revista, libro, actas de congreso) para que lo publicado en él sea reconocido como «de impacto»

A. Criterios que hacen referencia a la calidad informativa de la revista como medio de comunicación científica:
1. Identificación de los miembros de los comités editoriales y científicos.
2. Instrucciones detalladas a los autores.
3. Información sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial o comité de selección, incluyendo, por ejemplo, los criterios, procedimiento e informe para la aceptación de los originales a cargo de revisores o jueces preferentemente externos. Se pueden tomar como referencia los indicadores recogidos en Scholarly Publishers Indicators (SPI).
4. Traducción del sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas y actas de congresos.

B. Criterios sobre la calidad del proceso editorial:
1. Periodicidad de las revistas y regularidad y homogeneidad de la línea editorial en caso de editoriales de libros.
2. Anonimato en la revisión de los manuscritos, especialmente en sistema de doble ciego
3. Comunicación motivada de la decisión editorial, por ejemplo, empleo por la revista, la editorial o el comité de selección de una notificación argumentada de la decisión editorial que incluya las razones para la aceptación, revisión o rechazo del manuscrito, así como los dictámenes emitidos por los expertos externos.
4. Existencia de un consejo asesor, formado por profesionales e investigadores de reconocida solvencia, sin vinculación institucional con la revista o editorial, y orientado a marcar la política editorial y someterla a evaluación y auditoría, así como con suficiente representatividad académica y movilidad en su composición.

C. Criterios sobre la calidad científica de las revistas.
1. Porcentaje de artículos de investigación; más del 75% de los artículos deberán ser trabajos que comuniquen resultados de investigación originales.
2. Autoría: grado de endogamia editorial, más del 75% de los autores serán externos al comité editorial y virtualmente ajenos a la organización editorial de la revista.

Asimismo, se tendrá especialmente en cuenta la indexación de las revistas en las bases de datos internacionales más acreditadas que las categoricen por índice de impacto y difusión.

DE TRATA DE LINEAS GENERALES... PERO HAY QUE FIJARSE EN LAS ESPECIFICIDADES POR ÁREAS que es donde se marca la diferencia entre las bibliométricas y las no bibliométricas...


-Diferencias notables en el trabajo de evaluación, es mucho más complicado y opinable en las áreas no o poco bibliométricas, aunque haya una tendencia hacia la convergencia de las segundas hacia las primeras...

Ejemplos: (Resolución de 24 de noviembre de 2016 de criterios específicos: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11189)
 

ÁREA BIBLIOMÉTRICA DE MODO PLENO: Ejemplo 1

Campo 2. Química
1. Todas las aportaciones deberán ser clasificables como ordinarias según la Orden de 2 de diciembre de 1994, salvo casos excepcionales. Las solicitudes que presenten patentes podrán ser valoradas, previo informe del comité, por el Campo 6 o el Campo 0.

2. El número de autores no será evaluable pero deberá estar justificado por el tema, su complejidad y extensión. Si el número de autores fuese superior a cinco se deberá detallar con exactitud la aportación concreta del solicitante.

3. Se valorarán preferentemente los artículos publicados en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes del listado correspondiente a su categoría científica en el «Journal Citation Reports (JCR) Science Edition» Las revistas electrónicas se considerarán cuando aparezcan indexadas en el JCR Science Edition. El JRC de referencia para la evaluación será el del año de publicación del artículo. Para artículos publicados en el año de la convocatoria será el último JCR publicado.

4. Los libros y capítulos de libros, si procede, se considerarán contribuciones extraordinarias. En su evaluación se tendrán en cuenta el prestigio internacional de la editorial, los editores, la colección en la que se publica la obra, y las reseñas recibidas en las revistas científicas especializadas. No se aceptará más que una aportación de este tipo entre las presentadas.

5. En las patentes se valorará si están en explotación, demostrada mediante contrato de compraventa o contrato de licencia. Respecto a patentes concedidas sin estar en explotación, sólo se valorarán si la concesión se ha llevado a cabo con examen previo (tipo B2). Se tendrá en cuenta la extensión de la protección de la patente (nacional, europea, internacional), valorándose más la de protección más extensa.

6. A título orientativo se considera que para poder alcanzar una evaluación positiva en las áreas de Química, las cinco aportaciones deben ser artículos publicados en revistas situadas en el primer cuartil dentro de las áreas científicas en las que se clasifican las mismas en el JCR Science Edition.



El año pasado (Resolución de 26 de noviembre de 2015 de criterios específicos: http://www.boe.es/diario_boe/txt.php?id=BOE-A-2015-12970) incluía al final del apartado 6 lo siguiente (se ha endurecido):

Podrá también obtenerse evaluación positiva con cuatro artículos en revistas situadas en el primer cuartil y uno en revistas del segundo, siempre que entre los anteriores haya una contribución de muy alta calidad, publicada en revistas que ocupen los primeros lugares.


 
ÁREA BIBLIOMÉTRICA DE MODO PLENO: Ejemplo 2

Campo 3. Biología Celular y Molecular
1. Todas las aportaciones deberán ser clasificables como ordinarias según la Orden de 2 de diciembre de 1994, salvo casos excepcionales. Las solicitudes que presenten patentes podrán ser valoradas, previo informe del comité, por el Campo 6 o el Campo 0, o en su caso, se solicitará asesoramiento.

2. El número de autores de la aportación deberá estar en consonancia con la complejidad del estudio o su extensión. El número de autores no se graduará para la evaluación de la aportación si el solicitante tiene participación relevante en el trabajo. Se considerará esa relevancia el ocupar posición de primer o último firmante, de no ser el orden aleatorio, o figurar como autor de correspondencia.

3. Se valorarán los artículos publicados en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes del listado correspondiente a su categoría científica en el «Journal Citation Reports (JCR) Science Edition» Las revistas electrónicas se considerarán cuando aparezcan indexadas en el JCR Science Edition. El JRC de referencia para la evaluación será el del año de publicación del artículo. Para artículos publicados en el año de la convocatoria será el último JCR publicado. El solicitante deberá figurar como autor relevante en al menos uno de los artículos sometidos a evaluación. Los artículos deberán estar publicados en revistas que pertenezcan a las categorías científicas del campo de Biología Celular y Molecular y del ámbito de las Biociencias moleculares en general.

4. En la evaluación de los libros y capítulos de libros, si procede, se tendrá en cuenta el prestigio internacional de la editorial, los editores, la colección en la que se publica la obra, y las reseñas recibidas en las revistas científicas especializadas. No se aceptará más de una aportación de este tipo, cuya valoración máxima será la de artículos científicos publicados en revistas del cuarto cuartil.

5. En las patentes se valorará si están en explotación, demostrada mediante contrato de compraventa o contrato de licencia. Respecto a patentes concedidas sin estar en explotación, sólo se valorarán si la concesión se ha llevado a cabo con examen previo (tipo B2). Las patentes en explotación internacional o europea podrán valorarse como equivalentes a una publicación de nivel alto. En explotación nacional podrá valorarse como equivalente a una publicación de nivel alto-medio. La presentación de una patente y de un artículo vinculado con el desarrollo de la misma o sus resultados no se valorarán como dos aportaciones distintas.

6. Con carácter orientador, se considera que para poder alcanzar una evaluación positiva en las áreas de Biología Celular y Molecular se deben cumplir algunos de los siguientes requisitos:
– 5 artículos publicados en revistas situadas en primer cuartil (nivel alto) dentro de las categorías o áreas científicas en las que se clasifican dichas revistas en el JCR Science Edition.
– 5 artículos publicados en revistas situadas en segundo cuartil (nivel medio) dentro de las categorías científicas en las que se clasifican dichas revistas en el JCR Science Edition, siempre que el autor tenga un papel relevante en, al menos, tres de ellas.
– Las aportaciones situadas en el tercer cuartil no podrán ser más de dos y las del cuarto cuartil (incluidos capítulos de libros) más de una, siempre que las aportaciones restantes sean al menos del segundo cuartil y el solicitante ocupe un lugar relevante en las cinco aportaciones.
– Alternativamente, se podrá obtener una evaluación positiva con menos de 5 aportaciones, si al menos tres de ellas son de muy alta calidad (primer decil en un área de Biología Celular y Molecular) y el solicitante tiene un papel relevante en todas ellas.


 
EJEMPLO DE TENDENCIA hacia la valoración de lo bibliométrico: GEOGRAFÍA

Campo 10/9: A título de orientación, para obtener una evaluación positiva en las áreas relacionadas con la Geografía, se requiere un mínimo de tres artículos en revistas que cumplan los requisitos señalados en el apartado 3, pudiendo ser las otras dos aportaciones libros o capítulos de libros publicados en editoriales con reconocido prestigio, situadas en posiciones relevantes, por ejemplo, en el ranking de Scholarly Publisher Indicators (SPI) para evaluación de editoriales de libros en Humanidades y Ciencias Sociales. La puntuación tendrá en cuenta el cuartil en el que se sitúa la publicación (tanto en el caso de revistas como de editoriales de libros), y el idioma de la aportación, valorando el de mayor difusión en la literatura científica. Así, la mayor puntuación la obtendrán los artículos publicados en revistas internacionales del primer cuartil en JCR Social Sciences Edition. Los factores que podrían reducir la calificación asignada a una aportación son: un elevado número de autores no justificado por la naturaleza y contenidos de la investigación; la publicación en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza la investigación; y la publicación recurrente y no justificada de artículos en una misma revista. Se podrá valorar positivamente únicamente una aportación de libros o capítulos de libros publicados por editoriales institucionales (incluidas las de carácter universitario), o de aportaciones vinculadas al mismo organismo donde el solicitante realiza su investigación, siempre que concurran los restantes criterios.

Apartado 3. En la valoración de los artículos se atenderá al medio de difusión empleado, aceptándose como indicio de calidad la publicación en revistas de reconocida valía. La inclusión de las revistas en bases de datos internacionales se considerará como una referencia de calidad; específicamente las indexadas en las bases de datos de la Web of Science (Arts and Humanities Citation Index, Social Science Citation Index, Journal Citation Reports, y Emerging Sources Citation Index) o las que ocupen posiciones relevantes en Scimago Journal Rank, También se tendrán en cuenta como referencia de calidad las revistas incluidas en la International Medieval Bibliography, RILMS Abstracts of Music Literature, etc. Igualmente se podrán considerar otras revistas nacionales e internacionales que pudiendo estar incluidas en diferentes bases de datos presenten a juicio del comité asesor indicios de calidad equiparables y satisfagan los criterios especificados en el Apéndice de esta Resolución. Las revistas electrónicas estarán sujetas a los mismos criterios que las demás. La mera indización o indexación de una publicación en un repertorio o una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad.

OJO: En 2015 SE RELAJARON LOS CRITERIOS RESPECTO DEL AÑO 2014 que eran:
Con carácter orientador, para obtener una evaluación positiva en las áreas relacionadas con la Geografía, se requiere un mínimo de tres artículos en revistas indexadas en JCR Social Sciences Edition o SCOPUS, pudiendo ser las otras dos aportaciones libros o capítulos de libros publicados en editoriales con reconocido prestigio, según el ranking de SPI (Scholarly Publisher Indicators) para evaluación de editoriales de libros en Humanidades y Ciencias Sociales. La puntuación tendrá en cuenta el cuartil en el que se sitúa la publicación (tanto en el caso de revistas como de editoriales de libros), que se trate de publicaciones o editoriales nacionales o extranjeras, y el idioma de la aportación. Así, la mayor puntuación la obtendrán los artículos publicados en revistas internacionales del primer cuartil en JCR Social Sciences Edition. Los factores que podrían reducir la calificación asignada a una aportación son: un elevado número de autores no justificado por la naturaleza y contenidos de la investigación; la publicación en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza la investigación; y la publicación recurrente y no justificada de artículos en una misma revista. Se podrá valorar positivamente únicamente una aportación de libros o capítulos de libros publicados por editoriales institucionales (incluidas las de carácter universitario), o de aportaciones vinculadas al mismo organismo donde el solicitante realiza su investigación, siempre que concurran el resto de criterios, caso del prestigio de la editorial.

Características de las áreas plenamente bibliométricas: aquellas para las que las bases de datos tienen criterios consensuados y ofrecen una información fiable (aunque siempre haya posiciones críticas respecto del modelo).
      1) Trabajan con números, es decir índices de impacto, que permiten graduar las revistas según su impacto y el impacto de cada artículo en citas (se toman las citas como indices de calidad, como cuantificación de la calidad -¿y lo cualitativo?)
      2) Tienen estándares consensuados que permiten reconocer las revistas más relevantes (las más citadas)
      3) Tienen una actitud proactiva a la hora de abrirse a nuevas revistas si cumplen los estándares de relevancia y tenerlas en cuenta en las indexaciones con cierta celeridad
      4) manejan datos con una proyección en el tiempo suficiente es decir datos de los artículos publicados en un lapso de tiempo suficiente para que resulte relevante la información sobre el impacto con que se cuente. Para eso necesitan poder cruzar citas de los artículos en el número mayor de revistas posibles (incluir el aparato de citas de todos ellos y cruzar la información)
      5) cuentan con recursos para poner en marcha y mantener este complejo trabajo de indexación (genera problemas de mercantilización que puede distorsionar la acción de generación de datos fiables y las propias prácticas de actuación de las revistas -y los procesos de mercantilización de las mismas, como las evaluaciones ciegas por pares y demás procesos para garantizar la calidad e igualdad en la evaluación-)...

Características de las áreas poco o no bibliométricas: aquellas para las que podemos encontrarnos con excelentes revistas, aceptadas por la comunidad de investigadores como de calidad (hay rankings basados en este tipo de criterios cualitativos), que no han sido indexadas en WOS, Scopus y otros recursos que usen auténtica bibliometría (y no solo inclusión en un listado sin índices de impacto o en un ranking cualitativo basado en encuestas de apreciación por pares). Los criterios bibliométricos en ellas resultan poco adecuados o incluso claramente distorsivos porque cuando existen reflejan muy pocas revistas (no hay un criterio inclusivo neutral a la hora de hacer los listados de lo que se tiene en cuenta y lo que no y juegan muchos factores -lingüísticos, de influencia de áreas o países: casos de Francia o Italia... no digamos de España).
Futuro de nuestras diciplinas de humanidades: ¿hacia lo bibliométrico?
Dependerá de si quedan adecuadamente reflejadas las particularidades del trabajo en Humanidades y Ciencias Sociales y se invierte lo suficinete en la inclusión de las revistas prestigiosas que no se han indexado.



 

-Para una revisión (personal) de herramientas (JCR / SJR y otros varios) con más dettalles sobre las diferencias entre áreas bibliométricas y poco o no bibliométricas (pulse aquí)

-En la web de la Biblioteca de la ULL tienen muchos enlaces y herramientas: http://www.bbtk.ull.es/view/institucional/bbtk/Indices_de_calidad/es



 

III) La actitud ante la evaluación. Los criterios de objetividad a la hora de justificar la calidad y el impacto de la investigación: coherencia, relevancia, impacto.
 
 

1) La actitud ante la evaluación como elemento fundamental

Cuando vamos a someternos a evaluación conviene:

a) No improvisar: mostrar RESPETO "institucional" al procedimiento y sus actores (evaluadores / plazos, etc). Dedicar tiempo a pensar lo que se quiere presentar, a reflexionar sobre lo que presentamos.

b) conocer y aplicar los criterios por los que se nos va a evaluar: aplicar el ars citandi en las revistas, no excederse de las matrices tipográficas máximas, usar la caja que nos sugieran... facilitar el trabajo de evaluación.

c)  Ser contextuales:
Conocer (dentro de lo posible) quienes nos evaluarán.


2) Los criterios de objetividad a la hora de justificar la calidad y el impacto de la investigación en las áreas no bibliométricas

Punto de partida desde la ULL: web de la biblioteca: http://www.ull.es/view/institucional/bbtk/Indices_de_calidad/es
 

a) CLAVE que se suponga una EVALUACIÓN EXTERNA: que no se pueda suponer un trato de favor (revistas de la que se es miembro del comité / publicaciones en el propio OPI (Organismo Público de Investigación) / repetición de publicaciones en otro OPI -que podría evidenciar trato de favor- / publicaciones sin evaluación externa (ojo con los cursos de verano camuflados - congresos sin evaluación, etc., pero límites y problemas en las bases de datos (ocurre por ejemplo en revistas prestigiosas que quizá no han entrado plenamente en la vorágine de los índices de calidad o que siguen procedimientos "clásicos" y menos contrastables y más "arbitrarios")
 

ejemplo GOYA: pesquisa sobre los datos de evaluación externa y bibliometría

¿tiene evaluación externa?: SI (web de la revista) http://www.flg.es/revista-goya/normas-de-edicion
NO: en Latindex  http://www.latindex.org (http://www.latindex.org/latindex/ficha?folio=5956)
NO en  DICE : http://dice.cindoc.csic.es/resultados.php?tit=Goya&at=&ac=&criterios_latindex=n&issn=&bbdd=&submit=+Buscar+ / http://dice.cindoc.csic.es/revista.php?rev=0017-2715
SI en ERIH+  https://dbh.nsd.uib.no/publiseringskanaler/erihplus/periodical/info.action?id=440994 / ERIH B (solo publica en español)

Más datos
Dialnet: http://dialnet.unirioja.es/servlet/revista?codigo=627 / (ofrece los datos de CIRC y CARHUS+2014)
CIRC en A / 
CARHUS+ en B / 
RESH: http://epuc.cchs.csic.es/resh/ (ojo criterios CNEAI) (ojo criterios ANECA) / 
SJR (sale de Q1 a Q4 dependiendo del año) http://www.scimagojr.com/journalsearch.php?q=6000152801&tip=sid&clean=0
MIAR: http://miar.ub.edu/issn/0017-2715  / SCOPUS http://www.scopus.com/
no tiene el sello de calidad FECYT (listado http://calidadrevistas.fecyt.es/Paginas/Home.aspx) / 
ANVUR revistas clase A no: http://www.anvur.org/index.php?option=com_content&view=article&id=254&itemid=315&lang=it (lista de revistas aceptables / lista de revistas clase A: no)...
JSM Q3 (http://www.journal-scholar-metrics.infoec3.es/layout.php?id=journal&j_name=Goya)
no JCR, no Emerging Sources Citation Index (http://ip-science.thomsonreuters.com/cgi-bin/jrnlst/jlresults.cgi?PC=EX)
no en EBSCO

¿Porqué estos problemas?, le ocurre a cierto tipo de revistas de gran prestigio que corresponden a asociaciones científicas, fundaciones o instituciones peculiares (en este caso de Goya -Museo-Fundación Lázaro Galdiano-) que no tienen medios ni una política sistemática de inversión en gestión postpublicación y marketing de revistas (véase CRECS; http://www.crecs.info/, es una ardua labor)


 

b) que suponga un AVANCE del conocimiento (no reiterar lo ya publicado): como es un concepto opinable: explicarlo bien
 

CASO DE LA CNEAI

orden de 1994, 7.1.a) 
Se valorará la contribución al progreso del conocimiento, la innovación y creatividad de las aportaciones incluidas en el currículum vitae abreviado, considerando la situación general de la ciencia en España y las circunstancias de la investigación española en la disciplina correspondiente a cada evaluado y en el período a que corresponda la evaluación.
 

criterios específicos 2014 y 2015
B. Las aportaciones sólo serán valorables si significan progreso real del conocimiento. No se valorarán los trabajos meramente descriptivos o las reiteraciones de trabajos previos, excepto en los casos en que contribuyan claramente a la consolidación del conocimiento.


 

c) que sea RELEVANTE:
     - tamaño (un artículo de 2 páginas ¿es relevante?, depende de donde se publique y las citas que tenga)
     - participación relevante: un artículo con muchos firmantes ¿es relevante? (depende de la implicación del autor)
 

CNEAI: criterios específicos 2016
C. Para que una aportación sea considerada, el solicitante deberá haber participado activamente en los trabajos que le dieron origen, como director o ejecutor del trabajo, y concretando su aportación específica a los mismos en los casos de multiautoría.

     - tipo de trabajo: no divulgativo, ni recopilación de documentación, ni traducción, etc...
 

CNEAI: orden de 1994, 7.1.b) 
Se primarán los trabajos formalmente científicos o innovadores frente a los meramente descriptivos, a los que sean simple aplicación de los conocimientos establecidos o a los de carácter divulgativo. Estos últimos sólo podrán llegar a tener valor complementario, salvo en circunstancias especiales apreciadas por el órgano evaluador.

 

d) que la línea de investigación sea COHERENTE
   - con el resto del cv de quien lo solicita (firmas en aluvión)
   - con lo que se hace en el campo (por ejemplo las obras de teología -de carácter confesional-) pero problemas para diferenciar la creatividad, novedad, ruptura de las constricciones de una disciplina y metodologías apriorísticas (ojo con arqueología creativa)...

   - OJO: problema con las investigaciones locales: suelen estár mal evaluadas no porque no sean coherentes sino por su impacto (el medio de difusión utilizado): hay darles visibilidad (¿cómo?: mucho que discutir sobre esto... escribir ¿en inglés?, en las áreas de humanidades hay una cierta resistencia quizá hasta por los problemas para exponer reflexiones complejas en inglés (en especial si no eres nativo) o porque la investigación en lengua inglesa es secundaria, o confusa (solo citan lo que está en inglés-solo leen lo que está en inglés: puede haber una pobreza de memoria muy grande-, en otros campos el inglés es el único aceptable...)
 

e) que tenga un IMPACTO destacable por el MEDIO DE DIFUSIÓN EMPLEADO
- de impacto relevante en el campo (nuevos criterios: incluir número de descargas en caso de revistas o publicaciones con versión online (si que lo tienen en cuenta) / descargas en repositorios (Academia / Reasearch Gate)

PERO Depende del campo de investigación. Por ejemplo en la CNEAI se especifica en los criterios específicos estos son los criterios de 2016 (https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11189):
 
 

Campo 7. Ciencias Sociales, Políticas, del Comportamiento y de la Educación

1. Todas las aportaciones deberán ser clasificables como ordinarias según la Orden de 2 de diciembre de 1994. Las solicitudes que presenten patentes, previo informe del comité, se trasladarán al Campo 6 o al Campo 0.

2. El número de autores de una aportación deberá estar justificado por el tema, su complejidad y su extensión.

3. Entre las aportaciones se valorarán preferentemente:
a) Los artículos publicados en revistas de reconocida valía, aceptándose como tales las incluidas en los listados por ámbitos científicos del «Journal Citation Reports (Social Sciences Edition)» y «Journal Citation Reports (Science Edition)» del «Web of Science».
b) Asimismo (sin que necesariamente se valoren por igual), los artículos publicados en revistas situadas en posiciones relevantes de los listados de Scimago Journal Rank (SJR), y en «Arts and Humanities Citation Index» de la «Web of Science».
c) Se podrán valorar también, pero nunca del mismo modo, revistas cuya inclusión en bases de datos especializadas constituya, a juicio del Comité asesor, un claro indicio de calidad. En todo caso, la mera indización o indexación de una publicación en una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad.
d) Las revistas electrónicas estarán sujetas a los mismos criterios que las demás.
e) Libros y capítulos de libro, especialmente los publicados en editoriales de reconocido prestigio y con un procedimiento selectivo para la aceptación de originales (según sistemas recogidos en el Scholarly Publishers Indicators), y que se sitúen en su primer cuartil para las editoriales españolas o en el primero y el segundo para las extranjeras. Se tendrán en cuenta también el número y carácter de las citas recibidas, las reseñas y críticas en revistas especializadas, la colección y la traducción a otras lenguas.
En todo caso, el contenido de las aportaciones publicadas en este formato deberá corresponder claramente a resultados de investigación.

4. Se valorará desfavorablemente la reiterada publicación de trabajos en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza su investigación, así como que las distintas aportaciones se dupliquen o resulten iterativas sin efectiva innovación. También se valorará desfavorablemente el que más de una contribución forme parte de un mismo libro o número de revista. Igualmente, cuando el trabajo muestre un nivel alto de autocitas, se considerará únicamente el impacto externo como indicador de la repercusión de la aportación.

5. Como norma general, para obtener una evaluación positiva, las cinco aportaciones del currículum vítae abreviado deberán responder a los requisitos especificados en los apartados anteriores.

6. Aplicando lo anterior, no se tomarán en consideración:
a) Los libros de texto o manuales.
b) Las obras de divulgación.
c) Las enciclopedias (entradas o edición).
d) Las actas de congresos ya sean publicadas en libro o en revistas como proceedings.
e) Las reseñas y recensiones.
f) Las notas editoriales, las simples traducciones, presentaciones o prólogos que no sean estudio crítico de una obra, así como las ediciones de textos clásicos que no tengan clara relevancia e incluyan estudios preliminares y notas fruto de una investigación personal y supongan una aportación apreciable a su campo temático.

7. A título orientativo, y como requisito necesario aunque por sí mismo no suficiente, se considera que para obtener una evaluación positiva en las áreas de Sociología, de Ciencia Política y de la Administración, de Ciencias de la Educación, y de Comunicación al menos dos de las cinco aportaciones serán artículos publicados en revistas que cumplan los criterios del apartado 3.a) o 3.b), o que, en casos concretos que el comité pueda estimar, cuenten con una calidad científica similar a las incluidas en los apartados mencionados y satisfagan los criterios que se especifican en el Apéndice de esta Resolución.
A título orientativo se considera que para obtener una evaluación positiva en las áreas de Psicología al menos cuatro de las cinco aportaciones serán artículos publicados en revistas que cumplan los criterios del apartado 3.a) y tres de ellos publicados en una revista de impacto, situadas en el primer y segundo cuartil de su categoría.
A título orientativo, se considera que para obtener una evaluación positiva en el área de Biblioteconomía y Documentación al menos cuatro de las cinco aportaciones habrán de ser artículos publicados en revistas que cumplan los criterios de los apartados 3.a) o 3.b), tres de los cuales al menos deberán haber aparecido en revistas situadas en el primer y segundo cuartil.
La valoración final del tramo dependerá del conjunto de las aportaciones presentadas. Se valorará especialmente el que sean significativamente relevantes las citas que éstas hayan podido recibir.

Campo 10. Historia, Geografía y Artes

1. Las aportaciones serán valorables si representan avance del conocimiento o innovación de carácter metodológico, y se dará preferencia a los estudios analíticos y comparados frente a los puramente descriptivos. No se considerarán las aportaciones que sean reiteraciones de trabajos previos con los que resulten redundantes conceptual y temáticamente, salvo si contienen elementos innovadores.

2. Salvo que estuviera plenamente justificado por la complejidad del tema y la extensión del trabajo, un elevado número de autores puede reducir la calificación asignada a una aportación.

3. En la valoración de los artículos se atenderá al medio de difusión empleado, aceptándose como indicio de calidad la publicación en revistas de reconocida valía. La inclusión de las revistas en bases de datos internacionales se considerará como una referencia de calidad; específicamente las indexadas en las bases de datos de la Web of Science (Arts and Humanities Citation Index, Social Science Citation Index, Journal Citation Reports, y Emerging Sources Citation Index) o las que ocupen posiciones relevantes en Scimago Journal Rank, También se tendrán en cuenta como referencia de calidad las revistas incluidas en la International Medieval Bibliography, RILMS Abstracts of Music Literature, etc. Igualmente se podrán considerar otras revistas nacionales e internacionales que pudiendo estar incluidas en diferentes bases de datos presenten a juicio del comité asesor indicios de calidad equiparables y satisfagan los criterios especificados en el Apéndice de esta Resolución. Las revistas electrónicas estarán sujetas a los mismos criterios que las demás. La mera indización o indexación de una publicación en un repertorio o una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad.

4. En la valoración de libros y capítulos de libro se considerarán de manera especial el prestigio de la editorial y la existencia de un procedimiento selectivo para la aceptación de originales según sistemas recogidos en el Scholarly Publishers Indicators, y atendiendo particularmente a la posición que ocupe en este ranking. Se tendrán en cuenta también el número y carácter de las citas recibidas, las reseñas y críticas en revistas especializadas, la colección, la traducción a otras lenguas, etc. Con estos indicios de calidad serán evaluados los catálogos monográficos de artista o catálogo razonado que deberán reflejar claramente que son fruto de la investigación o de la reflexión documentada sobre estética o teoría del arte. Las fichas en catálogos de exposición sólo serán valoradas si constituyen una aportación significativa en número, extensión y calidad investigadora. Asimismo, se tendrán en cuenta estos criterios para la evaluación de las actas de congresos. No serán consideradas como nuevas aportaciones las traducciones de la propia obra a otras lenguas.

5. En la valoración de aportaciones correspondientes a las áreas de Bellas Artes podrán considerarse como extraordinarias: i) las exposiciones individuales o colectivas, ii) obra premiada, iii) trabajos de conservación o restauración, y iv) encargos artísticos institucionales o empresariales (obras de carácter público, diseño y publicidad). Los criterios que deben reunir tanto las aportaciones como sus medios de difusión para ser consideradas como de «impacto» son los siguientes:
5.1 Criterios sobre la calidad del medio de difusión. Se centrarán en la relevancia de los siguientes aspectos:
a. Tipo de espacio expositivo y su proyección internacional.
b. Edición de catálogo (ISBN, extensión, relevancia de los autores de los textos, traducción a otras lenguas, etc.).
c. Patrocinadores, productores, promotores o distribuidoras.
d. Tipo de convocatoria (incluyendo en su caso otros posibles premiados) y forma de adjudicación (tipo, cuantía, etc.).
e. Jurado, comité externo, comisión de seguimiento o similar.
5.2 Criterios sobre la calidad del proyecto artístico:
a. Magnitud de la aportación (individual /colectiva, largometraje /cortometraje, bienes inmuebles/ bienes muebles, proyectos integrales, proyectos interdisciplinares, etc.).
b. Identificación y relevancia del proyecto artístico (patrimonio cultural, BIC, etc.), de su itinerancia (otros espacios expositivos, festivales, salas de proyección, etc.), del comisario y de los artistas/ investigadores participantes.
c. Selección para participar en otras exposiciones, certámenes o similares de relevancia, así como otros premios y menciones.
d. Vinculación a proyectos de investigación relevantes concedidos en convocatoria pública competitiva.
5.3 Criterios sobre la repercusión de la aportación:
a. Identificación y relevancia de medios especializados: referencias bibliográficas recogidas en libros o catálogos, revistas especializadas, trabajos de investigación, tesis doctorales, bibliografías académicas, etc.
b. Identificación y relevancia de medios audiovisuales.
c. Invitación a participar en talleres, conferencias o ponencias de calidad.

6. Respecto al comisariado de exposiciones se tendrán en cuenta los proyectos que aporten novedades relevantes de investigación, con una reflexión sobre Estética o Teoría del arte documentada en el catálogo, así como los criterios determinados en el punto 5 respecto a la calidad del proyecto, medio de difusión y repercusión en los medios especializados nacionales e internacionales.

7. Respecto a la música, se tendrán en cuenta las composiciones publicadas o estrenadas por intérpretes reconocidos. Para la musicología se evaluarán las ediciones críticas que constituyan un estudio razonado de la fijación del texto musical, con la correspondiente mención de las fuentes y variantes musicales. No merecerán esta consideración, por el contrario, las simples revisiones de partituras –impresas o manuscritas–, salvo que vayan acompañadas de estudios preliminares o de anotaciones fruto de una investigación personal.

8. Aplicando lo anterior, no se tomarán en consideración:
a) Los libros de texto, apuntes, artículos, obras y diccionarios de divulgación o artículos de opinión.
b) Las enciclopedias (entradas o edición).
c) Las ediciones de textos, coordinaciones o las traducciones, salvo que incluyan estudios preliminares o anotaciones que sean fruto de una investigación original y supongan una aportación valiosa a su campo temático.
d) Las catalogaciones que no incluyan estudios históricos o artísticos.
e) Las transcripciones, si no van acompañadas de juicio crítico o análisis histórico del documento.
f) Los prólogos e introducciones convencionales, que no superen la condición de mera presentación de la obra prologada y carezcan de interés crítico per se.
g) Las actas de congresos y similares, que no respondan a criterios de calidad equiparables a los exigidos para las revistas científicas y para libros y capítulos de libro señalados en el punto 4.
h) Los volúmenes de homenaje, que no respondan a criterios de calidad equiparables a los exigidos para las revistas científicas y para libros y capítulos de libro señalados en el punto 4.
i) Los proyectos de investigación y la dirección de tesis doctorales.
j) La reiteración de publicaciones en revistas o editoriales asociadas al mismo organismo donde el solicitante realiza la investigación.
k) La reiteración de trabajos artísticos en el mismo organismo donde el solicitante realiza su investigación.
l) La reiteración de comisariados en el mismo organismo donde el solicitante realiza su investigación.
m) La presentación como aportaciones diferentes de sucesivas exhibiciones, muestras u actividades que se reiteren periódica u ocasionalmente. Sólo una de ellas podrá tomarse en consideración.
n) Más de tres exposiciones colectivas en un mismo tramo.
ñ) Trabajos reiterativos conceptual y temáticamente, sin que aporten innovación respecto a lo ya publicado.
Podrá, por consiguiente, reducir la calificación asignada a una aportación:
a) La recurrencia no justificada de artículos en una misma revista.
b) La recurrencia no justificada de comisariados en una misma institución.
c) La recurrencia no justificada de exposiciones en una misma institución.
d) En cada tramo no se considerarán más de 3 exposiciones colectivas.

9. Como norma general, para poder alcanzar una evaluación positiva, las cinco aportaciones del curriculum vitae abreviado deberán cumplir lo descrito en los apartados anteriores.

10. A título de orientación se considera que para poder alcanzar una evaluación positiva en las áreas de Historia y Arte, al menos una de las aportaciones debe ser un libro monográfico de investigación que cuente con difusión y referencia internacionales y cumpla los requisitos que se indican en el apartado 4; o bien que dos de las aportaciones sean artículos publicados en revistas internacionales que cumplan con los requisitos que se indican en el apartado 3; o bien que una de las aportaciones sea un artículo en una revista internacional que satisfaga los criterios arriba indicados y otra, un capítulo de libro, en un volumen que cumpla los requisitos indicados para éstos.
A título de orientación, para obtener una evaluación positiva en las áreas relacionadas con la Geografía, se requiere un mínimo de tres artículos en revistas que cumplan los requisitos señalados en el apartado 3, pudiendo ser las otras dos aportaciones libros o capítulos de libros publicados en editoriales con reconocido prestigio, situadas en posiciones relevantes, por ejemplo, en el ranking de Scholarly Publisher Indicators (SPI) para evaluación de editoriales de libros en Humanidades y Ciencias Sociales. La puntuación tendrá en cuenta el cuartil en el que se sitúa la publicación (tanto en el caso de revistas como de editoriales de libros), y el idioma de la aportación, valorando el de mayor difusión en la literatura científica. Así, la mayor puntuación la obtendrán los artículos publicados en revistas internacionales del primer cuartil en JCR Social Sciences Edition. Los factores que podrían reducir la calificación asignada a una aportación son: un elevado número de autores no justificado por la naturaleza y contenidos de la investigación; la publicación en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza la investigación; y la publicación recurrente y no justificada de artículos en una misma revista. Se podrá valorar positivamente únicamente una aportación de libros o capítulos de libros publicados por editoriales institucionales (incluidas las de carácter universitario), o de aportaciones vinculadas al mismo organismo donde el solicitante realiza su investigación, siempre que concurran los restantes criterios.
A título de orientación, se considera que para poder alcanzar una evaluación positiva en los ámbitos de las Bellas Artes (arte, audiovisual, diseño y conservación y restauración), todas las aportaciones podrán ser de carácter extraordinario, y en concreto de las especificadas en el punto 5. En ese caso habrán de aportarse referencias precisas y datos suficientes para su identificación y estimación, y en concreto sobre su índole (exposición colectiva, individual, itinerante, escenografía, audiovisual, cortometraje, proyecto de diseño, publicidad, etc.), sobre la calidad del medio de difusión (espacio expositivo, feria, festival, bienal, etc.) y sobre su repercusión, siempre conforme a lo que se especifica en el citado punto 5.



Pero en 2014 la redacción era la siguiente para artículos:

3. En la valoración de los artículos se atenderá al medio de difusión empleado, aceptándose como indicio de calidad la publicación en revistas de reconocida valía. La inclusión de las revistas en bases de datos internacionales se considerará como unareferencia de calidad (por ejemplo, Francis, International Bibliography of the Social Sciences (IBSS), Arts and Humanities Citation Index del Web of Science, Journal Citation Reports Social Sciences Edition, Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, RILMS Abstracts of Music Literature, etc.). Podrán considerarse también los artículos publicados en revistas que ocupen posiciones relevantes en SCOPUS, en revistas listadas en otras bases de datos nacionales o internacionales (por ejemplo, ERIH, DICE-CINDOC, etc.), o en aquellas revistas acreditadas por la FECYT, siempre que, a juicio del comité asesor, cuenten con una calidad científica similar a las incluidas en los índices mencionados y que satisfagan los criterios que se especifican en el citado apéndice I de esta resolución. Las revistas electrónicas estarán sujetas a los mismos criterios que las demás.

Campo 11. Filosofía, Filología y Lingüística

1. Todas las aportaciones deberán ser clasificables como ordinarias según la Orden de 2 de diciembre de 1994. Las aportaciones serán valorables si representan algún tipo de avance del conocimiento o una innovación de carácter metodológico, y se dará preferencia a los estudios analíticos y comparados frente a los puramente descriptivos. No se considerarán las aportaciones que sean reiteraciones de trabajos previos con los que resulten iterativos conceptual y temáticamente, salvo si contienen elementos claramente innovadores.

2. Salvo que estuviera plenamente justificado por la complejidad del tema, las exigencias metodológicas y la extensión del trabajo, un elevado número de autores puede reducir la calificación asignada a una aportación.

3. En cuanto a artículos publicados, para la consideración de la calidad de las revistas en donde éstos aparezcan se tendrá en cuenta su clasificación en bases de datos de referencia del área específica en que estén recogidas, que deberá ser al menos de nivel medio. Para ello se considerará la información ofrecida en Ulrichsweb, CAPES, en el «European Reference Index for the Humanities (ERIH Plus)» de la ESF, MIAR, in~RECH (en los años disponibles), RESH y CAHRUS. Asimismo se tendrá en cuenta como referencia de calidad la inclusión en bases de datos internacionales como el «Arts and Humanities Citation Index» del «Web of Science», «Journal Citation Reports, Social Sciences Edition», Emerging Sources Citation Index y en Scimago Journal Rank. No se tendrán en cuenta las publicaciones de cuyo comité redacción forme parte el autor. La mera indización o indexación de una publicación en un repertorio o una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad. En todo caso, habrá de cumplir los requisitos señalados en el Apéndice de esta Resolución para ser consideradas de impacto. Las revistas exclusivamente electrónicas se juzgarán con los mismos criterios.

4. En la evaluación de los libros y capítulos de libros, se considerarán especialmente los publicados en editoriales de reconocido prestigio y con un procedimiento selectivo para la aceptación de originales, según sistemas recogidos en el Scholarly Publishers Indicators (SPI), y teniendo en cuenta, si es el caso, su situación destacada en la correspondiente categoría de esta base. Se tendrán en cuenta también el número y carácter de las citas recibidas, las reseñas y críticas en revistas especializadas, la colección, la traducción a otras lenguas, etc. Deberán reflejar claramente que son fruto de la investigación o de la reflexión documentada. No serán consideradas como nuevas aportaciones las traducciones de la propia obra a otras lenguas. No se considerarán como aportaciones diferentes capítulos de una obra con el mismo ISBN. La reiterada publicación en los medios editoriales institucionales y públicos podrá reducir la ponderación final de la evaluación. Con carácter orientativo podrán utilizarse los ránquines publicados en Scholarly Publishers Indicators.
Se considerarán las aportaciones de investigación, las ediciones críticas que presenten un estudio razonado de la fijación del texto, con la correspondiente mención de fuentes, variantes textuales y que lleven un estudio introductorio que suponga una aportación al conocimiento. Este mismo criterio se aplicará a las traducciones. Por el contrario, las simples revisiones de textos para su publicación, no merecerán esta consideración.

5. En el campo de la estética y la teoría de las artes, también se estimará el comisariado de exposiciones en cuyos catálogos se aporten novedades relevantes de investigación con repercusión en los medios especializados nacionales e internacionales, ajustándose, en su caso, a lo establecido para estas actividades en el punto 5 de los criterios propios de campo 10 incluidos en esta misma Resolución.

6. Aplicando lo anterior, no se tomarán en consideración:
a) Los libros de texto o manuales.
b) Las obras de divulgación.
c) Las enciclopedias (entradas o edición).
d) Los artículos de opinión, los de divulgación, antologías o diccionarios comunes.
e) Las actas de congresos y los volúmenes de homenaje, que no respondan a criterios de calidad equiparables a los exigidos para las revistas científicas, es decir los señalados en el punto 3, y para libros y capítulos de libro señalados en el punto 4 y, en todo caso, los incluidos en el Apéndice de esta Resolución.
f) Las reseñas y recensiones.

7. Se valorará desfavorablemente la reiterada publicación de trabajos en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza su investigación, o en aquellas de cuyos comités de redacción o instancias de dirección forme parte el solicitante.

8. A título orientativo, y como requisitos necesarios pero por sí mismos no suficientes, se considera que para poder alcanzar una evaluación positiva en las áreas de Filosofía, Filología y Lingüística, al menos una de las aportaciones debe ser un libro monográfico de investigación que cuente con difusión y referencia internacionales y cumpla los requisitos que se indican en el apartado 4; o bien que dos de las aportaciones sean artículos publicados en revistas que respondan a lo especificado en el punto 3, y que en todo caso cumplan los criterios indicados en el Apéndice de esta Resolución; o bien que una de las aportaciones sea un artículo en una revista internacional de impacto y la otra un capítulo de libro en un volumen internacional que cumpla los requisitos indicados para éstos.



 

4) RESUMEN: potenciar las fortalezas de las publicaciones presentadas a evaluación
 

1) Organizar nuestra carrera de publicaciones pensando en no insistir en publicar mucho de lo que esté explícitamente excluido en CNEAI.
 

Orden del Ministerio de Educación y Ciencia de 2 de diciembre de 1994, por la que se establece el procedimiento de evaluación de la actividad investigadora. (BOE el 3/12/1994) 

a) Se considerarán como ordinarias las aportaciones de:
Libros, capítulos de libros, prólogos, introducciones y anotaciones a textos de reconocido valor científico en
su área de conocimiento.
Artículos de valía científica en revistas de reconocido prestigio en su ámbito.
Patentes, o modelos de utilidad, de importancia económica demostrable. 
b) Se considerarán como extraordinarias las aportaciones de: 
Informes, estudios y dictámenes. 
Trabajos técnicos o artísticos. 
Participación relevante en exposiciones de prestigio, excavaciones arqueológicas o catalogaciones. 
Dirección de tesis doctorales de méritos excepcionales. 
Comunicaciones a congresos, como excepción. 
En todos los casos las aportaciones deberán constituir fruto de la labor personal del solicitante en el ámbito 
de las ciencias, las artes o la técnica y ser de público conocimiento. 

2) ¿Qué hacer con los libros?... parece en muchos campos que solo valgan los artículos... pero en humanidades los libros son clave, pero EL LIBRO EN ESPAÑOL tiene una visibilidad internacional (fuera de países hispanoparlantes) muy baja... hay que buscar buenos criterios y los indicadores aceptable: el estándar (a pesar de su limitación) es SPI  (http://ilia.cchs.csic.es/SPI/index.html) que incluye tanto libro español como no español (en listas separadas).


INCLUYE CRITERIOS SOBRE LA EVALUACIÓN EXTERNA DE LOS LIBROS Y EL CONTROL DE LA CALIDAD DE LOS MANUSCRITOS POR PARTE DE LAS EDITORIALES

UN CRITERIO BÁSICO: OJO con las autoediciones, ediciones a la carta, ediciones pagadas por los autores (en homenajes, etc.),  en este tipo e ediciones no hay evaluación externa o no podría ser una evaluación neutral.
 

3) Buscar buenos congresos que tengan una clara evaluación externa a la hora de publicar nuestros resultados de investigación.

4) EN RESUMEN: ser contextuales, intentando organizar nuestro plen de publicaciones de modo reflexivo y no enterrar buenas investigaciones en revistas o publicaciones con poco impacto y poca calidad.