ACTIVIDAD FORMATIVA 1. Doctorado Territorio y Sociedad. ULPGC-ULL

Material preparado por: Francisco Díez de Velasco. Universidad de La Laguna
 



 

La calidad de una publicación en áreas bibliométricas y no bibliométricas y su evaluación y los criterios de la CNEAI-ANECA

Diferencias entre las áreas bibliométricas y no plenamente bibliométricas. Criterios de justificación de la elección de donde publicar y los retos y estrategias frente a la evaluación. La evaluación de la investigación y los criterios de evaluación en la CNEAI. Evaluación de la carrera investigadora en la ANECA para el acceso a puestos de profesores universitarios funcionarios. La actitud ante la evaluación. Los criterios de objetividad a la hora de justificar la calidad y el impacto de la investigación: coherencia, relevancia, etc.
 


I) Finalidad de la actividad

En relación con la competencia básica o general 13 de nuestro doctorado
    -enlace general: http://www.docteso.es/competencias.html
    -enlace a la memoria del doctorado (p.16): http://www.ull.es/Private/folder/masters/doctricontinetal/MemoriaTerritorioSociedad.pdf  (otro enlace)

CB13: Capacidad de realizar una contribución científica, a través de una investigación original, que amplíe las fronteras del conocimiento en este campo, y que merezca la publicación referenciada a nivel nacional o internacional

Conectado con:  1) Actividad formativa 2: Comunicación oral en el ámbito científico
                           2) Actividad formativa 3: Presentación de un aspecto teórico y/o metodológico derivado de la tesis en un contexto público (Congreso, Seminario, Workshop) especializado en una o varias de las líneas de investigación del doctorado
                           3) Actividad fprmativa 5: Movilidad


II) Especificidades de las áreas bibliométricas y no bibliométricas y criterios de justificación de la elección de donde publicar
 

Diferencias notables en la evaluación, es mucho más complicada y opinable en las áreas no plenamente bibliométricas por lo que lo que tenemos que hacer para publicar en lugares adecuados es conocer estas realidades.
Requiere tener en cuenta muchas más variables a la hora de justificar que una publicación resulta adecuada para nuestra trayectoria. Se trata de un elemento importante, por ejemplo, a la hora de plantearse una tesis por compendio de investigación, pero en general para planificar nuestra difusión de la investigación desde los años de preparación del doctorado en adelante.

Se trata de buscar revistas y lugares de calidad e impacto donde publicar, ¿hay algún estándar?: .

Seguiremos los criterios de ANECA-CNEAI (que están conectados).
El organismo de evaluación clave a la hora de determinar la calidad en la investigación científica en España es la CNEAI (Comisión Nacional Evaluadora de la Actividad Investigadora)
Web de la CNEAI (http://www.aneca.es/Programas-de-evaluacion/CNEAI)

La calidad es cada vez más el elemento clave en la promoción en la carrera universitaria también en las áreas de HUMANIDADES Y CIENCIAS SOCIALES que se especifica en el programa Academia de ANECA: http://www.aneca.es/Programas-de-evaluacion/ACADEMIA/Criterios-de-evaluacion-noviembre-2017, donde se evidencia bien claramente lo que más se puntúa en investigación.
 
 

CRITERIOS ESPECÍFICOS CNEAI: APENDICE (http://www.boe.es/diario_boe/txt.php?id=BOE-A-2017-14085):

Criterios que debe reunir un medio de difusión de la investigación (revista, libro, actas de congreso) para que lo publicado en él sea reconocido como «de impacto»

A. Criterios que hacen referencia a la calidad informativa de la revista como medio de comunicación científica:
1. Identificación de los miembros de los comités editoriales y científicos.
2. Instrucciones detalladas a los autores.
3. Información sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial o comité de selección, incluyendo, por ejemplo, los criterios, procedimiento e informe para la aceptación de los originales a cargo de revisores o jueces preferentemente externos. Se pueden tomar como referencia los indicadores recogidos en Scholarly Publishers Indicators (SPI).
4. Traducción del sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas y actas de congresos.

B. Criterios sobre la calidad del proceso editorial:
1. Periodicidad de las revistas y regularidad y homogeneidad de la línea editorial en caso de editoriales de libros.
2. Anonimato en la revisión de los manuscritos, especialmente en sistema de doble ciego
3. Comunicación motivada de la decisión editorial, por ejemplo, empleo por la revista, la editorial o el comité de selección de una notificación argumentada de la decisión editorial que incluya las razones para la aceptación, revisión o rechazo del manuscrito, así como los dictámenes emitidos por los expertos externos.
4. Existencia de un consejo asesor, formado por profesionales e investigadores de reconocida solvencia, sin vinculación institucional con la revista o editorial, y orientado a marcar la política editorial y someterla a evaluación y auditoría, así como con suficiente representatividad académica y movilidad en su composición.

C. Criterios sobre la calidad científica de las revistas.
1. Porcentaje de artículos de investigación; más del 75% de los artículos deberán ser trabajos que comuniquen resultados de investigación originales.
2. Autoría: grado de endogamia editorial, más del 75% de los autores serán externos al comité editorial y virtualmente ajenos a la organización editorial de la revista.

Asimismo, se tendrá especialmente en cuenta la indexación de las revistas en las bases de datos internacionales más acreditadas que las categoricen por índice de impacto y difusión. Podrán valorarse, a juicio de la comisión, aquellas revistas que cuenten con el sello de calidad de la FECYT.
Tratándose de libros y capítulos de libros se valorarán las editoriales que ocupen posiciones destacadas, en su correspondiente especialidad, en Scholarly Publishers Indicators (SPI). También podrán considerarse, a juicio de la comisión, publicaciones en colecciones de editoriales universitarias que cuenten con el sello de Calidad en Edición Académica (CEA).

DE TRATA DE LINEAS GENERALES... PERO HAY QUE FIJARSE EN LAS ESPECIFICIDADES POR ÁREAS que es donde se marca la diferencia entre las bibliométricas y las no bibliométricas...


Hay una tendencia hacia la convergencia de las poco bibliométricas hacia las bibliométricas...

Ejemplos: (http://www.boe.es/diario_boe/txt.php?id=BOE-A-2017-14085) criterios específicos:
 

ÁREA BIBLIOMÉTRICA DE MODO PLENO: Ejemplo 1

Campo 2. Química
1. Todas las aportaciones deberán ser clasificables como ordinarias según la Orden de 2 de diciembre de 1994, salvo casos excepcionales. Las solicitudes que presenten patentes podrán ser valoradas, previo informe del comité, por el Campo 6 o el Campo 0.

2. El número de autores no será evaluable pero deberá estar justificado por el tema, su complejidad y extensión. Si el número de autores fuese superior a cinco se deberá detallar con exactitud la aportación concreta del solicitante.

3. Se valorarán preferentemente los artículos publicados en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes del listado correspondiente a su categoría científica en el «Journal Citation Reports (JCR) Science Edition» Las revistas electrónicas se considerarán cuando aparezcan indexadas en el JCR Science Edition. El JRC de referencia para la evaluación será el del año de publicación del artículo. Para artículos publicados en el año de la convocatoria será el último JCR publicado.

4. Los libros y capítulos de libros, si procede, se considerarán contribuciones extraordinarias. En su evaluación se tendrán en cuenta el prestigio internacional de la editorial, los editores, la colección en la que se publica la obra, y las reseñas recibidas en las revistas científicas especializadas. No se aceptará más que una aportación de este tipo entre las presentadas.

5. En las patentes se valorará si están en explotación, demostrada mediante contrato de compraventa o contrato de licencia. Respecto a patentes concedidas sin estar en explotación, sólo se valorarán si la concesión se ha llevado a cabo con examen previo (tipo B2). Se tendrá en cuenta la extensión de la protección de la patente (nacional, europea, internacional), valorándose más la de protección más extensa.

6. A título orientativo se considera que para poder alcanzar una evaluación positiva en las áreas de Química, las cinco aportaciones deben ser artículos publicados en revistas situadas en el primer cuartil dentro de las áreas científicas en las que se clasifican las mismas en el JCR Science Edition.



El año 2015 (Resolución de 26 de noviembre de 2015 de criterios específicos: http://www.boe.es/diario_boe/txt.php?id=BOE-A-2015-12970) incluía al final del apartado 6 lo siguiente (se ha endurecido en 2016 y 2017):

Podrá también obtenerse evaluación positiva con cuatro artículos en revistas situadas en el primer cuartil y uno en revistas del segundo, siempre que entre los anteriores haya una contribución de muy alta calidad, publicada en revistas que ocupen los primeros lugares.


 
 
EJEMPLO DE TENDENCIA hacia la valoración de lo bibliométrico: GEOGRAFÍA vs HISTORIA

Campo 10/10: A título de orientación se considera que para poder alcanzar una evaluación positiva en las áreas de Historia y Arte, al menos una de las aportaciones debe ser un libro monográfico de investigación que cuente con difusión y referencia internacionales y cumpla los requisitos que se indican en el apartado 4; o bien que dos de las aportaciones sean artículos publicados en revistas internacionales que cumplan con los requisitos que se indican en el apartado 3; o bien que una de las aportaciones sea un artículo en una revista internacional que satisfaga los criterios arriba indicados y otra, un capítulo de libro, en un volumen que cumpla los requisitos indicados para éstos.

A título de orientación, para obtener una evaluación positiva en las áreas relacionadas con la Geografía, se requiere un mínimo de tres artículos en revistas que cumplan los requisitos señalados en el apartado 3, pudiendo ser las otras dos aportaciones libros o capítulos de libros publicados en editoriales con reconocido prestigio, situadas en posiciones relevantes, por ejemplo, en el ranking de Scholarly Publisher Indicators (SPI) para evaluación de editoriales de libros en Humanidades y Ciencias Sociales. La puntuación tendrá en cuenta el cuartil en el que se sitúa la publicación (tanto en el caso de revistas como de editoriales de libros), y el idioma de la aportación, valorando el de mayor difusión en la literatura científica. Así, la mayor puntuación la obtendrán los artículos publicados en revistas internacionales del primer cuartil en JCR Social Sciences Edition o Science Edition. Los factores que podrían reducir la calificación asignada a una aportación son: un elevado número de autores no justificado por la naturaleza y contenidos de la investigación; la publicación en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza la investigación; y la publicación recurrente y no justificada de artículos en una misma revista. Se podrá valorar positivamente únicamente una aportación de libros o capítulos de libros publicados por editoriales institucionales (incluidas las de carácter universitario), o de aportaciones vinculadas al mismo organismo donde el solicitante realiza su investigación, siempre que concurran los restantes criterios.

Apartado 3. En la valoración de los artículos se atenderá al medio de difusión empleado, aceptándose como indicio de calidad la publicación en revistas de reconocida valía. La inclusión de las revistas en bases de datos internacionales se considerará como una referencia de calidad; específicamente las indexadas en las bases de datos de la Web of Science (Arts and Humanities Citation Index, Social Science Citation Index, Journal Citation Reports, y Emerging Sources Citation Index) o las que ocupen posiciones relevantes en Scimago Journal Rank, También se tendrán en cuenta como referencia de calidad las revistas incluidas en la International Medieval Bibliography, RILMS Abstracts of Music Literature, etc. Igualmente se podrán considerar otras revistas nacionales e internacionales que pudiendo estar incluidas en diferentes bases de datos presenten a juicio del comité asesor indicios de calidad equiparables y satisfagan los criterios especificados en el Apéndice de esta Resolución. Las revistas electrónicas estarán sujetas a los mismos criterios que las demás. La mera indización o indexación de una publicación en un repertorio o una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad.

OJO: En 2015-2016-2017 SE RELAJARON LOS CRITERIOS RESPECTO DEL AÑO 2014 que eran:
Con carácter orientador, para obtener una evaluación positiva en las áreas relacionadas con la Geografía, se requiere un mínimo de tres artículos en revistas indexadas en JCR Social Sciences Edition o SCOPUS, pudiendo ser las otras dos aportaciones libros o capítulos de libros publicados en editoriales con reconocido prestigio, según el ranking de SPI (Scholarly Publisher Indicators) para evaluación de editoriales de libros en Humanidades y Ciencias Sociales. La puntuación tendrá en cuenta el cuartil en el que se sitúa la publicación (tanto en el caso de revistas como de editoriales de libros), que se trate de publicaciones o editoriales nacionales o extranjeras, y el idioma de la aportación. Así, la mayor puntuación la obtendrán los artículos publicados en revistas internacionales del primer cuartil en JCR Social Sciences Edition. Los factores que podrían reducir la calificación asignada a una aportación son: un elevado número de autores no justificado por la naturaleza y contenidos de la investigación; la publicación en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza la investigación; y la publicación recurrente y no justificada de artículos en una misma revista. Se podrá valorar positivamente únicamente una aportación de libros o capítulos de libros publicados por editoriales institucionales (incluidas las de carácter universitario), o de aportaciones vinculadas al mismo organismo donde el solicitante realiza su investigación, siempre que concurran el resto de criterios, caso del prestigio de la editorial.


A) Características de las áreas plenamente BIBLIOMÉTRICAS: aquellas para las que las bases de datos tienen criterios consensuados y ofrecen una información fiable (aunque siempre haya posiciones críticas respecto del modelo):

      1) Trabajan con números, es decir índices de impacto (en que se han cruzado las citas de todos los artículos indexados -problema de los no indexados-), que permiten graduar las revistas según su impacto y el impacto de cada artículo en citas (se toman las citas como indices de calidad, como cuantificación de la calidad -¿y lo cualitativo?)

      2) Tienen estándares consensuados que permiten reconocer las revistas más relevantes que serían las más citadas: ¿es un criterio aceptable?: hay campos de investigación en que no es así, en especial los campos fronterizos, novedosos o alejados de las líneas principales de interés de la investigación (para determinar el prestigio e impacto general de una revista en el campo científico (los de humanidades quedan como irrelevantes) tenemos el eigenfactor: http://www.eigenfactor.org/projects/journalRank/journalsearch.php)

      3) La idexación está muy desarrollada, pero siempre hay problemas con ámbitos lingüísticos diferentes del inglés (por ejemplo el chino cada vez más potente) y cuanto más periféricos resulten respecto a la centralidad anglosajona y al uso del idioma inglés.

      4) Tienen una actitud proactiva a la hora de abrirse a nuevas revistas si cumplen los estándares de relevancia y tenerlas en cuenta en las indexaciones con cierta celeridad.

      5) manejan datos con una proyección en el tiempo suficiente es decir datos de los artículos publicados en un lapso de tiempo suficiente para que resulte relevante la información sobre el impacto con que se cuente y del impacto general de la revista y su evolución (hay revistas que declinan y otras que ascienden). Para eso necesitan poder cruzar citas de los artículos en el número mayor de revistas posibles (incluir el aparato de citas de todos ellos y cruzar la información)

      6) cuentan con recursos para poner en marcha y mantener este complejo trabajo de indexación (genera problemas de mercantilización que puede distorsionar la acción de generación de datos fiables y las propias prácticas de actuación de las revistas -y los procesos de mercantilización de las mismas, como las evaluaciones ciegas por pares y demás procesos para garantizar la calidad e igualdad en la evaluación-). Está llevando a un proceso de profesionalización de las revistas que determina su mercantilización y la complejización de todos los procesos asociados (véase CRECS; http://www.crecs.info/, para el ámbito en lengua española), es una ardua labor, que exige muchos recursos para cumplir los estándares, surgiendo los especialistas en estos menesteres que casi no publican de otra cosa y dedican casi todos sus esfuerzos a este tipo de promoción... La mercantilización está en el núcleo de la presencia mínima de las humanidades, porque son campos que no generan casi recursos (aunque la posibilidad del uso y explotación masiva de datos está ayudando a la inclusión y también la visibilización que ha procurado google y su herramienta google scholar).

B) Características de las áreas POCO O NO BIBLIOMÉTRICAS: aquellas para las que podemos encontrarnos con excelentes revistas, aceptadas por la comunidad de investigadores como de calidad (hay rankings basados en este tipo de criterios cualitativos), que no han sido indexadas en WOS, Scopus-SJR y otros recursos que usen auténtica bibliometría (y no solo inclusión en un listado sin índices de impacto o en un ranking cualitativo basado en encuestas de apreciación por pares).
Los criterios bibliométricos en ellas resultan poco adecuados o incluso claramente distorsivos porque, cuando existen, reflejan muy pocas revistas (no hay un criterio inclusivo neutral a la hora de hacer los listados de lo que se tiene en cuenta y lo que no y juegan muchos factores -lingüísticos, de influencia de áreas o países: casos de Francia o Italia... no digamos de España, donde están supravaloradas las revistas del CSIC porque tienen técnicos dedicados a la promoción, que las universidades no tienen en igual medida).

Futuro de nuestras diciplinas de humanidades: ¿hacia lo bibliométrico?
Dependerá de si quedan adecuadamente reflejadas las particularidades del trabajo en Humanidades y Ciencias Sociales y se invierte lo suficiente en la inclusión de las revistas prestigiosas que no se han indexado.

EJEMPLO: SJR (que tiene una apertura mayor que WOS hacia las humanidades)
- países
- España (Arte y Humanidades)
- Religiones
- Clásicas
- Arqueología
- Historia
- Filosofía
- Lingüística
- Literatura
 

EJEMPLO el tratamiento de las RELIGIONES: SJR (Scopus) supera mucho a JCR (que incluye muy pocas revistas de temas religiosos), pero muchas revistas de prestigio (las más alejadas de las fórmulas anglosajonas de entender la materia, que evidencian un sesgo lingüístico contraproducente) están mal posicionadas en rankings, por ejemplo las italianas o las francesas por muy clásicas que sean: SMSR (Studi e materiali di storia delle religioni -acceso-) o la RHR (Revue de l'Histoire des Religions -acceso-), no están en SJR (el problema está en SJR, no en las venerables revistas, RHR fundada en 1880 y SMSR fundada por Pettazzoni en 1925...


-Para una revisión (personal) de herramientas (JCR / SJR y otros varios) con más dettalles sobre las diferencias entre áreas bibliométricas y poco o no bibliométricas (pulse aquí)

-En la web de la Biblioteca de la ULL tienen muchos enlaces y herramientas: http://www.bbtk.ull.es/view/institucional/bbtk/Indices_de_calidad/es



 

III) LA ACTITUD ANTE LA EVALUACIÓN. Los criterios de objetividad a la hora de justificar la calidad y el impacto de la investigación: coherencia, relevancia, impacto.
 

1) La actitud ante la evaluación como elemento fundamental

Cuando vamos a someternos a evaluación (siempre que socializamos nuestra investigación lo hacemos) conviene:

a) No improvisar: mostrar RESPETO "institucional" al procedimiento y sus actores (evaluadores / plazos, etc). Dedicar tiempo a pensar lo que se quiere presentar, a reflexionar sobre lo que presentamos. A DETERMINAR SI ESTAMOS PRESENTÁNDOLO EN EL LUGAR OPORTUNO (revisar el perfil de la revista o la serie donde queremos publicar o el congreso al que queremos asistir).

b) conocer y aplicar los criterios por los que se nos va a evaluar: facilitar el trabajo de evaluación ahorrando problemas DE FORMA (escribir un buen español-un buen inglés) y DE FORMATO (aplicar el ars citandi en las revistas, no excederse de las matrices tipográficas máximas, usar la caja que nos sugieran...).

c)  Ser contextuales:
Conocer (dentro de lo posible) quienes nos evaluarán (comités de las revistas, listas de evaluadores...)


2) Los criterios de objetividad a la hora de justificar la calidad y el impacto de la investigación en las áreas no bibliométricas

Punto de partida desde la ULL: web de la biblioteca: http://www.ull.es/view/institucional/bbtk/Indices_de_calidad/es
 

a) CLAVE que se suponga una EVALUACIÓN EXTERNA: que no se pueda suponer un trato de favor (revistas de la que se es miembro del comité / publicaciones en el propio OPI (Organismo Público de Investigación) / repetición de publicaciones en otro OPI -que podría evidenciar trato de favor- / publicaciones sin evaluación externa (ojo con los cursos de verano camuflados - congresos sin evaluación, etc., pero límites y problemas en las bases de datos (ocurre por ejemplo en revistas prestigiosas que quizá no han entrado plenamente en la vorágine de los índices de calidad o que siguen procedimientos "clásicos" y menos contrastables y más "arbitrarios")
 

ejemplo GOYA: pesquisa sobre los datos de evaluación externa y bibliometría

¿tiene evaluación externa?: SI (web de la revista) http://www.flg.es/revista-goya/normas-de-edicion
SI: en Latindex  http://www.latindex.org (http://www.latindex.org/latindex/ficha?folio=5956) (antes decía NO)
SI en ERIH+  https://dbh.nsd.uib.no/publiseringskanaler/erihplus/periodical/info.action?id=440994 / ERIH B (solo publica en español)

Más datos
Dialnet: http://dialnet.unirioja.es/servlet/revista?codigo=627 / (ofrece los datos de CIRC y CARHUS+2014)
CIRC en A / 
CARHUS+ en B / 
SJR (sale de Q1 a Q4 dependiendo del año) http://www.scimagojr.com/journalsearch.php?q=6000152801&tip=sid&clean=0
MIAR: http://miar.ub.edu/issn/0017-2715
no tiene el sello de calidad FECYT (listado http://calidadrevistas.fecyt.es/Paginas/Home.aspx) / 
RESH: http://epuc.cchs.csic.es/resh/ (ojo criterios CNEAI) (ojo criterios ANECA) / 
ANVUR revistas clase A no:  (lista de revistas aceptables / lista de revistas clase A: no)...
JSM Q3 (http://www.journal-scholar-metrics.infoec3.es/layout.php?id=journal&j_name=Goya)
no JCR, no Emerging Sources Citation Index (http://ip-science.thomsonreuters.com/cgi-bin/jrnlst/jlresults.cgi?PC=EX)

¿Porqué estos problemas?, le ocurre a cierto tipo de revistas de gran prestigio que corresponden a asociaciones científicas, fundaciones o instituciones peculiares (en este caso de Goya -Museo-Fundación Lázaro Galdiano-) que no tienen medios ni una política sistemática de inversión en gestión postpublicación y marketing de revistas.

b) que suponga un AVANCE del conocimiento (no reiterar lo ya publicado): como es un concepto opinable: explicarlo bien
 

CASO DE LA CNEAI

orden de 1994, 7.1.a) 
Se valorará la contribución al progreso del conocimiento, la innovación y creatividad de las aportaciones incluidas en el currículum vitae abreviado, considerando la situación general de la ciencia en España y las circunstancias de la investigación española en la disciplina correspondiente a cada evaluado y en el período a que corresponda la evaluación.

criterios específicos
B. Las aportaciones sólo serán valorables si significan progreso real del conocimiento. No se valorarán los trabajos meramente descriptivos o las reiteraciones de trabajos previos, excepto en los casos en que contribuyan claramente a la consolidación del conocimiento.

CASO DE LA ANECA (para Historia, Filosofía y Geografía)

En líneas generales se valorará en estas aportaciones que estén vinculadas al desarrollo o consolidación de líneas de investigación nuevas y verdaderamente relevantes en su ámbito científico; que estén relacionadas o hayan dado lugar a tesis doctorales o publicaciones de otros colegas, etc. No se valorarán los trabajos meramente descriptivos o las reiteraciones de trabajos que resulten redundantes desde el punto de vista conceptual o temático, salvo en los casos en los que contribuyan claramente a la ampliación y consolidación del conocimiento. Igualmente se tendrán en cuenta los indicios objetivos de calidad como, por ejemplo, número y calidad de las citas, reseñas especializadas etc. y la Comisión podrá considerar como indicio de calidad el Índice h (Ih). 

c) que sea RELEVANTE:
     - tamaño (un artículo de 2 páginas ¿es relevante?, depende de donde se publique y las citas que tenga)
     - participación relevante: un artículo con muchos firmantes ¿es relevante? (depende de la implicación del autor)
 

CNEAI: criterios específicos
C. Para que una aportación sea considerada, el solicitante deberá haber participado activamente en los trabajos que le dieron origen, como director o ejecutor del trabajo, y concretando su aportación específica a los mismos en los casos de multiautoría.
CASO DE LA ANECA (para Historia, Filosofía y Geografía)

Se valorará preferentemente la autoría única o en su caso coautoría principal. Se deberá haber participado destacadamente en la realización del trabajo y ocupar una posición preferente en el orden de firma (de no ser éste aleatorio), justificando las tareas concretas realizadas. Un elevado número de autores, en el contexto del área de conocimiento, reducirá la valoración, salvo que ello estuviera plenamente justificado por la complejidad del tema y la extensión del trabajo. 

     - tipo de trabajo: no divulgativo, ni recopilación de documentación, ni traducción, etc...
 

CNEAI: orden de 1994, 7.1.b) 
Se primarán los trabajos formalmente científicos o innovadores frente a los meramente descriptivos, a los que sean simple aplicación de los conocimientos establecidos o a los de carácter divulgativo. Estos últimos sólo podrán llegar a tener valor complementario, salvo en circunstancias especiales apreciadas por el órgano evaluador.

 
CASO DE LA ANECA (para Historia, Filosofía y Geografía)

No se valorarán en este apartado publicaciones con carácter docente, artículos y obras de opinión o divulgación, así como reseñas, prólogos o introducciones convencionales. Igualmente se excluyen las comunicaciones o ponencias en congresos, salvo que de manera clara respondan a criterios de calidad como los exigidos a las revistas científicas, libros y capítulos de libros. Se podrán valorar ediciones críticas con estudio  preliminar o, en su caso, ponencias invitadas en congresos de relevancia y en función también de la entidad editora. 

d) que la línea de investigación sea COHERENTE
   - con el resto del cv (firmas en aluvión)
   - con lo que se hace en el campo (por ejemplo las obras de teología -de carácter confesional-) pero problemas para diferenciar la creatividad, novedad, ruptura de las constricciones de una disciplina y metodologías apriorísticas (ojo con arqueología creativa)...

   - OJO: problema con las investigaciones locales: suelen estár mal evaluadas no porque no sean coherentes sino por su impacto (el medio de difusión utilizado): hay darles visibilidad (¿cómo?: mucho que discutir sobre esto... escribir ¿en inglés?, en las áreas de humanidades hay una cierta resistencia quizá hasta por los problemas para exponer reflexiones complejas en inglés (en especial si no eres nativo) o porque la investigación en lengua inglesa es secundaria, o confusa (solo citan lo que está en inglés-solo leen lo que está en inglés: puede haber una pobreza de memoria muy grande-, en otros campos el inglés es el único aceptable...)

e) que tenga un IMPACTO destacable por el MEDIO DE DIFUSIÓN EMPLEADO
- de impacto relevante en el campo (nuevos criterios: incluir número de descargas en caso de revistas o publicaciones con versión online (si que lo tienen en cuenta) / descargas en repositorios (Academia / Research Gate)

PERO Depende del campo de investigación, hay grandes diferencias (corresponde a los criterios específicos estar al día de lo que se estima adecuado).


4) RESUMEN: potenciar las fortalezas de nuestras publicaciones en relación con lo que se exige en nuestros campos específicos

1) Organizar nuestra carrera de publicaciones pensando en no insistir en publicar mucho de lo que esté explícitamente excluido en CNEAI o que no tenga valor reconocido en Academia de ANECA.
 

CNEAI Orden del Ministerio de Educación y Ciencia de 2 de diciembre de 1994, por la que se establece el procedimiento de evaluación de la actividad investigadora. (BOE el 3/12/1994)

a) Se considerarán como ordinarias las aportaciones de:
Libros, capítulos de libros, prólogos, introducciones y anotaciones a textos de reconocido valor científico en su área de conocimiento.
Artículos de valía científica en revistas de reconocido prestigio en su ámbito.
Patentes, o modelos de utilidad, de importancia económica demostrable. 
b) Se considerarán como extraordinarias las aportaciones de: 
Informes, estudios y dictámenes. 
Trabajos técnicos o artísticos. 
Participación relevante en exposiciones de prestigio, excavaciones arqueológicas o catalogaciones. 
Dirección de tesis doctorales de méritos excepcionales. 
Comunicaciones a congresos, como excepción. 
En todos los casos las aportaciones deberán constituir fruto de la labor personal del solicitante en el ámbito de las ciencias, las artes o la técnica y ser de público conocimiento. 

Academia de ANECA: http://www.aneca.es/Programas-de-evaluacion/ACADEMIA/Criterios-de-evaluacion-noviembre-2017

Adecuar lo más posible a lo valorado, que sería
 

Por ejemplo para Titular de Universidad (p. 41) en Historia, Filosofía y Geografía: al menos 25 publicaciones con las SIGUIENTES SALVEDADES:
"Cuando se trate de artículos científicos, la mitad habrán de estar publicados preferentemente en los últimos 10 años y en revistas indexadas en Web of Science (Journal Citation Reports) o en posiciones preferentes de SJR (Scimago Journal Rank) (primer y segundo cuartil), sin que necesariamente se valoren por igual unas y otras. El resto de los artículos habrán de estar editados en revistas que cuenten con el sello de calidad de la FECYT. Excepcionalmente se valorarán artículos publicados en revistas que, no cumpliendo con alguno de los criterios anteriores, a juicio de la Comisión satisfagan suficientemente exigencias de calidad. Se ha de tener en cuenta que la mera inclusión de una revista en un repertorio o catálogo, sin que incluya índices de gradación, no es en sí misma indicio de calidad. Se tomará como referencia el año de publicación del artículo para la estimación del factor de impacto (o el último disponible con una ventana de cinco años).
Tratándose de libros y capítulos de libros, habrán de estar publicados por editoriales especializadas y de claro prestigio en el área de conocimiento y que cuenten con procesos de evaluación externa y rigurosa selección de originales. Se valorarán preferentemente las que ocupen posiciones destacadas, en su correspondiente especialidad, en Scholarly Publishers Indicators (SPI). También se valorará la publicación en colecciones de editoriales universitarias que cuenten con el sello de Calidad en Edición Académica (CEA), siempre que la publicación sea posterior a la concesión del mismo y esté vigente. Podrán tenerse en cuenta, en todo caso, aquellas publicaciones en las que puedan apreciarse evidencias de calidad equiparables".

 
 
CASO DE LA ANECA (para Filología y Lingüística)

Tratándose de artículos científicos, al menos 12 habrán de ser artículos en revistas de primer nivel. La Comisión valorará como indicios de calidad, entre otros posibles, la publicación en revistas de categoría relevante, por ejemplo, las indexadas en bases de datos de Web of Science (Journal Citation Reports), aquellas que ocupen posiciones relevantes en Scimago Journal Rank (SJR) o cuenten con el sello de calidad de la FECYT (sin que necesariamente se valoren por igual unas y otras). En cualquier caso, la mera indización o indexación de una publicación en un repertorio o una base de datos, sin que incluya índices de gradación, no es en sí misma un indicio de calidad.
En libros y capítulos de libros se presentarán al menos 2 libros. Para su evaluación se considerará la inclusión de la editorial en los primeros niveles de Scholarly Publishers Indicators (SPI) o la publicación en colecciones de editoriales universitarias que cuenten con el sello de calidad CEA o con prestigio reconocido. Podrán tenerse en cuenta, en todo caso, aquellas publicaciones en las que puedan apreciarse evidencias de calidad equiparables. El número de artículos en revistas de primer nivel podrá ser algo menor, a juicio de la Comisión, si se incluyen al menos 3 libros en editorial con las características señaladas.
La autoría debe ser, en principio, única, pudiéndose considerar aportaciones en coautoría si la materia y su tratamiento la exigiesen y no exceden los estándares habituales en la  especialidad. Igualmente se tendrán en cuenta los indicios objetivos de calidad como, por ejemplo, número y calidad de las citas, etc. La utilización de esos indicadores se entenderá siempre relativa al año de la aportación (o el último disponible con una ventana de cinco años).


 

2) Así... ¿Qué hacer con los libros?... si bien parece en muchos campos que solo valgan los artículos... pero en humanidades los libros son clave, pero EL LIBRO EN ESPAÑOL tiene una visibilidad internacional (fuera de países hispanoparlantes) muy baja... hay que buscar buenos criterios y los indicadores aceptable: el estándar (a pesar de su limitación) es SPI  (http://ilia.cchs.csic.es/SPI/index.html) que incluye tanto libro español como no español (en listas separadas).



INCLUYE CRITERIOS SOBRE LA EVALUACIÓN EXTERNA DE LOS LIBROS Y EL CONTROL DE LA CALIDAD DE LOS MANUSCRITOS POR PARTE DE LAS EDITORIALES

UN CRITERIO BÁSICO: OJO con las autoediciones, ediciones a la carta, ediciones pagadas por los autores (en homenajes, etc.),  en este tipo de ediciones no hay evaluación externa o no podría ser una evaluación neutral.

3) Buscar buenos congresos que tengan una clara evaluación externa a la hora de publicar nuestros resultados de investigación.

4) EN RESUMEN: ser contextuales, intentando organizar nuestro plen de publicaciones de modo reflexivo y no enterrar buenas investigaciones en revistas o publicaciones con poco impacto y poca calidad general.