Taller de pautas para solicitudes de acreditación
Material preparado
por: Francisco Díez de Velasco.
Universidad de La Laguna, en Talleres de Doctorandos de investigación y publicaciones en Geografía, XXVII Congreso de la Asociación Española de Geografía, Universidad de La Laguna, martes 14 de diciembre de 2021.
Diferencias notables en la evaluación, es mucho
más complicada y opinable en las áreas no plenamente bibliométricas
por lo que lo que tenemos que hacer para publicar en lugares adecuados
es conocer estas realidades.
Requiere tener en cuenta muchas más variables
a la hora de justificar que una publicación resulta adecuada para
nuestra trayectoria. Se trata de un elemento importante, por ejemplo, a
la hora de plantearse una tesis por compendio de publicaciones,
pero en general para planificar nuestra difusión de la investigación
desde los años de preparación del doctorado en adelante.
En qué me baso para hablarles: en mi propia experiencia como evaluador.
Se trata de buscar revistas y lugares de calidad e impacto donde publicar, ¿hay algún estándar?: se podría decir que sí el de ANECA.
PERO está
sometido a críticas y hay polémica en especial tras el informe de 2021
sobre revistas de comportamiento no estándar (descarga en zenodo: https://doi.org/10.5281/zenodo.5548490).
Y OJO: mucho cuidado con las denominadas revistas depredadoras (no hay un listado -imposible ya que no paran de cambiar- un truco puede ser revisar si están en MIAR http://miar.ub.edu/).
A pesar de todo el de ANECA será el estándar que usaremos, está en la página: www.aneca.es
De hecho seguiremos los criterios de ANECA-CNEAI (que están conectados).
1) Donde está más detallado es en los criterios de CNEAI para los sexenios de investigación
http://www.aneca.es/Programas-de-evaluacion/Evaluacion-de-profesorado/CNEAI
2) Pero también está planteado en los criterios
relativos a la investigación del programa ACADEMIA de ANECA
(acceso a cuerpos universitarios como funcionarios)
http://www.aneca.es/Programas-de-evaluacion/Evaluacion-de-profesorado/ACADEMIA
-acceso
local a los criterios de humanidades
-acceso local a los criterios
de ciencias
3) Y en el programa PEP (programa de evaluación
del profesorado) para el acceso a PAD (profesor ayudante doctor)
y PCD (profesor contratado doctor) y PUP (profesor de universidad
privada)
http://www.aneca.es/Programas-de-evaluacion/Evaluacion-de-profesorado/PEP
-acceso local a los criterios PEP
4) Y en aplicación de lo anterior, interesa lo que la ULL plantea para la baremación a la hora de las contrataciones de profesores PAD, PCD y demás
-baremo marco ULL (http://www.gobiernodecanarias.org/boc/2017/111/003.html)
-baremo específico del Departamento de Geografía e Historia (https://riull.ull.es/xmlui/handle/915/23162)
Aunque el organismo de evaluación clave a la hora
de determinar la calidad en la investigación científica en
España es la CNEAI (Comisión Nacional Evaluadora de
la Actividad Investigadora)
Web de la CNEAI (http://www.aneca.es/Programas-de-evaluacion/Evaluacion-de-profesorado/CNEAI)
-acceso local a los criterios
2020
-acceso al vídeo de la sesión del 14 de enero de 2021 sobre criterios para los sexenios (https://www.youtube.com/playlist?list=PLar-vZdlgTgv-61rXwaVaSiEMmV0PYYGz)
Hay que tener en cuenta que la calidad en la investigación es cada vez más el elemento clave en la promoción dentro de la carrera universitaria también en las áreas de HUMANIDADES Y CIENCIAS SOCIALES que se especifica en los programas PEP y Academia de ANECA, donde se evidencia bien claramente lo que más se puntúa en investigación.
| Criterios que debe reunir un medio de difusión
de la investigación para que las aportaciones que en él se
incluyan puedan ser consideradas «de impacto»
A. Criterios concernientes a la calidad de la revistacomo medio de comunicación científica: 1. Identificación de los miembros de los comités editoriales y científicos. 2. Instrucciones detalladas a las autoras/es. 3. Información sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial o comité de selección, incluyendo, por ejemplo, los criterios, procedimiento e informe para la aceptación de los originales a cargo de revisores o jueces preferentemente externos. Se pueden tomar como referencia los indicadores recogidos en el Scholarly Publishers Indicators. 4. Traducción del sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas. B. Criterios sobre la calidad del proceso editorial:
C. Criterios sobre la calidad científica de
las revistas:
|
DE TRATA DE LINEAS GENERALES... PERO HAY QUE FIJARSE EN LAS ESPECIFICIDADES POR ÁREAS que es donde se marca la diferencia entre las bibliométricas y las no bibliométricas...
Hay una tendencia hacia la convergencia de las poco bibliométricas hacia las plenamente bibliométricas...
Ejemplos: criterios
específicos:
| ÁREA BIBLIOMÉTRICA DE MODO PLENO: Ejemplo
1
Campo 2. Química El número de autores no será evaluable pero deberá estar justificado por el tema, su complejidad y extensión. Si el número de autores fuese superior a cinco se deberá detallar con exactitud la aportación concreta del solicitante. Se valorarán preferentemente los artículos publicados en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes del listado correspondiente a su categoría científica en el «Journal Citation Reports (JCR) Science Edition» Las revistas electrónicas se considerarán cuando aparezcan indexadas en el JCR Science Edition. El JRC de referencia para la evaluación será el del año de publicación del artículo. Para artículos publicados en el año de la convocatoria será el último JCR publicado. Los libros y capítulos de libros, si procede, se considerarán contribuciones extraordinarias (no se tienen casi en cuenta) . En su evaluación se tendrán en cuenta el prestigio internacional de la editorial, los editores, la colección en la que se publica la obra, y las reseñas recibidas en las revistas científicas especializadas. No se aceptará más que una aportación de este tipo entre las presentadas. A título orientativo se considera que para poder
alcanzar una evaluación positiva en las áreas de Química,
las cinco aportaciones deben ser artículos publicados en revistas
situadas en el primer cuartil dentro de las áreas científicas
en las que se clasifican las mismas en el JCR Science Edition.
|
| EJEMPLO DE TENDENCIA hacia la valoración de
lo bibliométrico: GEOGRAFÍA/HISTORIA
Campo 10/8: ... Con carácter orientador y no excluyente, para obtener
una evaluación positiva en las áreas de Geografía,
se considera, junto al contenido de la aportación, la relevancia
científica del medio de difusión en el que se encuentre publicada.
Como norma general, se requiere un mínimo de tres artículos
en revistas que cumplan los requisitos señalados en el apartado
3, obteniendo mayores puntuaciones aquellos que se encuentren publicados
en revistas internacionales de primer cuartil. Otras dos aportaciones pueden
presentarse en formato libro o capítulo de libro publicados en editoriales
de reconocido prestigio, situadas en posiciones relevantes en bases de
datos que cuenten con indicios de calidad. Se podrá valorar positivamente
una aportación de libro o de capítulo de libro publicados
por editoriales institucionales (incluidas las de carácter universitario),
siempre que concurran los requisitos señalados en el apartado 4.
La puntuación tendrá en cuenta el contenido de la aportación,
el cuartil en el que se sitúe la publicación (tanto en el
caso de revistas como de editoriales de libros) y el idioma de la aportación,
valorando el de mayor difusión en la literatura científica.
Los factores que pueden reducir la calificación asignada a una aportación
son los siguientes: un elevado número de autores no justificado
por la naturaleza y contenidos de la investigación; la publicación
recurrente y no justificada de artículos, de libros o de capítulos
de libro en una misma revista o editorial; y la publicación en revistas
o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante
realiza la investigación. Se podrá valorar positivamente
una sola aportación vinculada al mismo organismo donde el solicitante
realiza su investigación, siempre que concurran los restantes criterios. Apartado 4. En la valoración de libros y capítulos de libro se considerarán de manera especial el contenido de la aportación, la relevancia científica, el prestigio de la editorial y la existencia de un procedimiento selectivo para la aceptación de originales según sistemas recogidos en el Scholarly Publishers Indicators o, en su caso, de otros de características similares. Del mismo modo, también podrán tenerse en cuenta editoriales que hayan obtenido el sello de Calidad en Edición Académica (CEA-APQ). Se valorará la posición que ocupen en los rankings internacionales y nacionales, el número y carácter de las citas recibidas, las reseñas y críticas en revistas especializadas, la especialización de la colección, la traducción a otras lenguas, etc. Sin embargo no serán consideradas como nuevas aportaciones las traducciones de la propia obra a otras lenguas. |
A) Características de las áreas plenamente BIBLIOMÉTRICAS: aquellas para las que las bases de datos tienen criterios consensuados y ofrecen una información fiable (aunque siempre haya posiciones críticas respecto del modelo):
1) Trabajan con números, es decir índices de impacto (en que se han cruzado las citas de todos los artículos indexados -problema de los no indexados-), que permiten graduar las revistas según su impacto y el impacto de cada artículo en citas (se toman las citas como indices de calidad, como cuantificación de la calidad -¿y lo cualitativo?: se está teniendo cada vez más en cuenta, aunque pueda ser problemático a la hora de comparar currículos, ya que la mera bibliometría está siendo bastante puesta en duda: ejemplos Manifiesto de Leiden / Declaración de San Francisco-DORA)
2) Tienen estándares consensuados que permiten reconocer las revistas más relevantes que serían las más citadas: ¿es un criterio aceptable?: hay campos de investigación en que no es así, en especial los campos fronterizos, novedosos o alejados de las líneas principales de interés de la investigación (para determinar el prestigio e impacto general de una revista en el campo científico (los de humanidades quedan como irrelevantes) tenemos el eigenfactor: http://www.eigenfactor.org/projects/journalRank/journalsearch.php) (https://biblioguias.ulpgc.es/c.php?g=654413&p=4636375)
3) La idexación está muy desarrollada, pero siempre hay problemas con ámbitos lingüísticos diferentes del inglés (por ejemplo el chino cada vez más potente, pero también el español que está infravalorado) y cuanto más periféricos resulten respecto a la centralidad anglosajona y al uso del idioma inglés.
4) Tienen una actitud proactiva a la hora de abrirse a nuevas revistas si cumplen los estándares de relevancia y tenerlas en cuenta en las indexaciones con cierta celeridad.
5) Manejan datos con una proyección en el tiempo suficiente es decir datos de los artículos publicados en un lapso de tiempo suficiente para que resulte relevante la información sobre el impacto con que se cuente y del impacto general de la revista y su evolución (hay revistas que declinan y otras que ascienden). Para eso necesitan poder cruzar citas de los artículos en el número mayor de revistas posibles (incluir el aparato de citas de todos ellos y cruzar la información)
6) Cuentan con recursos para poner en marcha y mantener este complejo trabajo de indexación (genera problemas de mercantilización que puede distorsionar la acción de generación de datos fiables y las propias prácticas de actuación de las revistas -y los procesos de mercantilización de las mismas, como las evaluaciones ciegas por pares y demás procesos para garantizar la calidad e igualdad en la evaluación-). Está llevando a un proceso de profesionalización de las revistas que determina su mercantilización y la complejización de todos los procesos asociados (véase CRECS; http://www.crecs.info/, para el ámbito en lengua española), es una ardua labor, que exige muchos recursos para cumplir los estándares, surgiendo los especialistas en estos menesteres que casi no publican de otra cosa y dedican casi todos sus esfuerzos a este tipo de promoción... La mercantilización está en el núcleo de la presencia mínima de las humanidades, porque son campos que no generan casi recursos (aunque la posibilidad del uso y explotación masiva de datos (Big Data) está ayudando a la inclusión y también la visibilización, por ejemplo la que ha procurado google y su herramienta google scholar).
B) Características de las áreas POCO BIBLIOMÉTRICAS: aquellas para las que podemos encontrarnos
con excelentes revistas, aceptadas por la comunidad de investigadores como
de calidad (hay rankings basados en este tipo de criterios cualitativos),
que no han sido indexadas de modo sistemático en WOS, Scopus-SJR
y otros recursos que usen auténtica bibliometría (y no
solo inclusión en un listado sin índices de impacto o en
un ranking cualitativo basado en encuestas de apreciación por pares).
Los criterios bibliométricos en ellas resultan
poco adecuados o incluso claramente distorsivos porque, cuando existen,
reflejan muy pocas revistas (no hay un criterio inclusivo neutral a
la hora de hacer los listados de lo que se tiene en cuenta y lo que
no y juegan muchos factores -lingüísticos, de influencia de
áreas o países: casos de Francia o Italia... no digamos de
España, donde están supravaloradas las revistas del CSIC
porque tienen técnicos dedicados a la promoción, que las
universidades no tienen en igual medida).
Futuro de nuestras diciplinas: ¿hacia
lo plenamente bibliométrico?
Dependerá de si quedan adecuadamente reflejadas
las particularidades del trabajo en Humanidades y Ciencias Sociales y se
invierte lo suficiente en la inclusión de las revistas prestigiosas
que no se han indexado.
EJEMPLO: SJR (que tiene una apertura mayor que WOS
hacia las humanidades)
EJEMPLO el tratamiento de las RELIGIONES: SJR
(Scopus) supera mucho a JCR (que incluye muy pocas revistas de temas religiosos),
pero muchas revistas de prestigio (las más alejadas de las fórmulas
anglosajonas de entender la materia, que evidencian un sesgo lingüístico
contraproducente) están mal posicionadas en rankings, por ejemplo
las italianas o las francesas por muy clásicas que sean: SMSR (Studi
e materiali di storia delle religioni -acceso-)
o la RHR (Revue de l'Histoire des Religions -acceso-),
no están en SJR (el problema está en SJR, no en las
venerables revistas, RHR fundada en 1880 y SMSR fundada por Pettazzoni
en 1925...
-Para una revisión (personal) de herramientas (JCR / SJR y otros varios) con más detalles sobre las diferencias entre áreas bibliométricas y poco o no bibliométricas (pulse aquí)
II) LA ACTITUD ANTE LA EVALUACIÓN. Los criterios
de objetividad a la hora de justificar la calidad y el impacto de la investigación:
coherencia, relevancia, impacto.
1) La actitud ante la evaluación como elemento fundamental
Cuando vamos a someternos a evaluación (siempre que socializamos nuestra investigación lo hacemos) conviene:
a) No improvisar: mostrar RESPETO "institucional" al procedimiento y sus actores (evaluadores / plazos, etc). Dedicar tiempo a pensar lo que se quiere presentar, a reflexionar sobre lo que presentamos. A DETERMINAR SI ESTAMOS PRESENTÁNDOLO EN EL LUGAR OPORTUNO (revisar el perfil de la revista o la serie donde queremos publicar o el congreso al que queremos asistir).
b) conocer y aplicar los criterios por los que se nos va a evaluar: facilitar el trabajo de evaluación ahorrando problemas DE FORMA (escribir un buen español-un buen inglés) y DE FORMATO (aplicar el ars citandi en las revistas, no excederse de las matrices tipográficas máximas, usar la caja que nos sugieran...).
c) Ser contextuales:
Conocer (dentro de lo posible) quienes nos evaluarán
(comités de las revistas, listas de evaluadores...)
2) Los criterios de objetividad a la hora de justificar
la calidad y el impacto de la investigación en las áreas
no bibliométricas
a) CLAVE que se suponga una EVALUACIÓN
EXTERNA: que no se pueda suponer un trato de favor (revistas de la
que se es miembro del comité / publicaciones en el propio OPI (Organismo
Público de Investigación) / repetición de publicaciones
en otro OPI -que podría evidenciar trato de favor- / publicaciones
sin evaluación externa (ojo con los cursos de verano camuflados
- congresos sin evaluación, etc., pero límites y problemas
en las bases de datos (ocurre por ejemplo en revistas prestigiosas que
quizá no han entrado plenamente en la vorágine de los índices
de calidad o que siguen procedimientos "clásicos" y menos contrastables
y más "arbitrarios")b) que suponga un AVANCE del conocimiento
(no reiterar lo ya publicado): es un concepto opinable
| CASO DE LA CNEAI
orden de 1994, 7.1.a)
criterios específicos
|
| CASO DE LA ANECA (para Historia, Filosofía
y Geografía)
En líneas generales se valorará en estas aportaciones que estén vinculadas al desarrollo o consolidación de líneas de investigación nuevas y verdaderamente relevantes en su ámbito científico; que estén relacionadas o hayan dado lugar a tesis doctorales o publicaciones de otros colegas, etc. No se valorarán los trabajos meramente descriptivos o las reiteraciones de trabajos que resulten redundantes desde el punto de vista conceptual o temático, salvo en los casos en los que contribuyan claramente a la ampliación y consolidación del conocimiento. Igualmente se tendrán en cuenta los indicios objetivos de calidad como, por ejemplo, número y calidad de las citas, reseñas especializadas etc. y la Comisión podrá considerar como indicio de calidad el Índice h (Ih). |
c) que sea RELEVANTE:
- tamaño (un artículo
de 2 páginas ¿es relevante?, depende de donde se publique
y las citas que tenga)
- participación
relevante: un artículo con muchos firmantes ¿es relevante?
(depende de la implicación del autor)
| CNEAI: criterios específicos
C. Para que una aportación sea considerada, el solicitante deberá haber participado activamente en los trabajos que le dieron origen, como director o ejecutor del trabajo, y concretando su aportación específica a los mismos en los casos de multiautoría. |
| CASO DE LA ANECA (para Historia, Filosofía
y Geografía)
Se valorará preferentemente la autoría única o en su caso coautoría principal. Se deberá haber participado destacadamente en la realización del trabajo y ocupar una posición preferente en el orden de firma (de no ser éste aleatorio), justificando las tareas concretas realizadas. Un elevado número de autores, en el contexto del área de conocimiento, reducirá la valoración, salvo que ello estuviera plenamente justificado por la complejidad del tema y la extensión del trabajo. |
- tipo de trabajo: no
divulgativo, ni recopilación de documentación, ni traducción,
etc...
| CNEAI: orden de 1994, 7.1.b)
Se primarán los trabajos formalmente científicos o innovadores frente a los meramente descriptivos, a los que sean simple aplicación de los conocimientos establecidos o a los de carácter divulgativo. Estos últimos sólo podrán llegar a tener valor complementario, salvo en circunstancias especiales apreciadas por el órgano evaluador. |
| CASO DE LA ANECA (para Historia, Filosofía
y Geografía)
No se valorarán en este apartado publicaciones con carácter docente, artículos y obras de opinión o divulgación, así como reseñas, prólogos o introducciones convencionales. Igualmente se excluyen las comunicaciones o ponencias en congresos, salvo que de manera clara respondan a criterios de calidad como los exigidos a las revistas científicas, libros y capítulos de libros. Se podrán valorar ediciones críticas con estudio preliminar o, en su caso, ponencias invitadas en congresos de relevancia y en función también de la entidad editora. |
d) que la línea de investigación sea
COHERENTE
- con el resto del cv (firmas en aluvión)
- con lo que se hace en el campo (por ejemplo
las obras de teología -de carácter confesional-) pero problemas
para diferenciar la creatividad, novedad, ruptura de las constricciones
de una disciplina y metodologías apriorísticas (ojo con arqueología
creativa)...
- OJO: problema con las investigaciones
locales: suelen estár mal evaluadas no porque no sean coherentes
sino por su impacto (el medio de difusión utilizado): hay darles
visibilidad (¿cómo?: mucho que discutir sobre esto... escribir
¿en inglés?, en las áreas de humanidades hay una cierta
resistencia quizá hasta por los problemas para exponer reflexiones
complejas en inglés (en especial si no eres nativo) o porque la
investigación en lengua inglesa es secundaria, o confusa (solo citan
lo que está en inglés-solo leen lo que está en inglés:
puede haber una pobreza de memoria muy grande-, en otros campos el inglés
es el único aceptable...)
e) que tenga un IMPACTO destacable por el MEDIO
DE DIFUSIÓN EMPLEADO
- de impacto relevante en el campo (nuevos criterios:
incluir número de descargas en caso de revistas o publicaciones
con versión online (si que lo tienen en cuenta) / descargas en repositorios
(Academia / Research Gate)
PERO Depende del campo de investigación, hay grandes diferencias (corresponde a los criterios específicos estar al día de lo que se estima adecuado).
III) RESUMEN: potenciar las fortalezas de nuestras publicaciones
en relación con lo que se exige en nuestros campos específicos
1) Organizar nuestra carrera de publicaciones pensando
en no insistir en publicar mucho de lo que esté explícitamente
excluido en CNEAI o que no tenga valor reconocido en Academia o PEP de
ANECA.
| CNEAI Orden del Ministerio de Educación
y Ciencia de 2 de diciembre de 1994, por la que se establece el procedimiento
de evaluación de la actividad investigadora. (BOE el 3/12/1994)
a) Se considerarán como ordinarias las aportaciones
de:
|
Academia de ANECA:
Adecuar lo más posible a lo valorado, que sería
| Por ejemplo para Titular de Universidad (p.
41) en Historia, Filosofía y Geografía: al menos 25 publicaciones
con las SIGUIENTES SALVEDADES:
"Cuando se trate de artículos científicos, la mitad habrán de estar publicados preferentemente en los últimos 10 años y en revistas indexadas en Web of Science (Journal Citation Reports) o en posiciones preferentes de SJR (Scimago Journal Rank) (primer y segundo cuartil), sin que necesariamente se valoren por igual unas y otras. El resto de los artículos habrán de estar editados en revistas que cuenten con el sello de calidad de la FECYT. Excepcionalmente se valorarán artículos publicados en revistas que, no cumpliendo con alguno de los criterios anteriores, a juicio de la Comisión satisfagan suficientemente exigencias de calidad. Se ha de tener en cuenta que la mera inclusión de una revista en un repertorio o catálogo, sin que incluya índices de gradación, no es en sí misma indicio de calidad. Se tomará como referencia el año de publicación del artículo para la estimación del factor de impacto (o el último disponible con una ventana de cinco años). Tratándose de libros y capítulos de libros, habrán de estar publicados por editoriales especializadas y de claro prestigio en el área de conocimiento y que cuenten con procesos de evaluación externa y rigurosa selección de originales. Se valorarán preferentemente las que ocupen posiciones destacadas, en su correspondiente especialidad, en Scholarly Publishers Indicators (SPI). También se valorará la publicación en colecciones de editoriales universitarias que cuenten con el sello de Calidad en Edición Académica (CEA), siempre que la publicación sea posterior a la concesión del mismo y esté vigente. Podrán tenerse en cuenta, en todo caso, aquellas publicaciones en las que puedan apreciarse evidencias de calidad equiparables". |
2) Así... ¿Qué hacer con los libros?... si bien parece en muchos campos que solo valgan los artículos... aunque los libros pueden ser relevantes, pero EL LIBRO EN ESPAÑOL tiene una visibilidad internacional (fuera de países hispanoparlantes) muy baja... hay que buscar buenos criterios y los indicadores aceptable: el estándar (a pesar de su limitación) es SPI (http://ilia.cchs.csic.es/SPI/index.html) que incluye tanto libro español como no español (en listas separadas).
INCLUYE CRITERIOS SOBRE LA EVALUACIÓN EXTERNA DE LOS LIBROS Y EL CONTROL DE LA CALIDAD DE LOS MANUSCRITOS POR PARTE DE LAS EDITORIALES
UN CRITERIO BÁSICO: OJO con las autoediciones, ediciones a la carta, ediciones pagadas por los autores (en homenajes, etc.), en este tipo de ediciones no hay evaluación externa o no podría ser una evaluación neutral.
3) Buscar buenos congresos (internacionales de preferencia) que tengan una clara evaluación externa a la hora de publicar nuestros resultados de investigación.
4) EN RESUMEN: ser contextuales,
intentando organizar
nuestro plan de publicaciones de modo reflexivo y no enterrar buenas
investigaciones
en revistas o publicaciones con poco impacto y poca calidad y prestigio
general (salvo que sean de muy amigos, claro está, donde primen otros
criterios que los meramente impersonales de una carrera en que cada
segundo se aproveche al máximo).