Francisco Díez
de Velasco. Universidad de La Laguna, Actividad 16174202 de formación
del profesorado del Vicerrectorado de docencia. 28 de noviembre de 2016
0) Motivación y objetivos:
La solicitud de sexenios de investigación presenta
particularidades en las áreas no bibliométricas, es decir
en aquellas para las que no hay procedimientos suficientemente desarrollados
de análisis cuantitativo del impacto y calidad de las publicaciones
científicas.
La evaluación ha de tener en cuenta, a la hora
de determinar los criterios de impacto y calidad, un número de factores
variable y numeroso. Una documentación adecuadamente razonada e
incidiendo en elementos contrastables y objetivos (y no de carácter
subjetivo) por parte de los solicitantes puede determinar un mayor éxito
en el resultado.
El objetivo es proponer estrategias para una más
eficaz justificación de los méritos investigadores que se
escojan y presenten en la convocatoria de evaluación de la actividad
investigadora del profesorado universitario.
I) La evaluación de la actividad investigadora y las diferencias entre las áreas bibliométricas y no bibliométricas
-Diferencias notables en el trabajo de evaluación, es mucho más complicado y opinable en las áreas no bibliométricas, aunque haya una tendencia hacia la convergencia de las segundas hacia las primeras...
Ejemplos: (Resolución
de 24 de noviembre de 2016 de criterios específicos: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11189)
ÁREA BIBLIOMÉTRICA DE MODO PLENO: Ejemplo
1
Campo 2. Química
2. El número de autores no será evaluable pero deberá estar justificado por el tema, su complejidad y extensión. Si el número de autores fuese superior a cinco se deberá detallar con exactitud la aportación concreta del solicitante. 3. Se valorarán preferentemente los artículos publicados en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes del listado correspondiente a su categoría científica en el «Journal Citation Reports (JCR) Science Edition» Las revistas electrónicas se considerarán cuando aparezcan indexadas en el JCR Science Edition. El JRC de referencia para la evaluación será el del año de publicación del artículo. Para artículos publicados en el año de la convocatoria será el último JCR publicado. 4. Los libros y capítulos de libros, si procede, se considerarán contribuciones extraordinarias. En su evaluación se tendrán en cuenta el prestigio internacional de la editorial, los editores, la colección en la que se publica la obra, y las reseñas recibidas en las revistas científicas especializadas. No se aceptará más que una aportación de este tipo entre las presentadas. 5. En las patentes se valorará si están en explotación, demostrada mediante contrato de compraventa o contrato de licencia. Respecto a patentes concedidas sin estar en explotación, sólo se valorarán si la concesión se ha llevado a cabo con examen previo (tipo B2). Se tendrá en cuenta la extensión de la protección de la patente (nacional, europea, internacional), valorándose más la de protección más extensa. 6. A título orientativo se considera que para
poder alcanzar una evaluación positiva en las áreas de Química,
las cinco aportaciones deben ser artículos publicados en revistas
situadas en el primer cuartil dentro de las áreas científicas
en las que se clasifican las mismas en el JCR Science Edition.
El año pasado (Resolución de 26 de noviembre de 2015 de criterios específicos: http://www.boe.es/diario_boe/txt.php?id=BOE-A-2015-12970) incluía al final del apartado 6 lo siguiente (se ha endurecido): Podrá también obtenerse evaluación positiva con cuatro artículos en revistas situadas en el primer cuartil y uno en revistas del segundo, siempre que entre los anteriores haya una contribución de muy alta calidad, publicada en revistas que ocupen los primeros lugares. |
ÁREA BIBLIOMÉTRICA DE MODO PLENO: Ejemplo
2
Campo 3. Biología Celular y Molecular
2. El número de autores de la aportación deberá estar en consonancia con la complejidad del estudio o su extensión. El número de autores no se graduará para la evaluación de la aportación si el solicitante tiene participación relevante en el trabajo. Se considerará esa relevancia el ocupar posición de primer o último firmante, de no ser el orden aleatorio, o figurar como autor de correspondencia. 3. Se valorarán los artículos publicados en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes del listado correspondiente a su categoría científica en el «Journal Citation Reports (JCR) Science Edition» Las revistas electrónicas se considerarán cuando aparezcan indexadas en el JCR Science Edition. El JRC de referencia para la evaluación será el del año de publicación del artículo. Para artículos publicados en el año de la convocatoria será el último JCR publicado. El solicitante deberá figurar como autor relevante en al menos uno de los artículos sometidos a evaluación. Los artículos deberán estar publicados en revistas que pertenezcan a las categorías científicas del campo de Biología Celular y Molecular y del ámbito de las Biociencias moleculares en general. 4. En la evaluación de los libros y capítulos de libros, si procede, se tendrá en cuenta el prestigio internacional de la editorial, los editores, la colección en la que se publica la obra, y las reseñas recibidas en las revistas científicas especializadas. No se aceptará más de una aportación de este tipo, cuya valoración máxima será la de artículos científicos publicados en revistas del cuarto cuartil. 5. En las patentes se valorará si están en explotación, demostrada mediante contrato de compraventa o contrato de licencia. Respecto a patentes concedidas sin estar en explotación, sólo se valorarán si la concesión se ha llevado a cabo con examen previo (tipo B2). Las patentes en explotación internacional o europea podrán valorarse como equivalentes a una publicación de nivel alto. En explotación nacional podrá valorarse como equivalente a una publicación de nivel alto-medio. La presentación de una patente y de un artículo vinculado con el desarrollo de la misma o sus resultados no se valorarán como dos aportaciones distintas. 6. Con carácter orientador, se considera
que para poder alcanzar una evaluación positiva en las áreas
de Biología Celular y Molecular se deben cumplir algunos de los
siguientes requisitos:
|
EJEMPLO DE TENDENCIA hacia la valoración de
lo bibliométrico: GEOGRAFÍA
Campo 10/9: A título de orientación, para obtener una evaluación positiva en las áreas relacionadas con la Geografía, se requiere un mínimo de tres artículos en revistas que cumplan los requisitos señalados en el apartado 3, pudiendo ser las otras dos aportaciones libros o capítulos de libros publicados en editoriales con reconocido prestigio, situadas en posiciones relevantes, por ejemplo, en el ranking de Scholarly Publisher Indicators (SPI) para evaluación de editoriales de libros en Humanidades y Ciencias Sociales. La puntuación tendrá en cuenta el cuartil en el que se sitúa la publicación (tanto en el caso de revistas como de editoriales de libros), y el idioma de la aportación, valorando el de mayor difusión en la literatura científica. Así, la mayor puntuación la obtendrán los artículos publicados en revistas internacionales del primer cuartil en JCR Social Sciences Edition. Los factores que podrían reducir la calificación asignada a una aportación son: un elevado número de autores no justificado por la naturaleza y contenidos de la investigación; la publicación en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza la investigación; y la publicación recurrente y no justificada de artículos en una misma revista. Se podrá valorar positivamente únicamente una aportación de libros o capítulos de libros publicados por editoriales institucionales (incluidas las de carácter universitario), o de aportaciones vinculadas al mismo organismo donde el solicitante realiza su investigación, siempre que concurran los restantes criterios. Apartado 3. En la valoración de los artículos se atenderá al medio de difusión empleado, aceptándose como indicio de calidad la publicación en revistas de reconocida valía. La inclusión de las revistas en bases de datos internacionales se considerará como una referencia de calidad; específicamente las indexadas en las bases de datos de la Web of Science (Arts and Humanities Citation Index, Social Science Citation Index, Journal Citation Reports, y Emerging Sources Citation Index) o las que ocupen posiciones relevantes en Scimago Journal Rank, También se tendrán en cuenta como referencia de calidad las revistas incluidas en la International Medieval Bibliography, RILMS Abstracts of Music Literature, etc. Igualmente se podrán considerar otras revistas nacionales e internacionales que pudiendo estar incluidas en diferentes bases de datos presenten a juicio del comité asesor indicios de calidad equiparables y satisfagan los criterios especificados en el Apéndice de esta Resolución. Las revistas electrónicas estarán sujetas a los mismos criterios que las demás. La mera indización o indexación de una publicación en un repertorio o una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad. OJO: En 2015 SE RELAJARON LOS CRITERIOS RESPECTO DEL
AÑO
2014 que eran:
|
Características de las áreas plenamente
bibliométricas: aquellas para las que las bases de datos tienen
criterios consensuados y ofrecen una información fiable (aunque
siempre haya posiciones críticas respecto del modelo).
1) Trabajan con números,
es decir índices de impacto, que permiten graduar las revistas según
su impacto y el impacto de cada artículo en citas (se toman las
citas como indices de calidad, como cuantificación de la calidad
-¿y lo cualitativo?)
2) Tienen estándares
consensuados que permiten reconocer las revistas más relevantes
(las más citadas)
3) Tienen una actitud
proactiva a la hora de abrirse a nuevas revistas si cumplen los estándares
de relevancia y tenerlas en cuenta en las indexaciones con cierta celeridad
4) manejan datos con una
proyección
en el tiempo suficiente es decir datos de los artículos publicados
en un lapso de tiempo suficiente para que resulte relevante la información
sobre el impacto con que se cuente. Para eso necesitan poder cruzar
citas de los artículos en el número mayor de revistas
posibles (incluir el aparato de citas de todos ellos y cruzar la información)
5) cuentan con recursos
para poner en marcha y mantener este complejo trabajo de indexación
(genera problemas de mercantilización que puede distorsionar
la acción de generación de datos fiables y las propias prácticas
de actuación de las revistas -y los procesos de mercantilización
de las mismas, como las evaluaciones ciegas por pares y demás procesos
para garantizar la calidad e igualdad en la evaluación-)...
Características de las áreas poco o no
bibliométricas: aquellas para las que podemos encontrarnos con
excelentes revistas, aceptadas por la comunidad de investigadores como
de calidad (hay rankings basados en este tipo de criterios cualitativos),
que no han sido indexadas en WOS, Scopus y otros recursos que usen auténtica
bibliometría (y no solo inclusión en un listado sin índices
de impacto o en un ranking cualitativo basado en encuestas de apreciación
por pares). Los criterios bibliométricos en ellas resultan poco
adecuados o incluso claramente distorsivos porque cuando existen
reflejan muy pocas revistas (no hay un criterio inclusivo neutral a la
hora de hacer los listados de lo que se tiene en cuenta y lo que no y juegan
muchos factores -lingüísticos, de influencia de áreas
o países: casos de Francia o Italia... no digamos de España).
Futuro de nuestras diciplinas de humanidades: ¿hacia
lo bibliométrico?
Dependerá de si quedan adecuadamente reflejadas
las particularidades del trabajo en Humanidades y Ciencias Sociales y se
invierte lo suficinete en la inclusión de las revistas prestigiosas
que no se han indexado.
-Para una revisión (personal) de herramientas (JCR / SJR y otros varios) (pulse aquí)
-En la web de la Biblioteca de la ULL tienen muchos enlaces y herramientas: http://www.bbtk.ull.es/view/institucional/bbtk/Indices_de_calidad/es
II) La actitud ante la evaluación como elemento fundamental en la presentación de las solicitudes
Como en cualquier otro de nuestras actividades sometidas
a evaluación (envío de artículos a revistas / solicitud
de proyectos de investigación, etc.) o lo que nosotros pedimos cuando
evaluamos (a nuestros alumnos / en revistas, etc.), pero hay que tener
en cuenta que sería como ocurre con el alumnado de una optativa,
cursarla no es obligatorio, por tanto la actitud positiva es clave:
1) No improvisar (caso de la solicitud presentada
el 31 de diciembre a las 11 horas de la noche en la Policia Nacional):
conviene mantener un RESPETO "institucional" al procedimiento y sus actores
aunque seamos críticos frente al mismo:
-y nos parezca quizá que no
es el mejor sistema o que sería muy mejorable, por ejemplo si no
se trabajase con indicadores secundarios y se pudiesen incluir los pdf
de la producción como por ejemplo se hace en Italia
-o que parezca un complemento de productividad
investigadora, pero más bien sería de excelencia investigadora,
que se usa para muchos asuntos que van más allá de nuestra
faceta como investigadores (para la docencia, -para computar la carga docente-
o quizá hasta para la gestión -ciertos puestos de gestión-).
Se prima la excelencia, la nota mínima es el 6
no el 5... 6 de media en la suma de las 5 contribuciones (equilibrar
lo que se presenta, reflexionar sobre el propio cv para escoger lo más
adecuado)
2) Seguir los pasos del procedimiento: podemos llegar a la información desde:
A) la página del vicerrectorado
de investigación de la ULL:
http://www.ull.es/view/institucional/ull/Componentes_por_meritos_de_investigacion_sexenios/es
B) la página de apoyo
de la Biblioteca de la ULL:
http://www.bbtk.ull.es/view/institucional/bbtk/Indices_de_calidad/es
C) desde la web de la CNEAI:
http://www.mecd.gob.es/ministerio-mecd/organizacion/organismos/cneai.html
(1 / 2) (no
está puesta al día, ojo)
En la web de la CNEAI la que sí está
al día es la página de convocatoria:
http://www.mecd.gob.es/servicios-al-ciudadano-mecd/catalogo/general/educacion/050920/ficha.html
|
Los dos documentos clave que tenemos que tener presentes
para 2016 son:
a) la resolución de presentación
de solicitudes:
Resolución
de 30 de noviembre de 2016, de la Secretaría de Estado de Educación,
Formación Profesional y Universidades, por la que se fija el procedimiento
y plazo de presentación de solicitudes de evaluación de la
actividad investigadora a la Comisión Nacional Evaluadora de la
Actividad Investigadora en que se plantean de modo general los indicios
de calidad (http://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11464)
b) los criterios específicos
(puesta al día 2016, BOE del sábado 26 de noviembre)
Resolución de 24
de noviembre de 2016 de la Comisión Nacional Evaluadora de la
Actividad Investigadora, por la que se publican los criterios específicos
aprobados para cada uno de los campos de evaluaciónde criterios
específicos: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11189).
3) conocer y aplicar los criterios generales por
los que se nos va a evaluar
Quienes se pueden presentar:
Resolución de 30 de noviembre de 2016, de la Secretaría de Estado de Educación, Formación Profesional y Universidades, por la que se fija el procedimiento y plazo de presentación de solicitudes de evaluación de la actividad investigadora a la Comisión Nacional Evaluadora de la Actividad Investigadora "a) Aquellos cuyo último tramo evaluado positivamente
termine el 31 de diciembre de 2010 o hubiera terminado en años anteriores.
|
Los tres elementos y en especial las aportaciones del
cv abreviado:
Resolución de 30 de noviembre de 2016, de la Secretaría de Estado de Educación, Formación Profesional y Universidades, por la que se fija el procedimiento y plazo de presentación de solicitudes de evaluación de la actividad investigadora a la Comisión Nacional Evaluadora de la Actividad Investigadora en que se plantean de modo general los indicios de calidad "Las instrucciones de tramitación se encuentran en el enlace «¿Cómo tramitar?»: a) Impreso de solicitud firmado. b) Currículum vítae abreviado que
se genera al cumplimentar la aplicación de solicitud y limitado
a las cinco aportaciones que el interesado quiera someter a evaluación.
c) Currículum vítae completo (se desarrolla a continuación en la tabla siguiente) d) Hoja de servicios original actualizada del período cuya evaluación se solicita, en el que conste el régimen de dedicación del solicitante durante dicho período. e) Si la investigación se ha realizado en un centro que no figura en la «hoja de servicios», deberá adjuntarse una copia de los contratos, nombramientos, credenciales de becario o documentos fehacientes similares, y que incluyan periodo de tiempo y régimen de dedicación. Deberá en todo caso tratarse de un centro docente superior o cuya actividad primordial y regular sea la investigación. |
Y lo que ha de llevar el cv (y recomiendan el CVN
(problemas del cvn), el doi de las publicaciones (pero no
vale solo el doi, tiene que haber sido efectivamente publicada)
Resolución de 30 de noviembre de 2016
c) Currículum vítae completo, que se cumplimentará siguiendo el siguiente modelo: 1. Historial científico.
Se recomienda que el currículum vítae incluya exclusivamente las actividades de investigación, desarrollo e innovación. Asimismo, se recomienda que se aporte el «DOI» (digital object identifier) de las publicaciones que dispongan del mismo. También se recomienda la presentación del currículum vítae en el formato normalizado CVN. |
criterios específicos 2016
D. Todas las aportaciones deberán estar publicadas en los años que se someten a evaluación. No se tendrán en cuenta la publicaciones aceptadas o en proceso de edición y, por tanto, no efectivamente publicadas en esos años. La existencia de un identificador «DOI» (Digital Object Identifier) asociado a una publicación con edición digital e impresa no significa que el artículo esté ya publicado en ese segundo formato, teniéndose por válidas y definitivas a estos efectos únicamente las fechas que figuren en el volumen impreso por poder existir diferencias en la datación de una y otra versión. |
Algunas ideas y reflexiones (personales) respecto del
CVN y su utilidad y cómo prepararlo para la convocatoria de sexenios:
(pulse aquí)
Resolución de 30 de noviembre de 2016,
otros elementos de la evaluación y procedimiento:
3.2 La CNEAI podrá solicitar en cualquier momento del procedimiento administrativo los documentos originales a partir de los cuales se generaron los archivos electrónicos incorporados a la solicitud, con el fin de contrastar su validez y concordancia. 3.3 La CNEAI se reserva el derecho de actuar legalmente contra aquellos que modificaran o alteraran aquellos documentos originales para generar los archivos electrónicos incluidos en la solicitud. 3.4 Tanto en la sede electrónica del Ministerio de Educación, Cultura y Deporte https://sede.educacion.gob.es, sección «Trámites y servicios», como en la dirección electrónica www.educacion.gob.es/cneai se podrá acceder a los medios electrónicos para la cumplimentación y envío telemático de los impresos y anexos, así como al texto de la resolución que especifica los criterios de evaluación. En esta misma dirección se podrá realizar el seguimiento de la tramitación de las solicitudes. 3.5 A través de la sede electrónica del Ministerio de Educación, Cultura y Deporte se podrán obtener duplicados de los justificantes de los escritos presentados por registro electrónico (https://sede.educacion.gob.es/registro.electrónico.html). 5.1 Corresponde a la CNEAI instruir el procedimiento de evaluación de la actividad investigadora. 5.2 Para desempeñar su cometido, la CNEAI recabará el asesoramiento de la comunidad científica, articulándolo a través de Comités Asesores por campos científicos, cuya relación será oportunamente publicada. 5.3 En el proceso se tendrán en cuenta exclusivamente los documentos presentados con la solicitud, por lo que se prescindirá del trámite de audiencia, de conformidad con lo establecido en el artículo 82.4 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas. |
Resolución de 30 de noviembre de 2016,
el marco de la evaluación:
6. Criterios de evaluación.
7. Procedimiento de evaluación.
|
4) conocer y aplicar los criterios específicos de cada campo (lo desarrollaremos luego), aparecen en la ya citada:
Resolución de 24
de noviembre de 2016 de la Comisión Nacional Evaluadora de la
Actividad Investigadora, por la que se publican los criterios específicos
aprobados para cada uno de los campos de evaluaciónde criterios
específicos: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11189)
5) escoger bien:
-número de tramos (mejor
de uno en uno, porque se pueden rescatar los positivos una evaluación
negativa pasados 3 años, salvo que estemos muy seguros que las publicaciones
presentadas son de muy alta calidad según los parámetros
de cada comisión especificados en los criterios específicos)
-años dentro de cada
tramo (solo cuentan los méritos de los años elegidos en la
solicitud a la hora de proponer-poder hacer cambios -en la solicitud, por
el comité o en los recursos-)
-lo más adecuado y relevante
en su impacto de lo que aparece en el cvn (incluir datos completos
de las publicaciones alternativas cuando no se tenga completa seguridad
con alguna contribución o haya varias comparables)
6) Ser contextuales:
Conocer la comisión (dentro de lo posible ya que
suelen cambiar cada 2 años, se conocen en febrero del año
siguiente a pedir) que evaluará (lo habitual es que lo hagan los
de las áreas de conocimiento más afines o cercanas, por lo
menos tres, en muchas ocasiones evalúan todos): http://www.mecd.gob.es/ministerio-mecd/organizacion/organismos/cneai/comites-asesores.html
(página
que no está actualizada) hay que buscar en el BOE:
- comisión
actual:
http://www.boe.es/boe/dias/2016/02/04/pdfs/BOE-A-2016-1076.pdf
- comisión
2015:http://www.boe.es/boe/dias/2015/02/24/pdfs/BOE-A-2015-1855.pdf
Comité Asesor 7: Ciencias Sociales, Políticas,
del Comportamiento y de la Educación
Presidente: José María Martínez Selva, Catedrático de Psicobiología de la Universidad de Murcia. Vocales: -de 2015 María Luisa Salanova Soria, Catedrática de Psicología Social de la Universidad Jaume I de Castellón. Miguel Ángel Zabalza Beraza, Catedrático de Didáctica y Organización Escolar de la Universidad de Santiago de Compostela. Manuel Alcántara Sáez, Catedrático de Ciencia Política y de la Administración de la Universidad de Salamanca. María del Pilar Flores Cubos, Catedrática de Psicología Básica de la Universidad de Almería. -de 2016
|
Comité Asesor 9: Derecho y Jurisprudencia
Presidente: Ernesto Eseverri Martínez. Catedrático de Derecho Financiero y Tributario de la Universidad de Granada. Vocales: -de 2015 Arantzazu Vicente Palacio. Catedrática de Derecho del Trabajo de la Universidad Jaume I de Castellón. Fernando López Ramón. Catedrático de Derecho Administrativo de la Universidad de Zaragoza. José Luis Cuesta Arzamendi. Catedrático de Derecho Penal de la Universidad del País Vasco. Emma Montanos Ferrin. Catedrática de Historia del Derecho de la Universidad de La Coruña. -de 2016
|
Comité Asesor 10: Historia, Geografía y
Artes
Presidenta: Natividad Navalón Blesa. Catedrática de Escultura de la Universidad Politécnica de Valencia. Vocales: -de 2015 Jordi Martí Henneberg. Catedrático de Geografía Humana de la Universidad de Lleida. Santiago Montero Herrero. Catedrático de Historia Antigua de la Universidad Complutense de Madrid. Isidro Dubert García. Catedrático de Historia Moderna de la Universidad de Santiago de Compostela. Víctor Jesús Medina Flórez. Catedrático de Pintura de la Universidad de Granada. -de 2016
|
Comité Asesor 11: Filosofía, Filología
y Lingüística
Presidenta: Concha Roldán Panadero, Profesora Investigadora de Filosofía, CSIC, Madrid Vocales: -de 2015 Juan Carlos Martínez Alonso. Catedrático de Lógica de la Universidad de Barcelona. Mohamed Meouak. Catedrático de Estudios Árabes e Islámicos de la Universidad de Cádiz. -de 2016
|
III) Los criterios de objetividad a la hora de justificar
la calidad y el impacto de la investigación en las áreas
no bibliométricas
1) que se suponga una EVALUACIÓN EXTERNA:
que no se pueda suponer un trato de favor (revistas de la que se es miembro
del comité / publicaciones en el propio OPI (Organismo Público
de Investigación) / repetición de publicaciones en otro OPI
-que podría evidenciar trato de favor- / publicaciones sin evaluación
externa (ojo con los cursos de verano camuflados - congresos sin evaluación
-contar con una evaluación externa demostrable es un elemento
clave a la hora de incluir participaciones en congresos (OJO hay campos
que los excluyen de modo explícito)-,etc.,
pero: límites y problemas en las bases de datos
(ocurre por ejemplo en revistas prestigiosas que quizá no han entrado
plenamente en la vorágine de los índices de calidad o que
siguen procedimientos "clásicos" y menos contrastables y más
"arbitrarios" o que por razones varias (las bases de datos, en especial
las que se hacen desde los ámbitos hispanos, pueden no estar puestas
al día, por depender de proyectos de investigación que no
tienen continuidad).
ejemplo GOYA: pesquisa sobre los datos de evaluación
externa y bibliometría
¿tiene evaluación externa?: SI (web
de la revista) http://www.flg.es/revista-goya/normas-de-edicion
/
Más datos
¿Porqué estos problemas?, le ocurre a cierto tipo de revistas de gran prestigio que corresponden a asociaciones científicas, fundaciones o instituciones peculiares (en este caso de Goya -Museo-Fundación Lázaro Galdiano-) que no tienen medios ni una política sistemática de inversión en gestión postpublicación y marketing de revistas (véase CRECS; http://www.crecs.info/, es una ardua labor) |
2) que suponga un AVANCE del conocimiento (no reiterar
lo ya publicado): como es un concepto opinable: explicarlo bien en la solicitud
usando lo que mejor convenga a tenor de lo que se pide de modo general
(orden de 1994) o específico (criterios específicos por campos
y subcampos)
orden de 1994, 7.1.a)
Se valorará la contribución al progreso del conocimiento, la innovación y creatividad de las aportaciones incluidas en el currículum vitae abreviado, considerando la situación general de la ciencia en España y las circunstancias de la investigación española en la disciplina correspondiente a cada evaluado y en el período a que corresponda la evaluación. criterios específicos 2016
|
3) que sea RELEVANTE:
- tamaño (un artículo
de 2 páginas ¿es relevante?, depende de donde se publique
y las citas que tenga) justificar en indicios de calidad
- participación
relevante: un artículo con muchos firmantes ¿es relevante?
(depende de la implicación de quien lo incluye en su solicitud de
sexenio en el mismo y de lo que digan los criterios del campo): hay que
explicarlo en la solicitud si puede haber duda en el resumen
criterios específicos 2016
C. Para que una aportación sea considerada, el solicitante deberá haber participado activamente en los trabajos que le dieron origen, como director o ejecutor del trabajo, y concretando su aportación específica a los mismos en los casos de multiautoría. |
- tipo de trabajo: no
divulgativo, ni recopilación de documentación, ni traducción,
ni reseña, etc... si el perfil de la publicación a primera
vista pudiera parecer eso (por ejemplo traducción pero con una introducción
de 50 páginas con 800 notas a pie de página) : explicar su
calidad e interés claramente en la solicitud usando a tenor de lo
que se pide de modo general (orden de 1994) o específico (criterios
específicos por campos y subcampos)
orden de 1994, 7.1.b)
Se primarán los trabajos formalmente científicos o innovadores frente a los meramente descriptivos, a los que sean simple aplicación de los conocimientos establecidos o a los de carácter divulgativo. Estos últimos sólo podrán llegar a tener valor complementario, salvo en circunstancias especiales apreciadas por el órgano evaluador. |
4) que la línea de investigación sea
COHERENTE
- con el resto del cv de quien lo solicita
(ojo con las firmas en aluvión), por eso conviene cuidar el CVN,
para que resulte fácil determinar las líneas de trabajo desarrolladas
para los evaluadores.
- con lo que se hace en el campo (por ejemplo
las obras de teología -de carácter confesional-) pero problemas
para diferenciar la creatividad, novedad, ruptura de las constricciones
de una disciplina y metodologías apriorísticas (arqueología
creativa)...
criterios específicos 2016
F. Como paso previo a su valoración se establecerá si cada aportación es adecuada a la convocatoria, utiliza un medio de difusión apropiado y muestra responder a una línea de investigación coherente. Ello no implica juicio alguno sobre su calidad intrínseca, sino tan sólo constatar que se trata de una aportación evaluable. |
- OJO: problema con las investigaciones
locales: suelen estar mal puntuadas no porque no sean coherentes sino
por su impacto (en especial por el medio de difusión utilizado):
hay darles visibilidad (¿cómo?: mucho que discutir
sobre esto... escribir ¿en inglés?, en las áreas de
humanidades hay una cierta resistencia quizá hasta por los problemas
para exponer reflexiones complejas en inglés (en especial si no
eres nativo) o porque la investigación en lengua inglesa es secundaria,
o confusa (solo citan lo que está en inglés-solo leen lo
que está en inglés: puede haber una pobreza de memoria muy
grande-, pero en otros campos el inglés es el único aceptable
y está bien establecida la preeminencia y la subalternización
de las demás lenguas...)
5) se suele pedir una cierta MADUREZ, no valen
los trabajos primerizos (cuidado con las publicaciones anteriores
a la tesis doctoral en el pasado.... cambio con las nuevas tesis,
ya que en algunos programas se piden publicaciones de relevancia para poder
leerlas: nuevo modelo en que priman los diseños de trayectorias
investigadoras planteadas desde los grupos de investigación y amparadas
en las necesidades de éstos, que pueden llevar a que una publicación
primera sea muy madura ya que se basa en el trabajo de todo un equipo)
6) que tenga un IMPACTO destacable por el MEDIO
DE DIFUSIÓN EMPLEADO
- de impacto relevante en el campo (nuevos criterios:
incluir número de descargas en caso de revistas o publicaciones
con versión online (si que lo tienen en cuenta) / descargas en repositorios
(Academia / Research Gate) aunque puede que no lo tengan en cuenta
CRITERIOS ESPECÍFICOS CNEAI de 2016:
APENDICE I (https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11189):
Criterios que debe reunir un medio de difusión de la investigación (revista, libro, congreso) para que lo publicado en él sea reconocido como «de impacto» A. Criterios que hacen referencia a la calidad informativa
de la revista como medio de comunicación científica:
B. Criterios sobre la calidad del proceso editorial:
C. Criterios sobre la calidad científica
de las revistas.
Asimismo, se tendrá especialmente en cuenta la indexación de las revistas en las bases de datos internacionales más acreditadas que las categoricen por índice de impacto y difusión. |
Depende del campo y de lo que se pida en los criterios
específicos estos son los criterios de 2016 (https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11189):
Campo 7. Ciencias Sociales, Políticas,
del Comportamiento y de la Educación
1. Todas las aportaciones deberán ser clasificables como ordinarias según la Orden de 2 de diciembre de 1994. Las solicitudes que presenten patentes, previo informe del comité, se trasladarán al Campo 6 o al Campo 0. 2. El número de autores de una aportación deberá estar justificado por el tema, su complejidad y su extensión. 3. Entre las aportaciones se valorarán preferentemente:
4. Se valorará desfavorablemente la reiterada publicación de trabajos en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza su investigación, así como que las distintas aportaciones se dupliquen o resulten iterativas sin efectiva innovación. También se valorará desfavorablemente el que más de una contribución forme parte de un mismo libro o número de revista. Igualmente, cuando el trabajo muestre un nivel alto de autocitas, se considerará únicamente el impacto externo como indicador de la repercusión de la aportación. 5. Como norma general, para obtener una evaluación positiva, las cinco aportaciones del currículum vítae abreviado deberán responder a los requisitos especificados en los apartados anteriores. 6. Aplicando lo anterior, no se tomarán en consideración:
7. A título orientativo, y como requisito necesario
aunque por sí mismo no suficiente, se considera que para obtener
una evaluación positiva en las áreas de Sociología,
de Ciencia Política y de la Administración, de Ciencias de
la Educación, y de Comunicación al menos dos de las
cinco aportaciones serán artículos publicados en revistas
que cumplan los criterios del apartado 3.a) o 3.b), o que, en casos
concretos que el comité pueda estimar, cuenten con una calidad científica
similar a las incluidas en los apartados mencionados y satisfagan los criterios
que se especifican en el Apéndice de esta Resolución.
|
Campo 9. Derecho y Jurisprudencia
1. Todas las aportaciones deberán ser clasificables como ordinarias según la Orden de 2 de diciembre de 1994, salvo casos excepcionales. 2. El número de autores de una aportación deberá estar justificado por el tema, su complejidad y su extensión. 3. En la valoración de los trabajos se atenderá
al medio de difusión empleado, aceptándose como indicio de
calidad la publicación en revistas y editoriales de reconocido prestigio.
4. Las aportaciones se valorarán teniendo en cuenta
la originalidad, el rigor, la metodología y la repercusión
que hayan tenido en el ámbito del Derecho. En todo caso las aportaciones
deberán
mostrar evidencias claras de constituir un trabajo con el grado de elaboración
y estructuración propio de la literatura científico-jurídica
valiosa. No se valorarán positivamente trabajos de acusada concisión
salvo que se aporten indicios notorios de su calidad y relevancia.
5. Como criterio general, se presume que no cumplen los
criterios señalados en el apartado 4:
6. Como norma general, para obtener una evaluación
positiva, las cinco aportaciones del currículum vítae
abreviado deberán cumplir lo descrito en los apartados anteriores.
|
Campo 10. Historia, Geografía y
Artes
1. Las aportaciones serán valorables si representan avance del conocimiento o innovación de carácter metodológico, y se dará preferencia a los estudios analíticos y comparados frente a los puramente descriptivos. No se considerarán las aportaciones que sean reiteraciones de trabajos previos con los que resulten redundantes conceptual y temáticamente, salvo si contienen elementos innovadores. 2. Salvo que estuviera plenamente justificado por la complejidad del tema y la extensión del trabajo, un elevado número de autores puede reducir la calificación asignada a una aportación. 3. En la valoración de los artículos se atenderá al medio de difusión empleado, aceptándose como indicio de calidad la publicación en revistas de reconocida valía. La inclusión de las revistas en bases de datos internacionales se considerará como una referencia de calidad; específicamente las indexadas en las bases de datos de la Web of Science (Arts and Humanities Citation Index, Social Science Citation Index, Journal Citation Reports, y Emerging Sources Citation Index) o las que ocupen posiciones relevantes en Scimago Journal Rank, También se tendrán en cuenta como referencia de calidad las revistas incluidas en la International Medieval Bibliography, RILMS Abstracts of Music Literature, etc. Igualmente se podrán considerar otras revistas nacionales e internacionales que pudiendo estar incluidas en diferentes bases de datos presenten a juicio del comité asesor indicios de calidad equiparables y satisfagan los criterios especificados en el Apéndice de esta Resolución. Las revistas electrónicas estarán sujetas a los mismos criterios que las demás. La mera indización o indexación de una publicación en un repertorio o una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad. 4. En la valoración de libros y capítulos de libro se considerarán de manera especial el prestigio de la editorial y la existencia de un procedimiento selectivo para la aceptación de originales según sistemas recogidos en el Scholarly Publishers Indicators, y atendiendo particularmente a la posición que ocupe en este ranking. Se tendrán en cuenta también el número y carácter de las citas recibidas, las reseñas y críticas en revistas especializadas, la colección, la traducción a otras lenguas, etc. Con estos indicios de calidad serán evaluados los catálogos monográficos de artista o catálogo razonado que deberán reflejar claramente que son fruto de la investigación o de la reflexión documentada sobre estética o teoría del arte. Las fichas en catálogos de exposición sólo serán valoradas si constituyen una aportación significativa en número, extensión y calidad investigadora. Asimismo, se tendrán en cuenta estos criterios para la evaluación de las actas de congresos. No serán consideradas como nuevas aportaciones las traducciones de la propia obra a otras lenguas. 5. En la valoración de aportaciones correspondientes
a las áreas de Bellas Artes podrán considerarse como
extraordinarias: i) las exposiciones individuales o colectivas, ii) obra
premiada, iii) trabajos de conservación o restauración, y
iv) encargos artísticos institucionales o empresariales (obras de
carácter público, diseño y publicidad). Los criterios
que deben reunir tanto las aportaciones como sus medios de difusión
para ser consideradas como de «impacto» son los siguientes:
6. Respecto al comisariado de exposiciones se tendrán en cuenta los proyectos que aporten novedades relevantes de investigación, con una reflexión sobre Estética o Teoría del arte documentada en el catálogo, así como los criterios determinados en el punto 5 respecto a la calidad del proyecto, medio de difusión y repercusión en los medios especializados nacionales e internacionales. 7. Respecto a la música, se tendrán en cuenta las composiciones publicadas o estrenadas por intérpretes reconocidos. Para la musicología se evaluarán las ediciones críticas que constituyan un estudio razonado de la fijación del texto musical, con la correspondiente mención de las fuentes y variantes musicales. No merecerán esta consideración, por el contrario, las simples revisiones de partituras –impresas o manuscritas–, salvo que vayan acompañadas de estudios preliminares o de anotaciones fruto de una investigación personal. 8. Aplicando lo anterior, no se tomarán en consideración:
9. Como norma general, para poder alcanzar una evaluación positiva, las cinco aportaciones del curriculum vitae abreviado deberán cumplir lo descrito en los apartados anteriores. 10. A título de orientación se considera
que para poder alcanzar una evaluación positiva en las áreas
de Historia y Arte, al menos una de las aportaciones debe ser un
libro
monográfico de investigación que cuente con difusión
y referencia internacionales y cumpla los requisitos que se indican en
el apartado 4; o bien que dos de las aportaciones sean artículos
publicados en revistas internacionales que cumplan con los requisitos
que se indican en el apartado 3; o bien que una de las aportaciones sea
un artículo en una revista internacional que satisfaga los criterios
arriba indicados y otra, un capítulo de libro, en un volumen que
cumpla los requisitos indicados para éstos.
Pero en 2014 la redacción era la siguiente para artículos: 3. En la valoración de los artículos se atenderá al medio de difusión empleado, aceptándose como indicio de calidad la publicación en revistas de reconocida valía. La inclusión de las revistas en bases de datos internacionales se considerará como unareferencia de calidad (por ejemplo, Francis, International Bibliography of the Social Sciences (IBSS), Arts and Humanities Citation Index del Web of Science, Journal Citation Reports Social Sciences Edition, Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, RILMS Abstracts of Music Literature, etc.). Podrán considerarse también los artículos publicados en revistas que ocupen posiciones relevantes en SCOPUS, en revistas listadas en otras bases de datos nacionales o internacionales (por ejemplo, ERIH, DICE-CINDOC, etc.), o en aquellas revistas acreditadas por la FECYT, siempre que, a juicio del comité asesor, cuenten con una calidad científica similar a las incluidas en los índices mencionados y que satisfagan los criterios que se especifican en el citado apéndice I de esta resolución. Las revistas electrónicas estarán sujetas a los mismos criterios que las demás. |
Campo 11. Filosofía, Filología
y Lingüística
1. Todas las aportaciones deberán ser clasificables como ordinarias según la Orden de 2 de diciembre de 1994. Las aportaciones serán valorables si representan algún tipo de avance del conocimiento o una innovación de carácter metodológico, y se dará preferencia a los estudios analíticos y comparados frente a los puramente descriptivos. No se considerarán las aportaciones que sean reiteraciones de trabajos previos con los que resulten iterativos conceptual y temáticamente, salvo si contienen elementos claramente innovadores. 2. Salvo que estuviera plenamente justificado por la complejidad del tema, las exigencias metodológicas y la extensión del trabajo, un elevado número de autores puede reducir la calificación asignada a una aportación. 3. En cuanto a artículos publicados, para la consideración de la calidad de las revistas en donde éstos aparezcan se tendrá en cuenta su clasificación en bases de datos de referencia del área específica en que estén recogidas, que deberá ser al menos de nivel medio. Para ello se considerará la información ofrecida en Ulrichsweb, CAPES, en el «European Reference Index for the Humanities (ERIH Plus)» de la ESF, MIAR, in~RECH (en los años disponibles), RESH y CAHRUS. Asimismo se tendrá en cuenta como referencia de calidad la inclusión en bases de datos internacionales como el «Arts and Humanities Citation Index» del «Web of Science», «Journal Citation Reports, Social Sciences Edition», Emerging Sources Citation Index y en Scimago Journal Rank. No se tendrán en cuenta las publicaciones de cuyo comité redacción forme parte el autor. La mera indización o indexación de una publicación en un repertorio o una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad. En todo caso, habrá de cumplir los requisitos señalados en el Apéndice de esta Resolución para ser consideradas de impacto. Las revistas exclusivamente electrónicas se juzgarán con los mismos criterios. 4. En la evaluación de los libros y capítulos
de libros, se considerarán especialmente los publicados en editoriales
de reconocido prestigio y con un procedimiento selectivo para la aceptación
de originales, según sistemas recogidos en el Scholarly Publishers
Indicators (SPI), y teniendo en cuenta, si es el caso, su situación
destacada en la correspondiente categoría de esta base. Se tendrán
en cuenta también el número y carácter de las citas
recibidas, las reseñas y críticas en revistas especializadas,
la colección, la traducción a otras lenguas, etc. Deberán
reflejar claramente que son fruto de la investigación o de la reflexión
documentada. No serán consideradas como nuevas aportaciones las
traducciones de la propia obra a otras lenguas. No se considerarán
como aportaciones diferentes capítulos de una obra con el mismo
ISBN. La reiterada publicación en los medios editoriales institucionales
y públicos podrá reducir la ponderación final de la
evaluación. Con carácter orientativo podrán utilizarse
los ránquines publicados en Scholarly Publishers Indicators.
5. En el campo de la estética y la teoría de las artes, también se estimará el comisariado de exposiciones en cuyos catálogos se aporten novedades relevantes de investigación con repercusión en los medios especializados nacionales e internacionales, ajustándose, en su caso, a lo establecido para estas actividades en el punto 5 de los criterios propios de campo 10 incluidos en esta misma Resolución. 6. Aplicando lo anterior, no se tomarán en consideración:
7. Se valorará desfavorablemente la reiterada publicación de trabajos en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza su investigación, o en aquellas de cuyos comités de redacción o instancias de dirección forme parte el solicitante. 8. A título orientativo, y como requisitos necesarios pero por sí mismos no suficientes, se considera que para poder alcanzar una evaluación positiva en las áreas de Filosofía, Filología y Lingüística, al menos una de las aportaciones debe ser un libro monográfico de investigación que cuente con difusión y referencia internacionales y cumpla los requisitos que se indican en el apartado 4; o bien que dos de las aportaciones sean artículos publicados en revistas que respondan a lo especificado en el punto 3, y que en todo caso cumplan los criterios indicados en el Apéndice de esta Resolución; o bien que una de las aportaciones sea un artículo en una revista internacional de impacto y la otra un capítulo de libro en un volumen internacional que cumpla los requisitos indicados para éstos. |
-Para una revisión (personal) de herramientas (JCR / SJR y otros varios) (pulse aquí)
-En la web de la Biblioteca de la ULL tienen muchos enlaces y herramientas: http://www.bbtk.ull.es/view/institucional/bbtk/Indices_de_calidad/es
IV) Ejemplos de solicitudes: cómo potenciar
las fortalezas de las publicaciones presentadas a evaluación
1) No incluir lo que esté explícitamente
excluido (es un 0, muy difícil de remontar) / justificar lo que
esté en el límite (congresos si se aceptan, justificar la
evaluación externa), poner ordinarias siempre (salvo que lo permita
el campo en los criterios específicos)
Orden del Ministerio
de Educación y Ciencia de 2 de diciembre de 1994, por la que
se establece el procedimiento de evaluación de la actividad investigadora.
(BOE el 3/12/1994)
a) Se considerarán como ordinarias las aportaciones
de:
|
2) ¿Qué hacer con los libros?... parece en muchos campos que solo valgan los artículos... pero en humanidades los libros son clave, pero EL LIBRO EN ESPAÑOL tiene una visibilidad internacional (fuera de países hispanoparlantes) muy baja... hay que buscar buenos criterios, pero LAS CITAS EN 5 años suelen ser pocas... poner las reseñas en buenas revistas y los indicadores que se puedan usar: el estándar (a pesar de su limitación) es SPI (http://ilia.cchs.csic.es/SPI/index.html) que incluye tanto libro español como no español (en listas separadas).
INCLUYE CRITERIOS SOBRE LA EVALUACIÓN EXTERNA DE LOS LIBROS Y EL CONTROL DE LA CALIDAD DE LOS MANUSCRITOS POR PARTE DE LAS EDITORIALES
UN CRITERIO BÁSICO: OJO con las autoediciones,
ediciones a la carta, ediciones pagadas por los autores (en homenajes,
etc.), los evaluadores conocen o pueden conocer estos asuntos por mucho
que intentemos escamotearlos, etc., en este tipo e ediciones no
hay evaluación externa o no podría ser una evaluación
neutral.
3) Los capítulos de libros: poner el ranking de SPI de la editorial, explicitar que ha habido evaluación del volumen (si la ha habido, ponerlo en especial en el pdf de la publicación), problemas con homenajes - congresos - cursos
4) Conviene sugerir alternativas (publicaciones de sustitución) a cada una de las aportaciones, incluyendo brevemente la referencia en la casilla de otros datos (si se ordena bien el CVN es muy fácil referirse a esas publicaciones de sustitución). Hay que tener en cuenta que la casilla otros datos solo permite 300 caracteres (hay que resumir mucho).
5) Poner las citas (buscar en JCR / SJR, muy útil Google Scholar https://scholar.google.es/, cuidar el perfil personal, ponerlo público) si no caben en la solicitud (CV abreviado, ponerlas todas en el CVN)
6) Poner las reseñas, explicitando el impacto de las revistas donde aparecen (si JCR, SJR, etc.).
7) En la convocatoria de 2016 se incluye la posibilidad (aunque dice que es opcional) de incluir el pdf completo de los artículos y el pdf de los créditos y el índice de los libros, en la casilla de "fichero justificativo". Se aconseja siempre incluir los pdf ya que nos ofrecen esta posibilidad muy interesante. Así se permite que la evaluación pueda plantearse no solo desde criterios de impacto sino también teniendo en cuenta criterios cualitativos basados en la lectura directa de las aportaciones en artículos y capítulos de libros (no así en el caso de los libros que solo se accede a la información del índice).
8) Explicitar siempre en la casilla indicada para ello
(aparece al final de las cinco aportaciones) las aportaciones sustitutorias
que se proponen a los evaluadores (aunque se haya hecho de modo específico
en cada una de las aportaciones) para el caso de que alguna aportación
no supere la evaluación. Incluir datos relevantes de esas aportaciones
sustitutorias, dada la falta de espacio (solo permite 600 caracteres) se
puede incluir la totalidad de los datos de esas aportaciones en el CVN
(y dar referencias a dicha información en esta casilla, por ejemplo
poniendo "más datos en CVN publicación número 6").
9) EN RESUMEN
Conviene cuidar con detalle lo que ponemos en las casillas
que aparecen en la solicitud en las 5 aportaciones (poner siempre cinco,
por mucho que nos permitan poner menos si alguna es excepcional -no hay
que fiarse de tal excepcionalidad-)
- No escatimar la información
que se incluye en la casilla otros datos. Se podría aquí
incluir el contexto de publicación (proyecto de investigación
/ línea de investigación / grupo de investigación)
- Hacer un buen resumen, que exponga
claramente el trabajo y su coherencia y pertinencia
- Escoger indicios de calidad coherentes
y bien explicados, poner toda la bibliometría de la que se cuente,
las citas, reseñas....
V) Puesta en común de propuestas y líneas
de actuación ante la futura evaluación y el caso de una evaluación
negativa
Caso de evaluación negativa, como conocemos
la puntuación (en las positivas no) conviene:
- analizar las debilidades
de lo mal puntuado. Como debe haber habido una justificación por
parte de la comisión evaluadora, analizarla con detalle, e intentar
rebatirla si hay incongruencias o errores o incoherencias en la evaluación
- revisar si han sustituido
lo mal puntuado por otra de mas calidad del cv que hayamos propuesto y
si no lo han hecho, plantear la sustitución en el recurso.
Resolución de 30 de noviembre de 2016: 8. Recursos.
Contra esta resolución, que no agota la vía administrativa se podrá interponer recurso de alzada ante el Director de ANECA, de acuerdo con lo dispuesto en el artículo 20.3 de los Estatutos de ANECA, aprobados por Real Decreto 1112/2015, de 11 de diciembre, y en los artículos 121 y 122 de la Ley 39/2015, de 1 de diciembre, del Procedimiento Administrativo Común de las Administraciones Públicas. |