Hay que buscar una forma independiente de evaluar la investigación, y el índice de impacto también suele ser indicativo de lo difícil que es hacer una publicación. Aunque si se tiene información de número de citas (en la mayor parte de los casos se tiene) se deben de usar estas.
Y el proceso de revisión está bastante libre de amiguismo. Es muy difícil que los 3 o 4 revisores que te caigan sean amiguetes.

Propongo una nueva metodología de evaluación de la investigación: el Método Tia May.

Se le da el artículo a la Tía May. Si la susodicha, después de dos lecturas, lo encuentra interesante, entonces tiene relevancia.

Claro que para eso habría que mezclar resultados con divulgación xD

Por cierto, recomiendo encarecidamente este libro.

El tema de si en la Universidad se deberia de enfatizar la ensenyanza mas que la investigacion es realmente complicado y creo que da para muchas reflexiones. Asi que no entrate ahi en este comentario.

Lo que si me gustaria es dismitificar el tema del impacto un pelin:

1) El numero de veces que se cita un trabajo esta basado en dos cosas: 1) El interes del trabajo a los miembros de una area determinada de investigacion. 2) El numero de investigadores que se encuentren en dicha area de investigacion. Asi un trabajo sobre los marcadores geneticos en el cancer de prosdata posiblemente tendra mas impacto que un trabajo sobre la regeneracion en Planaria. Simplemente por puros numeros. El peligro que conlleva este analisis es el de estar siempre a la cola en ciencia, ya que se juzgara a los candidatos e indirectamente a su campo de investigacion basado en los numeros en el tiempo presente, lo cual muy pocas veces indica cuales seran los ambitos de ciencia punta cinco anyos despues.

2) El impacto de un trabajo en ningun momento nos da dato alguno sobre la participacion experimental e intelectual del individuo en cuestion en dicho trabajo. Cualquiera que tenga unos cuantos anyos de experiencia sabe que no todos los que merecen ser reconocidos lo son al mismo nivel, ni todos lo que son reconocidos son lo que son. La politica interlaboratorio es tan importante como la politica intralaboratorio en estos aspectos.

El utilizar este parametro como medida objetiva de la valia cientifica de un individuo es sencillamente ilogico y absurdo. Creo que el impacto es una cuestion mas a tener en cuenta en el contexto de otro numero de cualificaciones.

al menos se empieza a hablar de la corrupción (no tiene otro nombre) que impera en las universidades.

No hay palabras, la verdad, me he leido el otro articulo y los apuntes de ciencia y tecnologia a los que hace referencia, es increible que no se pueda hacer nada. Nos descalificamos a nosotros mismos, solo espero que cuando realmente se pueda escoger universidad, viendo el numero tan bajo de alumnos que ahora tenemos, estas cosas caigan por su peso, cuando no tengan alumnos los malos profesores algo habra que hacer porque no creo que haya otro modo de cambiarlo.

El problema que hay con todo esto es cómo se puede llevar a cabo la evaluación objetiva de un curriculum investigador, lo que resulta muy complejo. Y una equivocación parcial es confundir la evaluación objetiva con la evaluación cuantitativa (digo parcial porque seguramente hay una correlación positiva entre número de citas y lo que se entiende por un buen investigador).

El parámetro de impacto de una revista mide el número de citas medio de un artículo cualquiera de dicha revista en el primer año de publicación. Por tanto es un número que representa la calidad de la revista, no la un artículo concreto que se publique en esta. Por poner un ejemplo, en Physical Review Letters, una de las revistas con mayor impacto en física nuclear y de partículas (en realidad cubre muchos más campos de la física), el parámetro de impacto está entre 7 y 8; sin embargo hay muchos artículos en esa revista que tras varios años no obtienen apenas alguna cita (como es un promedio también habrá otros que obtengan muchas más citas de las esperables). Por tanto esto nos lleva a una pregunta: ¿es mejor un artículo con muchas citas en una revista con menor impacto o uno con pocas citas en una revista con mayor impacto? En general será mejor el artículo de muchas citas, ya que ha generado más interés; pero claro, aunque el seguimiento de los artículos individuales no es imposible, es más complicado que el de las revistas y también menos aceptado. De todas maneras muchas bases de datos te dan las citas de cada artículo (por ejemplo, spires).

Por otro lado el segundo problema del parámetro de impacto es el que ha dicho Ana en un comentario anterior: sólo debe usarse para comparar a investigadores en el mismo área de conocimiento. Por ejemplo, las revistas dedicadas a física de partículas tienen mucho más parámetro de impacto que las dedicadas a física nuclear (se puede comparar el impacto de Physical Review C con el de Physical Review D, o JHEP), y las de física nuclear a su vez tendrán mucho más impacto que las dedicadas a la mayoría de ramas de la matemática (salvo, quizás, temas relacionados con matemática aplicada). En el caso de la física de partículas el parámetro de impacto suele ser más alto debido a que la comunidad publica muchísimo en actas (proceedings) lo que contribuye muy positivamente al citado de las revistas más importantes.

En resumen, que los impactos hay que tomárselos con cierta cautela.

Además, también hay que tener en cuenta que el proceso de revisión dista (por norma) bastante de ser imparcial, como ya ha dicho Biomaxi. Por ejemplo, es mucho más sencillo publicar un artículo con conclusiones conservadoras, y seguidistas de las grandes tendencias que uno que sea más innovador, y que va a causar bastante malestar, por muy bueno que sea. También es mejor si tus conclusiones son positivas (decir que sí) que si son negativas (e.g. "x" no puede ocurrir). Si bien estos dos casos son más de psicología científica que de amiguismo científico.

Lo segundo, la endogamia investigadora a gran escala, es más complicado y mucho más sucio. En todos los temas de investigación hay grandes corrientes de opinión a las que los investigadores, que son personas y como la mayoría de los mortales buscan una vida fácil, se adhieren. Si tu artículo es de la corriente de opinión A y lo mandas a una publicación concreta puede que tu revisor sea de la corriente B. Entonces pueden pasar dos cosas (bueno, en realidad más de dos, pero simplificaré): (i) el revisor es europeo, (ii) el revisor es americano. Si es el caso (i) preparate para las más feas injusticias: la ciencia europea se caracteriza por grandes escuelas de pensamiento herméticas en donde domina la mentalidad de grupo. La gente de fuera del grupo son enemigos, y todo esta justificado para evitar que publiquen. Así que el referee será injusto y arbitrario. Si el caso es (ii) el referee te pondrá las cosas más complicadas, pero si tu artículo es bueno, te dará la oportunidad de defenderte y publicar. Aunque en la ciencia americana también hay escuelas, predomina la independencia de los investigadores, y aparte está bastante mal visto no jugar limpio en el proceso de revisión; puede ser muy embarazoso para tu credibilidad que se te pille en una situación de este tipo.

Por supuesto pasan muchas más cosas. Los investigadores de la corriente A citan mucho a los otros investigadores de la corriente A y rara vez a los de B, sobre todo para explicar por qué se equivocan. Vamos, que más y más endogamia.

Y también está lo tercero: el revisor y la propia revista te van a dar un trato muy distinto según tu afiliación (la universidad o el centro en el que trabajes). Investigar en una universidad americana te hará la vida más fácil que en una europea. Una universidad más grande será mejor que una más pequeña, etc. Se da el caso en física que no es difícil encontrar artículos en revistas serias cuyo nivel investigador es irrisorio (lo podrían haber hecho alumnos), pero que están publicados por gente que trabaja en el MIT, Princeton, etc, o por gente muy reconocida. El resto de los mortales no podríamos colar eso en una revista en la vida...

Pero bueno, no me explayo más que ya no sé por donde iba. En resumen, que aunque la ciencia en sí sea independiente, rigurosa y churripitiguay de la ostia, los científicos son personas y como tales son parciales, tienen prejuicios, envidia, etc. Además, creo que el amiguismo es practicamente imposible de combatir. Las diversas medidas que se impongan como de costumbre seguirán siendo especialmente ineficaces y sólo nos lo pondrán más difícil por condiciones cada vez más complejas. La única manera es que la sociedad como tal juzgue más importante la independencia y la individualidad que el gregarismo, y mientras no se dé esta condición, veremos diferentes tipos de mentalidad de grupo en todas las áreas de la vida.

"los científicos son personas y como tales son parciales, tienen prejuicios, envidia, etc."

Jamás creí que llegara a leer semejante cosa escrita por ti, Becario-E.

¡Enhorabuena!

De hecho, Biomaxi, el sistema de impacto propuesto en el artículo que citas ya ha sido pervertido en favor del "padrinazgo". En algunos departamentos con buenas relaciones con científicos importantes, los becarios son apadrinados de esta manera: se los pone como coautores con estos científicos (obviamente desempeñan un trabajo en el artículo en cuestión, pero sin un amigo común, ningún becario normal y corriente va a tener una colaboración con un científico "top" de su campo de estudio). Como forma de asegurar el futuro de tu prole científica es excelente, pero no deja de ser un caso de amiguismo como los que se quiere evitar. Aparte, la "impactitis" favorece la publicación a mansalva a costa de la calidad y la adhesión a grandes corrientes investigadoras con sus propias opiniones a costa de la independencia.

El hecho de querer solucionar los problemas de endogamia mediante sistemas de evaluación de uno u otro tipo que aseguren la independencia en dicha evaluación es en sí un intento futil, un parche, ya que el problema se encuentra a un nivel más profundo. Como se suele decir, hecha la ley hecha la trampa. La única manera de cambiar la situación es cambiar la mentalidad de la gente, de gregaria a independiente, y eso no es en absoluto trivial. Lo que se ve en ciencia y en la universidad no es más que un reflejo de que ocurre.

Y la comparación con la empresa será inútil: una universidad no va a hundirse por falta de un producto competitivo.

Realmente, el único parche que parece eficaz es crear muchas plazas: de esta manera aunque estés pagando a mucha gente que no vaya a resultar productiva seguro que consigues quedarte con todos los que son productivos. Y bueno, en tales circunstancias no hay que descartar que los más improductivos mejoren debido a vergüenza ajena.

Hombre Biomaxi,

Que quieres que te diga. Me he leido el manifiesto y en general me ha parecido bien. Se le puede acusar de maniqueismo, si. Pero es un maniqueismo necesario, desesperadamente necesario. Denuncia la corrupcion generalizada en los procesos de contratacion de personal de la universidad espaniola. Sencillamente es algo que todos conocemos pero que parece que no permea a la sociedad. Siguen pasando los anios y seguimos igual...la universidad espaniola promedio (y si no pregunten por ahi a los alumnos de universidades de provincias) es intelectualmente un solar.

Y casi parece ayer cuando escuche aquella legendaria frase de una de mis profesoras de la cerrera..." cuando la potasio entra por el membrano"...o la de aquel otro de "los husos mitoticos bacterianos"...o peor, aquella airada replica "Como que por que, como que por que, pues por que lo pone en el libro joder".

Me podeis hablar de justicia y relativismos morales, de que si en un campo se publica mas que en otro, de ese otro genio incomprendido, de aquel imaginario profesor abnegado que para preparar sus clases no tiene tiempo de pisar el laboratorio....

Y, que no, hombre que no, que ya no me lo trago, que son muchos anios y que la cosa no va de eso. En concreto va de pasar unos minimos de calidad, por favor. Que al menos junten tres neuronas para no cagarse en la romeria!!!

Lo que cuenta el manifiesto como ejemplo es sangrante. Y no es por que escojan a un catedratico que tiene mas impacto que otro. Lo grave es que escogen a uno que tiene despues de toda una "vida academica" un indice de impacto acumulado de 26!!! 26??? Pero que ha estado haciendo ese tio todos esos anios??? A ver, explicadmelo por que a mi no me salen las cuentas. Por que 26 son cinco articulos de impacto 5, o sea normalitos. Seria lo normal despues de una tesis decente (pero tampoco de escandalo). Y ese es el catedratico que nos merecemos?? Ya tiene que ser el tio un docente cojonudo para compensar por eso. Y creedme que me gustaria creer que asi es, pero no puedo. Solo puedo creer que, a nosotros los ciudadanos, nos han vuelto a colar otro gol.

Saludos

Mal consuelo, pero he visto cosas en la Uni que superan largamente lo que vosotros vais avizorando (o al fin denunciando, que antes tal vez estaban pero no eran públicas).
He visto cambiar de un cuatrimestre a otro las exigencias para presentarse a un Concurso ( = oposición) y aquél que trabajó toda su vida como docente y con reconocidos méritos pierde su empleo por no tener 50 trabajos publicados, con un mínimo de XX en revistas extranjeras...lo cual le ha sido imposible al docente por trabajar en un tema de importancia regional y que no aceptan en publicaciones extranjeras -en general -.
Viceversa, he visto a investigadores perder sus puestos ante jovencitos incapaces de diferenciar una caja de Petri de un microscopio porque traen bajo el brazo un lustroso título de Master en XX, y el investigador, que vivió en la época que un Master en Argentina se encontraba con lupa, queda fuera de combate...y así.
El sistema, cuanto menos, es perverso.
Disculpen el mal rollo, pero es que sigo creyendo en aquéllo que me decía un profesor: "los que pasan por la Universidad tienen un deber moral hacia quienes no pudieron acceder a ella"...

Hombre, en la mayoría de ramas de matemáticas creo que un impacto acumulado de 26 para una tesis sí sería de escandalo (aunque esto lo digo a ojo).

Para ser un buen catedratico tiene que ser un buen investigador, como un profesor puede trasmitir conosimientos si no sabe investigar.
En EE-UU los mejores catedraticos son los mejores investigadores, hay vemos un ejemplo, o ustedes creen Oxfor tiene de profesores que no investigan, os invito a visitar las Universidades de elite del Mundo y copiemos los modelos y aprendamos. No seamos "Quijotescos"

Hola J Gallo:

Pero es que todo depende de como vayas a definir un buen catedratico. Es el buen catedratico aquel que garantiza que sus alumnos salen de sus clases sabiendo lo que tienen que saber del curso impartido? Es mejor catedratico aquel que pasa de lo basico y expone a sus alumnos a los ultimos experimentos punta y ensenya desde este nivel? Es mejor catedratico aquel que garantiza que sus candidatos a doctorado son capaces de hacer buena investigacion que sea reconocida en su ambito de estudio y de dar a estos oportunidades reales de futuro, pero a sus alumnos de licenciatura los deja algo de lado? O lo es aquel administrador genial que sabe traer los duros al laboratorio y departamento pero que lo unico que garantiza es su propio exito personal a corto y largo plazo haciendo investigacion punta pero sin invertir en su personal de laboratorio o sus alumnos? Porque todas estas combinaciones dependiendo de la Universidad son considerados buenos catedraticos.

El gran enganyo es no darse cuenta de que en estos momentos se pide a los catedraticos el llevar a cabo un trabajo que en realidad son cinco distintos y que algunos son muy buenos en unas facetas y no en otras. Por supuesto en la mayoria de la gente estas activadades estan mas o menos relacionadas y hay gente que da buenas clases, se encarga de su laboratorio y hace buena investigacion, pero en muchos ambitos a estos se les considera mediocres porque no consiguen tanto dinero como menganito, o porque no publica tantos articulos como su vecino de al lado, etc, sin importarles que en algunos casos estos superestrellas con los que es comparado este senyor/senyora no hayan aparecido por clase hace dos semanas, que los postdocs se marchen del laboratorio en cohortes porque estan hasta las narices, etc. Y el problema es que no hay una unica formula, incluso entre universidades de elite, para juzgar y valorar lo que es ser un buen catedratico, aunque algunas pistas de como encaminar las carreras de la gente para que tengan exito en investigacion si hay.

Pues precisamente fue en Oxford donde se "inventaron" recientemente la figura del profesor universitario que únicamente puede dar docencia. La mayoría de catedráticos españoles están en desacuerdo, seguramente muchos estudiantes lo agradecerían

Te he enlazado.

Y todo eso sin tener en cuenta el Principio de Peter.!!

Eso. Si sin ser catedráticos publican tan bien, ¿para qué ascenderlos? ¿Para que se estanquen como los demás? ;-)

Hola:

Aqui hay un enlace (en Ingles) que habla sobre este tema y tiene algunas reflexiones interesantes:

http://chronicle.com/free/v52/i08/08a01201.htm

Ana, muchas gracias. Realmente merece la pena leer ese artículo.

Interesantísimo artículo, síp... creo que voy a imprimirlo y colgarlo delante del despacho. Ah, y una cita por encima de todas:

You're a better scientist if you're a happy scientist.

Lástima que pueda cumplirse... a menos que se haga algo. Pero no sé el qué.

Que NO pueda cumplirse, digo

Sobre el enlace de Ana: post 19

Vale, admitamos las criticas al sistema de indices de impacto que se recogen en ese articulo. Esta claro que no existe ningun criterio completamente objetivo para evaluar la calidad de la ciencia. De acuerdo, la ciencia es algo demasiado humano y demasiado complejo para permitir algo asi. Admitamos tambien que el indice de impacto solo puede ser indicativo y que nunca puede tomarse como unica fuente de informacion. De acuerdo, yo soy firme partidario de, entre otras cosas, las entrevistas personalizadas, como se hace en los paises civilizados. Sin embargo, yo creo que el articulo (http://chronicle.com/free/v52/i08/08a01201.htm), exagera bastante y se olvida de mucho.
Por ejemplo insinua que hasta que aparecieron los indices de impacto la ciencia era casi que una empresa de idealistas y sonyadores que trabajaban por amor al arte. Luego, en los 60, tachan! aparece el malo de la pelicula... el indice de impacto. Entonces todo se corrompe, se vuelve competitivo y va de mal en peor hasta hacernos a todo infelices. Pues... no me lo trago.

Tal y como yo lo veo primero nos volvimos corruptos, nos volvimos competitivos y la cosa ya iba de mal en peor cuando aparecieron los indices de impacto. Probablemente aparecieron como un intento de poner a cada uno en su sitio, y evitar asi cacicadas del tipo: ”tu trabaja para mi con entusiasmo que si te portas bien ya te conseguire algo como sea”, les suena de algo? A favor de mi teoria esta el hecho de que en aquellos paises europeos donde los niveles de corrupcion academica en los procesos de seleccion de personal son mas altos (lease Ehpania) los indices de impacto tienen mas influencia. Podemos hablar entonces de impactitis, pero lo que esto refleja es de hecho es una cultura de la corrupcion. Mucho mas obvia en la universidad, pero que tambien existe, en menor medida, en el consejo. En mi labo en Alemania, cuando el jefe quiere saber el indice de impacto de una revista no le pregunta al noruego o la inglesa, me lo pregunta a mi! Tragico pero cierto.
En Ehpania, los indices de impacto son muchas veces la unica forma de hacerse valer en una oposicion con “bicho”. Si, “bicho”, es el mote carignoso que se le pone al candidato local. Frecuentemente es ademas lo primero que se pregunta, “pero, esa plaza, tiene ya bicho?”. Muchas veces lo del impacto no es suficiente y el bicho se alza a menudo triunfante con el trofeo. Ejemplos a miles aqui: http://www.cica.es/aliens/aacte/

Por eso pienso que solo hay una forma de desacernos de los indices de impacto, factores H y demas modernizados derivados de la misma cosa. Hacer de una vez un poco de justicia y terminar de una vez con el continuismo feudal de las instituciones academicas. Cuando esto haya ocurrido, seguro que se relaja la tension politica y podemos dedicarnos todos en exclusiva nada mas que a hacer ciencia.
:-)

Saludos

Hola Juan:

No saque la misma conclusion que tu en cuanto a tu primer punto, precisamente porque estoy de acuerdo con tu segundo punto y esto creo que es el valor del articulo. Las metas originales de los creadores de este sistema, como yo lo entiendo, eran simplemente el poder hacer notar aquellas revistas en areas especializadas que estaban publicando trabajos que el resto de dicha comunidad iban encontrar particularmente interesantes. De hecho creo que este sigue siendo el caso. Por ejemplo en Desarrollo tenemos a Development y Dev Biol como dos revistas que necesariamente uno tiene que leer cada mes si quiere estar al dia y su factor de impacto refleja dicho interes.

El problema ha surgido cuando el factor de impacto es comparado a nivel general, es decir, se comparan el nuemro de citas de revistas sobre el cancer con aquellas que se especializan en el citoesqueleto y obviamente este tipo de comparacion no tiene sentido alguno. Por mucho impacto que tenga una revista de cancer si trabajas en el citoesqueleto querras publicar (o deberias de) en una revista que se especiliza en el citoesqueleto (porque posiblemente habra una revision mucho mas rigurosa de los datos) para que tu trabajo sea apreciado y valorado en tu comunidad. Ahora bien, tenemos esta nueva necesidad de publicar en revistas generales (lease Science, Nature, Cell...) que en teoria permite que tu trabajo tenga mas audiencia y que ademas esta avalada por un factor de impacto enorme. La existencia de este tipo de revistas parece justificar la validez de la comparacion del factor de impacto entre distintas disciplinas y ahi es cuando sin tener mucha idea a veces de lo que estamos leyendo, nos creemos todos que porque Juanito ha publicado en revista de impacto X tiene que ser la releche. Notese tambien que algunos de los mayores fraudes de los ultimos anyos han aparecido publicados en este tipo de revistas.

Como tu bien indicas y creo que es a lo que iba el comentario de Maxi es que el uso del factor de impacto aunque en un principio lo que parece que hace es proveernos a todos con una medida objetiva de la valia de un investigador, en realidad no hace mas que substituir una medida subjetiva por otra. El sistema en esencia es corrupto, como lo es toda la actividad humana. Esta medicion aunque parece liberar al sistema de dicha corruptibilidad, lo que en relidad hace es taparla con mejor velo y el valor de este articulo en mi opinion es proveernos con algunos de los datos que indican que quizas y realmente nos estan vendiendo gato por liebre.

La solucion del problema pasa por un intento SERIO de resolverlos, con un analisis profundo de las raices del problema, y no por cambiar una tirita de color naranja por otra de color amarillo.

Se lo envío a varios amigos y, además, compartiré deliciosos. ¡Y obviamente, gracias por su esfuerzo! giftloop