Еще разочек про цитируемость

[flying_bear]

С легкой руки уважаемого Валчесса http://valchess.livejournal.com/115569.html в ленте активно обсуждают данные по цитируемости научных работ из разных стран. У меня как-то была длинная дискуссия http://flying-bear.livejournal.com/571250.html (была также интересная дискуссия у ivanov_petrov, но не могу найти ссылку). Там я заступался за индекс цитируемости. Но сейчас создалось впечатление, что многие отнеслись к нему как-то слишком уж серьезно.

Достаточно очевидно, что индекс цитируемости не имеет прямого отношения к качеству научных работ (его, видимо, измерить вообще невозможно, качество, простите за дешевый каламбур, характеристика качественная, т.е., неколичественная). Про это много и убедительно говорили, напр., sowa и kdv2005 в дискуссии у меня по ссылке. Что же меряет средний индекс цитируемости по стране? На мой взгляд, он меряет степень интегрируемости национальной науки в мировую. Высокие места Нидерландов и скандинавских стран понятны - там наука заточена под то, чтоб заниматься тем, что признано важным в мировом научном сообществе (мы маленькие страны, мы не можем делать все, нужно концентрироваться на "самых важных" направлениях; а "самые важные" так и выбираются, чтоб обеспечить хорошую публикуемость в top-rating journals и высокую цитируемость). В Швейцарии - то же самое + высоченные зарплаты научных работников + международные организации типа ЦЕРНа. Штаты... Ну, против лома нет приема. Нравится это кому-то или нет, это самая мощная национальная наука в мире, и они обречены быть наверху по любым не слишком причудливым показателям. Если же исключить США, видно, что мощные по числу исследователей и задействованным ресурсам национальные науки (Великобритания, Германия, Япония, Франция...) в общем уступают маленьким странам, именно потому, что большие страны развивают, более-менее, всю науку, а маленькие... могут позволить себе выковыривать изюм из булочки. Но булочку пекут не у них.

Низкие показатели России - это, безусловно, плохо. Но тут много привходящих обстоятельств, например, то, что в России издается (в основном по бюрократическим и шкурным причинам) огромное количество журналов, которые никто, никогда и ни при какой погоде не читает, включая их авторов. По хорошему, эти журналы вообще не надо считать научными и учитывать в подсчетах - не учитываются же там публикации в Крокодиле и Мурзилке. Я ни в коем случае не хочу сказать, что в российской науке полное благорастворение воздухов, совсем наоборот, но использовать для доказательства этого тезиса индекс цитируемости не вполне корректно. А вот малую интегрированность российской науки в мировую он показывает. Что, конечно, тоже не есть хорошо, но сводить все к этому я бы не стал.

Comments

[fozgen.livejournal.com]

Про российские мурзилки не совсем верно - они не входят в базу ISI и, соответственно не влияют на обсуждаемый ИЦ.

[flying-bear.livejournal.com]

Кое-какие входят. Если говорить о физике, к мурзилкам сейчас относятся все журналы, кроме Писем ЖЭТФ.

[mike-anderson.livejournal.com]

А ЭЧАЯ, по Вашему, тоже к мурзилкам? Обзоры там бывают очень неплохие, ИМХО.

[flying-bear.livejournal.com]

Я, конечно, погорячился - имел в виду физику конденсированного состояния, но не сделал оговорку. Про high-energy и ядерную физику, естественно, судить не могу - Вам виднее. В УФН, на мой взгляд (по знакомым мне разделам физики) уровень упал ниже плинтуса, хотя какие-то мысли где-то проблескивают.

[the-jubjub-bird.livejournal.com]

По химии входят, кажется, Успехи химии, Известия РАН, серия химическая, Mendeleev Communications - но это совместный с Royal Society of Chemistry. Раньше еще входили Кинетика и Катализ, Журнал Органической Химии и Журнал Общей Химии, теперь - не знаю.

[flying-bear.livejournal.com]

По физике много чего входит. Включая, кажется, родную (и некогда вполне приличную) "Физику металлов и металловедение". Но ее нигде нет, ни в библиотеках, ни в сети. Зачем выпускать журнал, для чтения вообще не предназначенный? Только для институтских отчетов и для ВАКа? (Вопрос риторический

[flying-bear.livejournal.com]

)

[valchess.livejournal.com]

Я с Вами совершенно согласен, особенно касательно степень интегрируемости национальной науки в мировую. Что меня удивляет в этих дискуссиях (у меня в журнале это очень видно) - так это склонность некоторых коллег либо к абсолютизации значимости этого индикатора, либо к его полному отрицанию. Казалось бы, должно быть понятно, что любой индикатор работает в некоем контексте, имеет ограничения и т.д. Математики, видимо, имеют больше резонов для отрицания индекса цитируемости (и у меня был разговор с уважаемым sowa, а только что обменялись нелицеприятными мнениями с другим математиком-профессором). Но какие-то индикаторы-то необходимы (цитируемость, при всех ограничениях, кое-что о качестве и производительности научного труда говорит, хотя бы в статистическом измерении), в том числе и в качестве ориентиров для научной бюрократии, распределяющей ресурсы (для математики не столь критичные). И надо пытаться их совершенствовать.

А для российсклй науки, я считаю, в настоящий момент очень хорошо, что этот вопрос с прискорбной цитируемостью российских ученых приобрел некоторую паблисити. В сочетании с беспомощными объяснениями научного начальства это, быть может, лишний раз послужит поводом посмотреть на организацию науки в стране.

[flying-bear.livejournal.com]

Какие-то индикаторы необходимы. Если Вы смотрели дискуссию, на которую я ссылаюсь, Вы знаете, что я всегда, и довольно в резкой форме, напоминал, что в конкретных условиях России лучше переоценить индекс цитируемости, чем недооценить, поскольку реальная альтернатива этому - скорее, клановость и способность к жополизанию начальства, чем глубина и оригинальность работ. Тем не менее, пример со сравнением новозеландской и японской математики в дискуссии по Вашей ссылке совершенно уместен. И вполне согласуется с тем, что я написал: маленькие страны обычно подстраивают свою науку под требования высокой цитируемости и т.п. Но могут они это себе позволить только потому, что большие страны занимаются всем. Очень крупные ученые могут себе позволить вообще не заботиться о формальных показателях. Для не столь крупных работает правило, отмеченное Совой: если оценка деятельности идет по некоему параметру, именно он и будет оптимизироваться.

Мне кажется, организация науки в стране (чудовищная) сохраняется не столько потому, что у кого-то на сей счет есть иллюзии, сколько потому, что совершенно неясна альтернатива. Делать-то что? Я не знаю. Никаких идей. Всех академиков расстрелять, а здание президиума РАН покрасить в зеленый цвет. По анекдоту. А у меня все же и интерес к проблеме, и relevant опыт существенно выше среднего.

[valchess.livejournal.com]

Тем не менее, пример со сравнением новозеландской и японской математики в дискуссии по Вашей ссылке совершенно уместен.

Остаюсь при мнении, что неуместен. Ибо тот конкретный всеохватывающий (все науки за много лет) индикатор "Citations per paper" просто не предназначен для подобных конкретных выводов по одной конкретной области. Как нельзя на основании GDP per capita (широкоиспользуемый экономический индикатор) судить о благосостоянии конкретной отрасли - для этого есть иные показатели. Но кое о чем другом - и важном - судить можно.

совершенно неясна альтернатива. Делать-то что?

Я бы сказал иначе. Делать бы можно многое (даже директивная жесткая привязка позиций, зарплат и ресурсов к тем самым публикациям исключительно в международных изданиях с высоким импакт-фактором для начала была бы исключительно полезна). Но в условиях нынешней системы - что в Академии, что в стране в целом - рассчитывать на это нереалистично.

[flying-bear.livejournal.com]

> директивная жесткая привязка позиций, зарплат и ресурсов к тем самым публикациям исключительно в международных изданиях с высоким импакт-фактором для начала была бы исключительно полезна

Не дай Бог, чтобы от публикации в высокорейтинговых журналах напрямую зависело физическое выживание. Они и так чересчур замусорены. На одного разоблаченного Шёна приходятся тысячи, с которыми просто лень и неохота связываться. Если бы что-то подобное тому, что Вы предлагаете, действительно было бы постулировано в России официально, я бы, на месте редакторов Science и Nature, немедленно дал бы асимметричный ответ - вообще не принимать к рассмотрению статьи с российскими адресами учреждений.

[valchess.livejournal.com]

Возможно, я слишком жестко сформулировал, и в итоге Вы отреагировали с упоминанием "физического выживания" с одной стороны, и супержурналов Science и Nature с другой. Но я ведь на самом деле ничего такого радикального не предлагаю. В Альбионе именно по такой схеме наука и существует, и ничего, все более-менее живы. Наверное, Вы и без меня в курсе, но все же кратко изложу.

Имееется такой Research Assessment Exerсise (RAE): раз в несколько лет (5-6) каждый занимающийся наукой сотрудник подразделения (кафедры, даборатории) "представляет" 4 опубликованных за отчетный период статьи. Если кто-то за 5 лет не набирает нормальных публикаций (а "ненормальные" могут и не взять) - это очевидное (и публичное) несоответствие занимаемой позиции. Это централизованно (специальным общенационалтьным учреждением) оценивается (формируются советы по специальностям, привлекают peer-reviews), submission каждого подавшего оценивается (критерии - в частности, как раз где опубликовано). В итоге подразделение получает оценку по пятибальной системе. В зависимости от которой на следующий период выделяется финансирование. Причем, разница между "5" и "4" (и далее) - очень большая, в разы. Вот как раз сейчас все с напряжением ждут объявления итогов последнего RAE (подача была в конце прошлого года, объявят в конце этого). Если колектив получает низкую оценку, то да, угроза для некоторых научных позиций возникает. Но это считается вполне нормальным!

Сейчас, кстати, рассматривается предложениe ввести в следующий раз вместо экспертных оценок более формальные показатели, основанные как раз на цитировании. Реакция неодноначная, идет обсуждение.

[flying-bear.livejournal.com]

Я понимаю неоднозначность реакции.

[buddha239.livejournal.com]

Вроде бы, в Институте Физиологии РАН публикации в журналах с высоким импакт-фактором могут дать очень приличную прибавку к зарплате.

[flying-bear.livejournal.com]

Трудно сказать, правильно ли это. Есть аргументы и такие, и сякие.

[buddha239.livejournal.com]

Ну, у меня нет на этот счет твердого мнения - просто хотел сказать, что в жизни так бывает:)

Если интересно - разборки питерских математиков на тему
http://bbixob.livejournal.com/75286.html

[flying-bear.livejournal.com]

Нет... Это просто немыслимо - читать столько... Особенно тем, кто не питерский математик.

[buddha239.livejournal.com]

Ну, наверное.:)

[buddha239.livejournal.com]

Кстати, Ваш оппонент выяснил, какие страны самые крутые в науке:
http://prof-yura.livejournal.com/203659.html

[flying-bear.livejournal.com]

Напрасно. Мне очень понравилось его участие в обсуждении по ссылке выше, но опускаться до клоунады все же не стоило.

[valchess.livejournal.com]

Печально, что этот господин то ли придуривается, то ли (что странно для математика) не понимает самых азов того, когда обобщающие статистические показатели имеют смысл (впрочем, то, что он не отличает частного от общего, он показал ранее). В методике расчета этого рейтинга (принадлежащей, естественно не мне, а Thomson Scientific) оговаривается, что таблица формировалась для стран, выдавших за отчетный 10-летний период не менее 50 тыс. статей. Данные по всяким Бермудам (где количество статей в пределах нескольких сотен) имеются, но для реальных сравнений, конечно же, не используются. Как в экономике какое-нибудь процветающее согласно некоторым индикаторам Монако остается вне сравнений с США, Китаем и Россией.

[buddha239.livejournal.com]

Ну хорошо - а в какой же, все-таки, науке Новая Зеландия обгоняет Японию?:) Желательно, чтобы это было мнение специалиста в данной области.

[valchess.livejournal.com]

А что значит "мнение специалиста"? Ведь здесь все рассуждения кто кого "обгоняет" построены на вычислении этого самого "Citations per paper". Можно говорить только о том, у какой страны этот индикатор лучше - и в целом (мы видим, что у Thomson получилось, что у Зеландии), и по отдельным наукам (в предыдущем посте на эту тему у меня были данные по 4-м разным наукам. Из них Зеландия обгоняет Японию в "клинической медицине").

Ну а как интерпретировать значения (в том числе сравнительные) этого индикатора - это вопрос интересный. Вот хозяин этого жж предложил интерпретацию, близкую к моей.

Можно, конечно, полагать, что сами расчеты были произведены фирмой Thomson c ошибками. Но, согласитесь, такие предположения уведут нас в другую плоскость.

Что касается Японии, то я знаком с тамошней ситуацией из первых рук. И скажу, что организация тамошней науки весьма неэффективна, а бюрократия просто ужасна.

[buddha239.livejournal.com]

Ну, еще можно предположить что Новая Зеландия специально гонится именно за индексом. Чтобы опровергнуть эту гипотезу, как раз и нужно мнение человека, который сравнить качество научных работ.

[valchess.livejournal.com]

Все-таки этот индекс - понятие слишком абстрактное, чтобы целая страна за ним целенаправленно "гналась". Другое дело, как и хозяин этого журнала указывает, что малые страны не распыляют свои не такие уж большие ресурсы, а выбирают некоторые ударные и популярные направления. Не для того, чтобы некий индикатор был лучше а потому, что такая стратегия организации науки позволяет действительно достичь успеха пусть в немногих, но ударных областях.

[valchess.livejournal.com]

Пожалуй, дополню о Японии - чтобы все-таки не быть к этой замечательной стране несправедливым. При ужасающей бюрократии, там все же денег на науку отпускается много, и одно это значит немало. Как прикладники, они, конечно, очень сильны. Что касается статей на английском, то у японцев традиционно нелегкие взаимоотношения с этим языком, и они много публикуют на японском. Возможно, это несколько искажает объективную картину сitations в худшую для них сторону.

[050778.livejournal.com]

по-моему, указания на неприемлемость индекса отсылают к поговорке про дурака, заставленного молиться богу. люди просто не разобрались, а что он, собственно, показывает.
да и альтернатив, главное, нет. а тут хоть какие-то показатели, на базе которых теперь, совершенствуя индекс и вводя какие-то новые переменные, можно будет, наверное, гораздо большего достичь (="измерить")

спасибо, было интересно

[flying-bear.livejournal.com]

> люди просто не разобрались, а что он, собственно, показывает.

Я и попытался, в меру понимания, помочь разобраться. И я не считаю индекс цитируемости неважным. Степень востребованности научной работы здесь и сейчас - это важный показатель; именно он, более-менее, и измеряется индексом цитируемости. Я просто хочу сказать, что это никак не "вклад в науку" и не "качество научной работы". А именно такие выражения использовались, причем достаточно понимающими людьми, при обсуждении.

Оговорка про "здесь и сейчас" важна. Известны примеры, когда работа начинает активно цитироваться через десять, двадцать, а иногда и пятьдесят лет после публикации. Бывает, тема полуобъяснимо входит в моду или выходит из моды. Мой собственный индекс цитируемости за последние два с половиной года удвоился. Так получилось. Но нелепо считать, что я за два с половиной года стал в два раза лучшим научным работником, или что мой вклад в науку удвоился за два с половиной года (при общем стаже работы в науке порядка тридцати лет). Так не бывает.

[valchess.livejournal.com]

Да, пожалуй Вы точно подметили мою неаккуратность в формулировке уже заглавия моего поста ("Вклад в науку..."). В оправдание скажу, что в самом посте я выражался вполне сдержанно (цитата: Естественно, что такой интегральный импакт-фактор, размывающий специфику отдельных наук, требует осторожной интерпретации. И тем не менее, он в определенной степени характеризует общий уровень развития науки и производительности труда научных работников в разных странах - тем более, что альтернатив ему немного.), ибо сам осознаю ограниченность подобных индикаторов. Но как это часто бывает, некоторые люди читают именно заголовок, затем бросают беглый взгляд на таблицу и получают искаженное представление о том, что имеется в виду.

[avrukinesku.livejournal.com]

Как Вас лучше подать? Профессор... что дальше?

[flying-bear.livejournal.com]

Дальше - тишина. Профессор я, и все. "Профессор теоретической физики" должность называется.

Что-то я никаких нормальных фото не могу найти. Видимо, на фотографов неча пенять, коли рожа крива.

[vasja-iz-aa.livejournal.com]

Скажите пожалуйста, а Вам не кажется что относительно высокие показатели наук малых стран в обсуждаемом рейтинге во многом получены за счет очень благоприятной для них методики учета совместных работ, которая применялась в исследовании? Единственный из своей страны соавтор большой работы со многими участниками приносил ее в графу своей страны целиком, со всеми кредитами.

[flying-bear.livejournal.com]

А почему Вы думаете, что число соавторов в научной работе от данной страны пропорционально численности населения? И, потом, мое утверждение - в том, что индекс цитируемости характеризует степень интеграции национальной науки в мировую. Если (я не понимаю, почему, но пусть) индекс цитируемости малых стран накручивается за счет того, что много идет совместных работ, это тем более подтверждает исходный тезис.

[xaxam.livejournal.com]

Матрица (точнее, многовалентный тензор) цитируемости (кто кого, по направлениям, странам, ...), да ещё динамическая - просто статистическое сокровище: глядя на эти данные, несомненно, можно очень много чего сказать. Томсон и иже с ними вполне заслуживают тех денег, которые они зарабатывают сбором библиографических данных и их продажей.

Вопрос только в том, кому, что и на каком языке говорить. Например, можно пытаться без всяких априорных гипотез, только на основе data mining, устанавливать по корреляциям эмпирические закономерности между публикационной активностью в данной стране, уровнем развития её high-tech industry и экономики в целом, уровнем национального образования и т.д.

Другой пример, - можно строить модели "производства научной продукции", сравнивать их поведение с реальными данными, пытаться улучшить validation of parameters и далее анализировать и/или предсказывать что-либо. Тоже было бы очень поучительно и полезно.

Но в любом случае пытаться агрегировать колоссальный объём информации в одном показателе (будь то импакт-фактор журнала, h-индекс учёного или рейтинг страны) и сравнивать их - нелепица. А если на основании этих сравнений делаются оргвыводы (hiring, гос. субсидии в области, ордена и медали генералам от науки за победу в международном соревновании) - это уже хуже, чем преступление, это глупость.

Мой знакомый, недавно отслуживший chairman'ом департамента математики, регулярно упражнялся в таком виде деятельности. Глядя в послужной/публикационный список сотрудника, за которого департамент проголосовал (приём на работу, promotion etc), он придумывал комбинацию нескольких показателей, по которым данный кандидат оказывался Парето-недоминируемым среди всех специалистов в своей области, чтобы убедить ректора-географа подписать назначение. Всякий раз это удавалось сделать (в смысле, найти нужный набор критериев, - ректора удавалось уговорить не всегда).

[xaxam.livejournal.com]

An example of successful manipulation by the citation index ;-)

[flying-bear.livejournal.com]

Да, конечно. Полезная информация, но не для оргвыводов, а для размышлений.