Про цитируемость

[flying_bear]

Международный союз математиков предостерегает от неправильного использования статистики цитирований (http://www.polit.ru/science/2008/06/16/mathunion.html)
(via nataly_demina)

Как всегда у математиков (по крайней мере, если верить авторам известного анекдота про гондолу воздушного шара) - все совершенно верно и совершенно бесполезно.

Это, примерно, как споры о том, какая форма правления лучше. Ясно, что лучше всего вообще никаких форм правления не иметь, а решать все "по-людски". В семье и в небольших коллективах так оно все и работает. Но так нельзя править страной, и приходится из зол (поскольку любая власть есть зло) выбирать меньшее.

Впрочем, как раз математиков понять могу - их сравнительно немного, и, насколько знаю, математика куда в бОльшей степени единая наука, чем физика. Вопрос - чего делать, когда тебе присылают двадцать пропозалов, один по гидродинамике, другой по оптике, третий по космологии, и т.д. (а сам ты специалист по магнетизму), и нужно их за две недели проранжировать на предмет, какие заслуживают поддержки, а какие нет. В такой ситуации (Мальтус был в чем-то прав - все зло от перенаселения, научных работников просто непомерно много развелось) можно либо (1) руководствоваться какими-то формальными критериями, отдавая при этом себе отчет в их несовершенстве (2) руководствоваться "человеческими отношениями" в советском духе (кто с кем пьет, кто чью дочку трахает и кто кому ремонтирует крышу на даче). А как еще?

Индекс цитируемости и фактор Хирша, действительно, не характеризуют качество работы и уровень автора (вряд ли кто-то из серьезных людей когда-то утверждал обратное). Но они характеризуют нечто вполне важное, а именно, востребованность работы и интегрированность автора в мировую науку. В ситуации, когда, как сейчас в России, идет спор между сторонниками "самостийности" и "особого пути" (у них - результаты, у нас - Идеи, как элегантно высказался недавно президент РАН), с одной стороны, и интеграции в мировую науку, с другой - приходится пропагандировать индекс цитируемости при полном понимании всех его несовершенств.

И еще. Исходя из некоторого личного опыта, про импакт-фактор журналов. Писать статьи для "top-rating journals" типа Nature и Science очень трудно. В сугубо научном отношении. Требуется продумывать результаты на бОльшую, чем обычно, глубину, ибо только в этом случае их можно убедительно и ясно изложить словами, с минимумом формул (там это требуется), а также объяснить людям, почему это важно (т.е., установить связь своих результатов с мировой наукой в целом). Большинство людей не любят делать то, что трудно. Куда проще помещать плохо продуманные статьи в журнал, где редактором друг Вася, и придираться поэтому никто не будет, и с гордостью говорить "Я не занимаюсь саморекламой".

Comments

[urod.livejournal.com]

А не лучше ли каждую статью послать 3 экспертам в данной области и попросить оценить?

> словами, с минимумом формул (там это требуется)
Дожили: от научных статей требуется минимум формул.

[flying-bear.livejournal.com]

Так ведь, знаете... один дурак напишет столько формул, что потом сто мудрецов не разгребут. И пишут.

[urod.livejournal.com]

А вы попробуйте с минимумом формул изложить теорию электрослабого взаимодействия... "Если из физики убрать математику, останется только русский язык".

> один дурак напишет столько формул, что потом сто мудрецов не разгребут. И пишут.
Рецензеты и разберутся, действительно ли его формулы чего-то стоят.

[flying-bear.livejournal.com]

А, да. Забыл ответить про трех экспертов. Я писал не про статьи, а про пропозалы. Статьи посылают экспертам, называется "рецензирование". Иногда одному, иногда двум, иногда трем. Иногда пишут умное, иногда глупости. Всякое бывает. Статей нынче много пишут, экспертов не напасешься.

[urod.livejournal.com]

Да я понял. :) Но пропозалы тоже можно посылать 3 экспертам.

... а если не пройдет рецензирование - убивать!

[ex-cherstn587.livejournal.com]

Все равно университеты производят через чур много специалистов по классическим научным дисциплинам. Так можно найти равновесное состояние, да и статей поменьше будут совать кто не попадя куда попало...

Вообще это хорошая задачка для университетского курса математики, сколько надо убивать научсотов за плохие статьи для обретения равновесия системы, если известно сколько их выпускается и сколько они печатаются.

И, главное, ответ давно известен

[flying-bear.livejournal.com]

Убивайте всех, Бог на том свете разберет своих.

Re: ... а если не пройдет рецензирование - убивать!

[ex-cherstn587.livejournal.com]

Пы.Сы. Задачку можно назвать "Задача о трех экспертах". :)

[ivanov-petrov.livejournal.com]

видимо, качество работы не может охарактеризовать никакой способ... кроме ручками написанной рецензии понимающего человека. И желательно потом еще с этим человеком поговорить. Иногда и этого оказывается мало. Но, однако, это все по поводу "высот творчества". Касается очень немногих работ и крайне малого числа авторов. Весь вал публикаций, на 99% - достаточно технические вещи, и тут выдюдюриваться незачем. Хотя не могу не воткнуть булавку - есть области знания, где цитируемость вообще не является показателем чего-либо. Грубо говоря, если специалист работает в области. где кроме него нет ни одного спеца на свете, или есть еще один. с которым он, как правило. в контрах - все индексы отражают сами себя. Но, думаю, таких специалистов и без индексов никто не любит, ибо пользы от них народному хозяйству мало и удойность не растет.

[flying-bear.livejournal.com]

На самом деле, все эти игры в цитируемость никогда не нужны в пределах узкого, четко очерченного научного коммьюнити. Там и так все про всех все понимают. Но есть реальная проблема распределения денег и ресурсов. Один при этом считает, сколько муравьев может сидеть на кончике травинки, а другой работает над вопросом, насколько быстрее (или медленнее) фонарные столбы ржавеют в полнолуние, чем в новолуние. А деньги на исследования есть только на одного. И нужно решать. А понимающих людей, которым, что муравья понять, что фонарный столб, в природе почти не существует. И чего делать?

[ivanov-petrov.livejournal.com]

ну, давайте тогда уж всерьез. Деньги (откуда они - вопрос иной) поступают в распоряжение особенного органа, выбранного самими учеными - данной широкой области. они же создают соотв. комиссии. привлекают экспертов и пытаются всерьез разобраться, кому следует дать какое финансирование. правила смены всех этих людей, анонимности и, наоборот. прозрачности - кажется, можно было бы разработать. Это в том случае. конечно. если деньги дают "ваще" на науку, а не на конкретный результат или конкретное исследование. Так же ясно. что к академии эти игры отношения не имеют - создание особых "великих ученых" и их собрания - вообще не имеет отношения к распределению средств. Например, голосование за выдвижение кого-то в такой орган могло бы быть тайным - как на защите. Значение всевозможных интриг существенно бы уменьшилось, если б результаты и критерии работы были, наоборот. очень прозрачными и широко обсуждались.

[nenujomojo.livejournal.com]

есть ощущение, что заявки, претендующие на финансирвание не выше какого-то порога, надо удовлетворять случайным образом. крупные проекты - разговор отдельный.

[flying-bear.livejournal.com]

Но ведь Вы не от хорошей жизни такое предлагаете? И вряд ли бы всерьез одобрили, если кто-то последовал бы Вашему совету?

[nenujomojo.livejournal.com]

Отчего же? Как раз одобрил бы. Если бы подобной схеме следовали крупные стуктуры. Небольшие гранты - для небольших групп или одиночек, и адекватная оценка, как возможностей группы, так и осмысленности тематики - очень затруднена. Рандомизация до некоторой степени все равно происходит.

[dorinem.livejournal.com]

Ага. Спасибо, что рассказали, что это неправильно. Вы нам лучше дайте глубокий математический инсайт - как правильно-то, а?

[flying-bear.livejournal.com]

Что именно неправильно? Какой именно инсайт Вы от меня ждете? Уточните, пожалуйста. А то перечитал в испуге свою запись и вообще не нашел, чтобы там что-то обзывалось неправильным. Сплошное "с одной стороны", "с другой стороны". Как в большинстве моих записей.

Ваш коммент настолько общий, что, прежде чем отвечать, хотелось бы убедиться хотя бы, что Вы комментируете именно ту запись и именно тот журнал, который собирались. А то, знаете, бывает - откроют несколько окошек сразу...

[kdv2005.livejournal.com]

Тут, конечно, лучше было бы послушать мнение куда более осведомленного Совы, но вряд ли он вернется в ЖЖ только для такого комментария.

Мне кажется, что сам отчет написан в предостережение ретивым администраторам, от которых зависит распределение денег, прием на работу и прочие блага. Их недоверие к мнению экспертов и желание вместо него опираться на "всеобъемлющую и объективную" цифру вполне себе универсально. Вряд ли кто-нибудь будет всерьез вмешиваться в процесс выработки мнения специалистом, который хоть и Хирш-фактором будем пользоваться, но прекрасно понимает ограниченность этих средств.

[kdv2005.livejournal.com]

Я, кстати, думаю, что важно и полезно, когда Союз Математиков дает скептический отзыв об индексах цитирования, чем когда он с энтузиазмом все это дело одобряет. О способах демагогического использования последнего Вы наверняка больше меня рассказать можете.

[kdv2005.livejournal.com]

Я отзываю свой комментарий и всю следующую за ним цепочку. Стирать не буду, но прошу считать недействительным. Вы пишете совсем о другом, и я Вас сначала понял в точности наоборот.

[sowa.livejournal.com]

Я иногда позволяю себе удовольствие оставить несколько комментов.

Не понял, почему вы "отозвали" свои комментарии.

Математики составляли свои рекомендации для мировой математики, а не для российской физики.

Может, стоит подчеркнуть, что в математике нет журналов типа Nature, где хорошие результаты надо излагать с минимумом формул. Что глубокие работы часто цитируются мало и начинают цитироваться через несколько лет после публикации. И есть еще много отличий от естественных наук. И что лучшая оценка работы, proposal'а, или деятельности в целом математика - это отзывы нескольких экспертов. И, главное, что эта система экспертных отзывов в математике эффективно работает, а индексы цитирования в математику пытаются внедить бюрократы.

Сказав все это, я бы добавил, что количество и характер цитирований все-таки кое-что говорит об авторе и в математике. Если самая цитируемая работа автора цитируется почти исключительно им самим, тут что-то не так. Равно как и если работы автора не цитируются даже им самим. Если у новоизбранного член-корра РАН цитирований на порядок меньше, чем у просто профессора американского университета не первой десятки, то тут тоже что-то не так. Но чтобы понять, что именно не так, требуется дополнительное иследование.

[yablokowitz.livejournal.com]

Цитаты нам необходимы как воздух для полета Медведей. Это для начала планирования. И никакой математики.
"Говорят вам: Смотрите, царствие в небе! - тогда Медведи Летающие опередят вас".

Телефон доверия для Неверующих - 242 60 10.
"Трепал нам кудри (шерсть) ветер высоты".

[flying-bear.livejournal.com]

Какая страшная цифирь. Это что за нумерология в моем журнале? Попрошу не выражаться!

[san-diegan.livejournal.com]

Хороший способ увеличить индекс цитирования работы - пробиться в хороший журнал с какой-нибудь явной х...й. Научная общественность начинает горячо возмущаться, ссылаясь, естественно на статью. Индекс цитирования взлетает до небес. Знаю по-крайней мере одну такую "классическую" статью в Science (получившей, кстати, три отрицательных отзыва от рецензентов, но тем не менее удивительным образом таки опубликованной).

P.S. "У меня десять работ с более чем 70 ссылками". Я сегодня полюбопытствовал. У меня только 3. Стало быть, вы всего-то в 3 раза меня умнее. Что ж, таким результатом я могу только гордиться.

[flying-bear.livejournal.com]

Да ну что Вы. Какие три раза. Британские ученые установили, что умность зависит от числа работ с более чем 70 ссылками всего-навсего логарифмически.

[serendipitous-t.livejournal.com]

по поводу top-rating journals. Не могу удержаться от цитаты, высказанной на довольно важной конференции с acceptance rate порядка 15%: such conferences favour boring incremental papers. Его аргумент - любая выдающаяся статья нарвется на негодующего рецензента и даже если двое других ее восхвалят, она не пройдет по конкурсу. Ну а кроме того, важно показать, что твой результат численно лучше других, что значит наличие очень похожих результатов, ну и борьбу между ними за пару процентов.

Понятно, впрочем, что в российском контексте все еще хуже.