Главная » Статьи » Орбита для размышлений » Наука

Научная мода: индекс цитирования

Владимир Плунгян
Доктор филологических наук, член-корреспондент РАН, профессор, заведующий отделом типологии и ареальной лингвистики Института языкознания РАН и отделом корпусной лингвистики и поэтики Института русского языка имени В.В. Виноградова РАН, специалист в области морфологии, африканистики и корпусной лингвистики.

Говоря об индексах цитирования, я бы разделил проблему на две: полезны ли такие критерии строго в том виде, в каком они предлагаются к использованию «здесь и сейчас» – и полезны ли они вообще. При этом я, конечно, предпочёл бы говорить только о своей области – теоретической и описательной лингвистике. Ответ на первый вопрос для меня очевиден: те инструменты, с которыми я лично сталкивался (и которые пытаются внедрять сейчас у нас повсеместно) абсолютно никуда не годятся, вреда от них много (потому что они создают искаженную картину), а пользы никакой. Говорили об этом уже бесконечно, могу только повторить самое главное:

1) Сейчас при определении индексов цитирования бесспорный приоритет отдается журналам, а в лингвистике (как и в ряде других дисциплин) основные результаты принято публиковать в сборниках статей и в монографиях.

2) Даже для журналов, при опоре на такие системы, как Scopus и особенно Web of Science, не учитываются публикации во многих авторитетных в нашей области изданиях, например, Linguistic Typology (между прочим, ведущий журнал по лингвистической типологии в мире!), Scando-Slavica (один из везущих журналов по славистике) и др.

3) В массовом порядке игнорируются публикации не на английском языке, а для лингвистики, в отличие, может быть, от естественных наук, они остаются важными – речь не только о русскоязычных изданиях, в сходном положении находятся публикации, допустим, на французском или немецком, не говоря уже о других языках.

4) Вообще, система критериев представляется слишком американоцентричной – она, плохо ли, хорошо ли, но «заточена» под оценку профессиональной пригодности сотрудников американских университетов. Но так ли мы уверены в том, что если произвольно взятый исследователь в произвольно взятой стране по каким-то причинам не подходит для американского университета, то он вообще не представляет ценности как ученый? Лично я не взялся бы такое утверждать.

Иными словами, действующая система составлена так, чтобы определить, насколько часто ваши работы цитируют физики и химики в американских журналах… Судите сами, насколько она полезна для оценки работы российских лингвистов. С тем же успехом можно пытаться использовать лопату вместо скальпеля. Если такая система попадет в руки невежественных и самоуверенных бюрократов, которые, не понимая сути данной научной области, начнут на основании таких инструментов принимать кадровые и прочие решения – последствия могут быть катастрофическими.

И тут мы переходим ко второй части проблемы. Представим себе, что индекс цитирования идеален и учитывает всё, что только можно учесть – и журналы, и сборники, и монографии, и издания на финском и корейском… И да, мы действительно сможем понять, какого исследвателя цитируют много, а какого – мало, какого – только в своей стране, а какого – во всём мире, какого – на протяжении многих лет, а какого – недолго, и т.д., и т.п. Это интересные и важные данные (постольку, поскольку они достоверны), но – в плане оценки значимости исследователя – они, увы, почти ни о чём не свидетельствуют. И об этом уже тоже бесконечно говорилось. Отличить по формальным критериям хорошего учёного от плохого (и особенно – хорошего учёного от ловкого имитатора) – задача сложная и почти неразрешимая: на то и существуют имитаторы, чтобы копировать как раз внешние признаки успешного исследователя. Лучше всего, как показывает опыт, всё-таки решать эту задачу с помощью специально подобранных экспертов, хотя и они, как известно, ошибаются. Отказаться от услуг экспертов, от «человеческого фактора» и опираться на простые количественные показатели – путь соблазнительный, но тупиковый. Это те самые «простые решения», которые ведут туда же, куда и все прочие благие намерения. Но этот разговор во многом беспредметен, потому что до идеальных индексов цитирования нам сейчас всё равно космически далеко. Так что в целом моя позиция по отношению к новейшей кампании «индексопоклонства» резко отрицательная.

Евгений Шеваль
Кандидат биологических наук, старший научный сотрудник НИИ физико-химической биологии имени А.Н. Белозерского МГУ.

Модная в последнее время наукометрия на основе показателей цитирования имеет целый ряд несомненных достоинств, которые, надо думать, будут определять все более и более широкое ее использование. Прежде всего, при использовании таких параметров мы имеем внешнюю, независимую экспертизу работы ученого. Причем, это экспертиза не каких-то громких фраз и грандиозных мега-планов, а экспертиза результатов (т.е. статей) и их уровня. А поскольку при этом используются преимущественно международные системы (Web of Science, Scopus), то на выходе мы получаем оценку международного уровня.

Более того, при использовании наукометрических параметров ученые попадают в относительно прогнозируемую ситуацию, когда оценка деятельности в минимальной степени зависит от произвола окружающих. В конечном счете, в каком журнале будет опубликована статья и будет ли она цитироваться, это зависит от таланта и трудолюбия ученого. Можно ставить себе цели и постепенно их добиваться.

Основное неприятие наукометрии, как мне представляется, связано не с недостатками этих инструментов, а с нелюбовью к внешней экспертизе. Она часто дает совсем не те результаты, которые хотелось бы получить. К сожалению, ситуация, когда одни и те же люди и проводят экспертизу заявок и выигрывают потом конкурсы, стала распространенной и давно уже не воспринимается как нечто неправильное и непорядочное.

Понятно, что имеющиеся наукометрические инструменты не идеальны (идеальной научной экспертизы человечество пока еще не придумало), и в ряде ситуаций они не работают или даже приносят вред. Но это свойство любого инструмента – даже самый прекрасный микроскоп плохо годится для забивания гвоздей. Если же пользоваться с толком, то такие подходы могут быть полезным подспорьем при принятии административных решений в области науки. По крайней мере, до тех пор пока в стране не будет выстроена система нормальной научной экспертизы.

Александр Марков
Доктор биологических наук, ведущий научный сотрудник Палеонтологического института РАН, профессор РЭШ.

Прежде всего, я, в отличие от многих моих коллег-палеонтологов, считаю, что такого рода оценки, количественные критерии, как индексы цитирования, полезны и нужны. У них есть плюсы и минусы, но в целом, мне кажется, что полностью пренебрегать такими вещами нельзя. Надо пытаться вырабатывать какие-то объективные критерии, чтобы отличить бездельника от работающего, хорошего ученого.

Я не буду описывать все достоинства этого подхода, а вот про недостатки и про ограничения я рассказал бы подробнее. Во-первых, понятно, что специалистов и организации по этим индексам цитирования сравнивать надо очень аккуратно. Все зависит от того, о какой науке и дисциплине идет речь. Есть научные направления, которые очень нужно развивать, но работы в этих направлениях никто не будет цитировать, потому что так уж сложилось, что этой темой в мире занимается не так много людей. Например, систематика какого-то семейства ископаемых трилобитов. Изучать надо все. И кто-то изучает этих богом забытых трилобитов. Но таких людей в мире, например, всего 5 человек. Они друг друга цитируют, но высокого индекса цитирования у них никогда не будет. Потому что кроме этих пятерых, никому в мире не интересны эти несчастные зверюшки, вымершие 500 миллионов лет назад.

В палеонтологии – это типичная ситуация. Классический вид деятельности в палеонтологии – описание морфологии, систематики, родственных связей каких-то конкретных ископаемых групп. Это – основа работы палеонтолога, на этом строятся все дальнейшие обобщения, глобальные выводы, но база, основа – это описание ископаемого материала. И в подавляющем большинстве случаев, за исключением каких-то уникальных находок, вроде археоптерикса, такие работы с описанием ископаемых цитируются очень редко. Соответственно, очень хороший палеонтолог будет иметь весьма и весьма скромный индекс цитирования, даже если он – величина мирового уровня в своей группе. Даже если он – лучший в мире специалист по трилобитам, по сравнению с каким-нибудь молекулярным генетиком у него все равно индекс цитирования будет низкий. То есть, лучший в мире специалист по трилобитам отряда Agnostida будет иметь индекс цитирования гораздо ниже, чем рядовой молекулярный биолог.

Если российская наука перейдет на активное использование индексов цитирования, произойдет смена правил игры. Я в науке с 1987 года, и у нас не было стимула стараться повышать свой индекс цитирования. Карьера научного работника, его репутация в глазах коллег, его «вес» в науке измерялся другими вещами. А если и использовался какой-то количественный показатель, то это было просто количество публикаций, независимо от того, цитируют их, или нет. Количество публикаций упоминалось в отчетах. И потом – какие публикации? У нас, например, в Палеонтологическом институте всегда была и остается такая традиция: самые серьезные, самые ценные, важные научные результаты публикуются в виде монографий. Есть серия «Труды палеонтологического института», в которой несколько сотен томов. Эти монографии рецензируются, и рецензируются гораздо тщательнее и строже, чем журнальные статьи в российских РАНовских журналах. Но в «Scopus» эти монографии просто не фигурируют. Они считаются книжками и идут как нерецензируемые издания. И те, кто написал много ценных монографий, сейчас, при переходе на индекс цитирования, как критерий оценки работы ученого, получат большую фигу. Потому что это все «не считается». Это – смена правил игры. Нечестно вот так брать и выгонять теперь на улицу тех палеонтологов, которые писали монографии, вместо того, чтобы писать статьи в Палеонтологический журнал.

Карьера научного сотрудника у нас до сих пор практически не зависит от публикации в зарубежных журналах. Когда пишешь отчет в конце года, составляешь список публикаций, и чем больше список публикаций, тем лучше. Поэтому перед научным сотрудником стоит выбор: он тратит втрое больше времени на статью, но публикует ее в высокорейтинговом журнале, и тогда список публикаций в отчете в конце года будет радикально коротким. Или он не тратит время, чтобы довести статью до уровня журнала, а отдает ее в наш журнал, вроде «Общей биологии» или «Зоологический журнал». И пишет еще и еще. То есть написать три статьи в наши журналы выгоднее, чем одну – в высокорейтинговый. Люди же приспосабливаются, ведут себя в соответствии с теми правилами, которые существуют. Сейчас существуют такие правила. Для нас индекс цитирования никогда ничего не значил. На практике мы о нем и не заботились, соответственно. А сейчас происходит смена правил игры во время игры. (c) postnauka.ru

Михаил Соколов
Кандидат социологических наук, доцент Европейского университета в Санкт-Петербурге, научный сотрудник Центра независимых социологических исследований. В сферу профессиональных научных интересов входит микросоциологическая теория, национализм и националистические движения.

Индекс цитирования можно использовать тремя способами: для поиска информации, для исследований науки, и для оценки работы ученых. Первый и второй из этих способов не вызывают ни у кого никаких возражений, а вот о третьем ведутся ожесточенные споры. В первую очередь, индекс как таковой – это система библиографического поиска. Если, например, вы хотите найти людей, которые занимаются близкими вам темами, то посмотрите на тех, кто цитирует те же статьи, что и вы, или вас самих — и, скорее всего, вы найдете возможных партнеров и будущих коллег. Второе возможное использование – это использование как средство исследовать динамику науки. Например, можно строить карты академического пространства, основанные на том, кто кого цитирует, и получается вполне убедительная, правдоподобная и красивая картинка, демонстрирующая, как разные области знания связаны между собой.

Проблемы начинаются тогда, когда мы подходим к третьему типу использования индексов – к оценке научной работы. С самого начала истории современных индексов (60-70-е годы) было выдвинуто несколько возражений против того, чтобы считать количество ссылок на работу ученых показателем ее качества. Они связаны с тем, что цитирование, во-первых, организовано по-разному в разных дисциплинах, во-вторых, разные группу ученых имеют разный доступ к медиа, которые покрывает индекс, и в-третьих, приобретает разное значение в разных карьерных контекстах.

Прежде всего, есть различия между областями знания: в разных дисциплинах существует разная культура цитирования, и поэтому само по себе число цитирований не очень показательно. Например, где-то библиографические списки традиционно очень длинные, а где-то – короткие. Кроме того, где-то самих ученых очень много, а где-то – мало. Исследованиями в медицине занимаются в тысячи раз больше людей, чем в античной филологии. Наконец, где-то – в естественных науках, в первую очередь – новая литература быстро вытесняет старую, а в других – это происходит очень медленно. Показатель полужизни – время, за которое среднестатистическая статья набирает половину цитирований – составляет год-полтора для микробиологии, а для истории этот период больше 20 лет. Поэтому сами по себе цифры для сравнения не очень показательны.

Есть, по крайней мере, четыре разные идеологии нормализации, которые предлагают способы уравнять цитирования в разных дисциплинах между собой. Это совсем нетривиальная задача, учитывая, например, что распределения т.н. безмасштабные, и обычные средние для них не показательны, а границы между областями подвижны и неопределенны. До сих пор консенсуса по поводу того, как это делать, не существует.

Вторая большая проблема связана с тем, что цитирования должны извлекаться из какой-то базы. Сейчас это преимущественно база англоязычных журналов. Тут два ключевых слова – «журналов» и «англоязычных». База, в которую вошли бы все журналы, книги и прочие издания, в которых встречаются научные цитирования, не существует и, скорее всего, в обозримом будущем ее никто не создаст. Книги есть в GoogleScholar, и «Web of Science», старейший и главный индекс цитирования, тоже объявил о том, что он собирается интегрировать монографии, но это только первые попытки. В результате, те дисциплины, в которых коммуникация во многом происходит через монографии, до сих пор оказывались как бы исключенными из подсчетов (опять же, пример — гуманитарные науки и история).

Когда проблему с монографиями вроде бы начали решать, появилась новая: коммуникация между учеными постепенно перемещается из печатных журналов и книг в электронные медиа. И в недалекой перспективе тут появятся проблемы вроде: считать, ли «лайки» в Facebook эквивалентом цитирования в научной статье? Основной контраргумент – «лайк» в Facebook может поставить кто угодно, а статья в профессиональном журнале все-таки предполагает, что автор специалист в данной области. С другой стороны, среди самих профессионалов есть ощущение, что журнальная система устарела, поскольку коммуникация через социальные сети быстрее и эффективнее. То есть может сложиться ситуация, когда обмениваться информацией ученые будут через социальные сети, а печататься в журналах станут только для того, чтобы кого-то процитировать. Фактически, Facebook при этом станет основным средством коммуникации, а журналы – приложением к нему, где можно расставлять «лайки» (см. о научных журналах в http://postnauka.ru/faq/12936 ). Правда, уже есть исследования, показывающие, что «лайки» в социальных сетях в естественных науках позволяют предсказывать последующие цитирования в научных журналах с высокой точностью, так что непонятно, сохранит ли отдельная база Web of Science при этом хоть какой-то смысл.

Помимо неопределенности с тем, какие медиа включать в базу, есть еще проблемы связанные с представленность в ней печатной продукции из разных стран. Несмотря на приобретение английским статуса «новой латыни», коммуникация между учеными все равно ведется в значительной мере на национальных языках. Web of Science (как и второй крупнейший индекс – Scopus), однако, исходно ориентировался на максимально полное покрытие именно англоязычной периодики. В результате, национальные научные миры предельно неоднородны по тому, сколько индексируемых журналов приходится на одного ученого – от Голландии, в которых на сто исследователей приходится один журнал, до Украины, в которой один журнал приходится на десять с лишним тысяч.

Третья большая проблема связана с тем, что расшифровать значение того или иного уровня публикационной активности и цитирования можно, только зная достаточно много об устройстве карьеры в определенной области знания. Скажем, для историка во многих странах нормально, если их первая публикация – монография, основанная на результатах диссертации – выходит к сорокалетию (например, Фернан Бродель опубликовал свою первую работу в 47 лет — это было трехтомное «Средиземное море», ставшее одним из главных исторических бестселлеров 20 века). Для математика не опубликовать ничего ценного к 30 годам считается смертными приговором. Иными словами, в индексе цитирования содержится много полезной информации для оценки исследовательского потенциала, но извлечь эту информацию может только очень специфический круг людей, которые знают, как устроена научная биография в данной области – когда люди достигают своего интеллектуального пика, каковы затраты, необходимые для того, чтобы «войти в тему» и собрать материал, каковы, наконец, традиции в данной области.

Когда индексы воспринимаются в качестве бюрократического инструмента, обычно предполагается, что они могут решить очень большую важную проблему: они создают что-то вроде универсальной метрики научной важности. Как богатство можно измерить в долларах, а, скажем, политическая популярность в голосах, так научное влияние можно измерить в цитированиях.

Но представьте себе, что есть большая страна, и кому-то поручили проехать по разным регионам этой страны с очень разнородным населением и узнать, где какой губернатор самый популярный. Это очень сложно, потому что, во-первых, если вы журналист и путешествуете от дома к дому, то у вас есть риск попасть к людям из одной среды: когда вы подходите к первой двери и спрашиваете, кого они поддерживают, вам отвечают. Когда спрашиваете, с кем еще можно поговорить — вас посылают дальше по улице, причем, скорее всего, посылают к единомышленникам. Вы как бы заблудились в одном социальном кругу. А это – один из главных страхов политиков и администраторов, когда они имеют дело с научной экспертизой. Допустим, чиновник попросил знакомого ученого сказать, кто самый талантливый и известный, а тот назвал своего приятеля, который, в свою очередь, пошлет чиновника назад к нему же. Чиновник попал в круг взаимного обожания, который возникает совершенно непроизвольно – просто ученым, как и всем остальным людям, нравятся те, кто думает как они, и кому нравятся они сами. Вроде бы цитирование помогает выйти из этого положения, потому что, вместо того, чтобы говорить с отдельными экспертами, вы можете узнать, что думают десятки, сотни и тысячи людей. Вместо того, чтобы опрашивать отдельных информантов, вы провели плебисцит, в котором подать голос мог каждый представитель «республики ученых».

К сожалению, в нашей стране оказывается, что избирательные участки распределены очень неравномерно – где-то их нет вообще, где-то они натыканы очень густо. Где-то население не знает, как голосовать. Где-то избирательные комиссии научились фальсифицировать результаты так, что этого никто не замечает. Опять же, это не делает результаты голосования совершенно бессмысленными — но для того, чтобы их интерпретировать, надо очень хорошо знать страну. Раньше вы опирались на информантов, чтобы они сказали вам, кого поддерживает население, а сейчас вам нужны информанты, чтобы они сказали, что значат результаты голосования этого населения. И, к сожалению, главную политическую задачу, какой ее видят бюрократы – избавить аутсайдеров от влияния местных экспертов – цитирование не решает. (c) postnauka.ru

Категория: Наука | Добавил: philosophy (29.07.2014)
Просмотров: 209
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]