 | Васильев Р.Ф. (1967) |
О КОЛИЧЕСТВЕ ПУБЛИКАЦИЙ И ЧАСТОТЕ ИХ ЦИТИРОВАНИЯ
КАК НАУКОМЕТРИЧЕСКИХ ПОКАЗАТЕЛЯХ
В в е д е н и е
Известно, что закон экспоненциального роста численности ученых хорошо выполняется уже в течение 200-300 лет, причем темпы роста числа ученых в 3-5 раз превышают темпы роста населения в целом [1, 2]. Очевидно, что уже в ближайшее время скорость увеличения числа ученых должна снизиться. Чтобы это не привело и замедлению развития науки, нужно заметно повысить эффективность труда работников науки.
Скорость опубликования научных работ
3а меру творческой активности ученого в наукометрии принято брать количество работ, опубликованных им в течение определенного времени [1, 3]. Показано, что члены любого достаточно большого коллектива очень неравномерно распределены по указанному параметру (закон обратного квадрата Лотки, нормально-логарифмическое распределение Шокли и т.п.). Типичное распределение этого рода показано на графиках рис.1, построенных по данным архива Института химической физики АН СССР. Особенно хорошо нормально-логарифмический закон проявляется для кривой 2, при построении которой каждому автору "засчитывалась" лишь часть работы (единица, деленная на число авторов).
 |
Рис.1. Распределение сотрудников Института химической физики АН СССР по логарифму числа работ (1) и логарифму "взвешенного" (деленного на число авторов) числа работ (2), отправленных в печать в 1958-61 гг.
|
Заметим, что порядок расположения авторов по возрастанию полного и "взвешенного" числа статей несколько разный (см.ниже, табл.2), что отражает различия в принципах формирования авторских коллективов в разных лабораториях. Обратим внимание еще и на то, что значительная часть сотрудников института не написала за 3,7 года ни одной статьи (левая ветвь кривой уходит в бесконечность).
На результатах статистического анализа числа публикаций основан, как известно, ряд далеко идущих выводов, например [1]:
максимальное количество ученых не может быть больше 8 % населения;
количество ученых высшей квалификации растет медленнее, чем полное количество работников науки (первое пропорционально квадрату второго).
Ясно, однако, что при этом способе оценки совершенно не учитывается качество статей: часто большое число работ просто отражает способность автора быстро публиковать сообщения о тривиальных результатах. Часто обстоятельства вынуждают авторов искусственно увеличивать число публикаций. Например, почему-то считается, что к моменту защиты кандидатской диссертации должно быть написано не менее 3-5 статей, а докторской - 20-30 статей. Данные о числе работ требуют и отделы кадров и общественные организации и редакции разделов "Персоналия" в журналах. Такая практика не может не снижать качество статей и способствует девальвации этого показателя.
Эти недостатки признают и те, кто широко использует этот показатель. По сути дела единственным доводом "за" является то, что число публикаций - это единственный показатель, поддающийся измерению. Но достаточно ли серьезен этот довод? Не ищем ли мы вещь не там, где она потеряна, а там, где светло?
Частота цитирования
Мне кажется, что сейчас появилась возможность значительно улучшить наукометрический анализ эффективности труда ученых.
Развитие применений электронно-счетных машин для целей научной информации привело к возможности быстрого выпуска "Указателя библиографических ссылок" [4] (см. также [5], стр.153). Пользуясь Указателем, можно быстро выявить те работы данного года, авторы которых ссылались на интересующую статью или книгу. Так, например в Указателе за 1965 г. содержится свыше 3,3 млн. ссылок на ранее опубликованные статьи, книги и патенты; эти ссылки найдены в 296 тыс. статей за 1965 г.
Можно думать, что количество ссылок на данную работу в статьях других исследователей могло бы быть довольно объективным показателем качества работы. Ясно, что серые и примитивные работы, даже если их много, едва ли будут использованы и процитированы другими. Работы же яркие, содержащие новые идеи и представления, имеют хорошие шансы быть замеченными и использованными. По Прайсу [6] именно на таких работах строится фронт науки; эти работы достаточно крепко увязаны друг с другом через ссылки и не забываются в течение долгого времени.
Количество ссылок более объективный показатель еще и потому, что их невозможно "организовать" самому. Недаром ученые довольно ревниво относятся к тому, ссылаются ли на них другие ученые.
Можно сразу же указать и ряд недостатков этого критерия. Работа может значительно опередить свое время и не встретить понимания; на пионерскую работу могут мало ссылаться просто потому, что еще мало людей работает в данной (новой) области; известно, что западные ученые плохо знают советскую литературу; наконец, цитирование может быть разным: от подробного изложения идей цитируемого автора до уничтожающей критики его ошибочных результатов или представлений (впрочем, практически последнее встречается сравнительно редко).
Можно предположить, что число ссылок на данную работу отражает ее значение. Аналогично, суммарное число ссылок (С) на группу работ, деленное на количество работ в этой группе (Р) характеризует средний уровень работ данного ученого. Относительный "вклад в науку" можно определить, подсчитав полное количество ссылок на работы, опубликованные ученым за рассматриваемый период.
Ниже приведены некоторые результаты исследования упомянутых характеристик.
Ссылки на работы 14 ученых и их соавторов находили по "Указателю библиографических ссылок", издаваемому Институтом научной информации в Филадельфии, США. К сожалению, мы располагали Указателем только за 1965 г. и, следовательно, могли учесть ссылки, появившиеся лишь в 1965 г. Поэтому следует с самого начала оговориться, что приведенные ниже результаты мы считаем предварительными и намерены в дальнейшем проводить дополнительные анализы.
Картотеку статей большинства авторов - физико- и химиков - составляли по авторскому указателю реферативного журнала "Chemical Abstracts". В список не включали работы из сборников трудов совещаний, а также книги и обзоры.
|
Таблица 1.
Полное число работ (Р) ученых, полное число ссылок
на их работы (С), среднее число авторов (Аср) и
распределение работ по ссылкам (числа работ, на
каждую из которых в 1965 г. ссылались С раз)
|
Уче-
ный |
Р |
С |
Аср |
С/Р |
С/РАср |
С=0, |
1, |
2, |
3, |
4, |
5, |
(С) |
| А |
9 |
11 |
1,5 |
1,22 |
0,80 |
4 |
3 |
0 |
1 |
0 |
1 |
|
| Б |
9 |
8 |
1,54 |
0,90 |
0,58 |
3 |
4 |
2 |
0 |
0 |
0 |
|
| В |
24 |
28 |
2,2 |
1,17 |
0,54 |
12 |
5 |
2 |
0 |
4 |
0 |
|
| Г |
21 |
24 |
2,3 |
1,17 |
0,51 |
8 |
7 |
3 |
2 |
0 |
1 |
|
| Д |
14 |
14 |
2,7 |
1,00 |
0,36 |
8 |
2 |
2 |
1 |
0 |
1 |
|
| Е |
39 |
22 |
2,9 |
0,57 |
0,19 |
25 |
9 |
3 |
1 |
1 |
0 |
|
| Ж |
24 |
7 |
3,1 |
0,29 |
0,092 |
20 |
2 |
1 |
1 |
0 |
0 |
|
| З |
29 |
5 |
3,0 |
0,17 |
0,056 |
26 |
1 |
2 |
0 |
0 |
0 |
|
| И |
8 |
15 |
1,5 |
1,90 |
1,26 |
1 |
3 |
2 |
1 |
0 |
1 |
(7) |
| К |
11 |
20 |
1,56 |
1,82 |
1,16 |
6 |
1 |
1 |
0 |
1 |
1(8) |
1(11) |
| Л |
19 |
37 |
1,75 |
1,95 |
1,11 |
7 |
5 |
2 |
3 |
0 |
1 |
1 |
| М |
20 |
12 |
1,08 |
0,60 |
0,55 |
13 |
4 |
1 |
2 |
0 |
0 |
|
| Н |
18 |
15 |
2,6 |
0,84 |
0,32 |
8 |
7 |
2 |
0 |
1 |
0 |
|
| О |
15 |
7 |
2,9 |
0,47 |
0,16 |
9 |
5 |
1 |
0 |
0 |
0 |
|
В анализ включены ученые двух категорий: крупные организаторы науки (А-З, см. таблицу 1) и высококвалифицированные молодые ученые (Л-О). Можно еще добавить, что ученые В, Г и Д возглавляют сравнительно небольшие, Е, Ж и З - очень крупные лаборатории, а А, Ж и З ведут большую научно- административную работу. Ученые Л, Н и О руководят довольно большими группами, а И, К и М работают с 1-2 помощниками.
Из рассмотрения табл.1 можно сделать вывод о том, что ученые довольно сильно различаются по средней частоте цитирования их работ (С/Р) и еще больше по параметру С/РАср, где Аср - среднее число авторов в работах данного ученого. Мы попросили ряд квалифицированных ученых попытаться расположить "по ранжиру" включенных в анализ людей. Несмотря на разброс все же имеется определенная корреляция данных статистического анализа с результатами опроса (рис.2), и, по-видимому, индекс С/Р или С/РАср может служить средним показателем качества работ ученого.
| Рис.2. Корреляция между местом в порядке возрастания величины С/РАср (по оси абсцисс) и местом по результатам опроса (по оси ординат). Ломаная линия соединяет средние значения ординат. |
 |
Попытка аналогичного сопоставления данных по молодым ученым не удалась, поскольку большинство опрошенных недостаточно хорошо знало всех из этой группы ученых.
Иногда можно слышать мнение, что часто цитируют "по привычке" - одних и тех же авторов. Довольно высокие значения С/Р у молодых ученых показывают, что это не так. Двое или трое из них, как это признается теперь, внесли весьма ощутимый вклад в науку и, хотя их первые работы вышли за подписью совершенно неизвестных в то время людей, они сразу же были замечены и стали широко цитироваться.
Средняя частота цитирования равна 0,9 ссылка/статья, год. Это совпадает с оценкой Прайса [6] для современной науки в целом. Однако, если учесть, что в статистику включены высококвалифицированные ученые, можно было ожидать более высокое значение. Следует тщательно проанализировать причины этого. Возможно, что дело здесь в том, что многие еще не отдают себе отчета в насущной необходимости новых организационных форм, обеспечивающих быстрый и эффективный обмен информацией (в частности, создание условий для возникновения и развития "незримых коллективов"). Как известно [7], наши "незримые коллективы" хуже организованы, меньше западных и плохо связаны с последними. Несвоевременная информация о наших результатах приводит к тому, что зарубежные ученые не ссылаются на них просто потому, что с опозданием о них узнают (у нас нет, например, системы препринтов). Следует упомянуть и другие факторы - от слабого знания русского языка* [Подстроч. примеч.: Как правило, на работу, опубликованную в зарубежном журнале, ссылаются заметно чаще, чем на сравнимую по значению работу того же автора, написанную по-русски.] до сознательного или вошедшего в привычку игнорирования наших работ. Мы, в свою очередь, узнаем о результатах зарубежных (а также и незарубежных) коллег только через статьи в журналах, т.е. с опозданием, что может отрицательно сказываться на качестве работ.
Частота цитирования и размер авторского коллектива
Нельзя не заметить довольно резкое уменьшение частоты цитирования с увеличением числа авторов работы. На рис.3 по оси ординат дан результат усреднения частоты цитирования по всем работам с данным числом авторов (т.е. отношение суммы ссылок к сумме работ).
 |
Рис.3. Распределение включенных в анализ работ по числу авторов (а) и зависимость средней частоты цитирования от числа авторов (б) для двух групп ученых: А-З (черные кружки) и И-О (светлые кружки).
|
На рис.4 по оси абсцисс отложена величина Аср - результат усреднения числа авторов (точнее обратной величины - "вклада в работы") по всем работам данного автора (см. таблицу). Указанная закономерность наблюдается для обеих групп ученых. Одним из объяснений может быть то, что с ростом научного коллектива появляется масса дополнительных дел, отрывающих руководителя от собственно научной работы, и он уже не может уделять должного внимания своим сотрудникам. Это резко снижает качество научной продукции, и если дело пущено на самотек, талантливый ученый может превратиться в посредственного администратора. (Отметим, что, например, ученые В и Г, несмотря на большую нагрузку внимательно следят за текущей работой сотрудников своих лабораторий - даже тех, которые не являются их соавторами).
| Рис.4. Средняя частота цитирования работ С/Р как функция количества авторов Аср (среднего для работ данного ученого). |
 |
Другое объяснение - это то, что работы одного автора (если он крупный ученый) встречаются с большим интересом, чем работы нескольких авторов, поскольку первые чаще всего являются обобщающими статьями (читатели не имеют времени знакомиться со всеми статьями ученого или его сотрудников и ждут, когда он выступит с обобщающей статьей).
"Вклад в науку"
Для сравнения "вклада в науку" разных ученых нужно взять их работы, опубликованные за одни и те же годы (вероятность цитирования может уменьшаться со временем - работы "забываются") и сравнить абсолютные количества ссылок на эти работы.
Мы поступили несколько иначе. Для ряда ученых (Д, Г, З, К, М, Н, О) имеются данные о том, сколько статей (К) каждый из них отправил в печать в 1958-61 гг. (рис.1). Если умножить К на С/Р из табл.1, то мы получим ожидаемое количество ссылок на всю научную продукцию данного автора* [Подстроч. примеч.: Конечно, можно было бы найти ссылки на конкретные работы, но для этого нужны большие затраты времени. Кстати, на получение данных, приведенных в табл.1 и на рис.2-4, было затрачено всего около 30 человеко-часов: из них 8 - на составление картотеки статей, 6 - на работу с Указателем, остальное - на обработку результатов и изготовление графиков.], т.е., что выше мы назвали "вкладом в науку" (табл.2).
| Ученый |
Д |
Г |
З |
К |
М |
Н |
О |
Его место в списке в порядке
убывания полного числа работ (рис.1) |
3 |
6 |
1 |
31 |
8 |
30 |
13 |
| То же, но по "взвешенному" числу работ |
5 |
8 |
1 |
46 |
2 |
45 |
44 |
| "Вклад в науку" КС/Р, ссылок |
37 |
29 |
9 |
22 |
18 |
10 |
8 |
Из данных табл.2 следует, что последовательность расположения авторов по числу публикаций (З, Д, Г, М, О, Н, К) совсем иная, если не обратная, чем по частоте цитирования (К, Г, Д, Н, М, О, З) или по "вкладу в науку" (Д, Г, К, М, Н, З, О).
Если даже два последних показателя не лучше первого (это решат дальнейшие работы), то они во всяком случае и не хуже. Отсюда следует, что нужно с большой осторожностью подходить к анализу эффективности труда ученых, основанному на статистике только количества публикаций.
1. Д.Прайс. Малая наука, большая наука. См. сб. Наука о науке, М., изд-во "Прогресс",
1966, стр.281-384.
2. Г.М.Добров. Наука о науке. Киев, изд-во "Наукова Думка", 1966.
3. W.Shockley. Proc. I.R.E., 45, N 3, 279, 1957.
4. E.Garfield. Science , 144, 649, 1964; Science Citation Index 1965, Philadelphia, Institute for
Scient. Information.
5. А.И.Михайлов, А.И.Черный, Р.С.Гиляревский. Основы научной информации. М., изд-во
"Наука", 1965.
6. Д.Прайс. Усп.физ.наук, 90, N 2, 349, 1966.
7. В.В.Налимов. Вопросы философии, N 12, 38, 1966.
Опубликовано в сборнике:
Материалы к симпозиуму "Исследование операций и анализ развития науки". - М., 1967. - Ч.1. Методы анализа развития науки. - С.60-69, 2 табл., 4 рис. - Библиогр.: с.69 (7 назв.). |
|
* * *
|
