Кризис института научного рецензирования

Скачать в pdf
 

Эпиграф: Суббота для человека, а не человек для субботы
Евангелие от Марка 2 стих 27

Предметом этой статьи является анализ попытки автора опубликовать в научном журнале статью «Подмена права неправовым алгоритмом» [1]. Статья была направлена в 6 научных журналов и во всех шести получила отказ по сходным мотивам. Главный мотив состоял в том, что статья не соответствует научному формату. Так, редакция одного журнала сообщила, что «подача материала, стиль, и оформление статьи не соответствуют требованиям», а другого – что журнал не публикует публицистику.

Получение отказов можно рассматривать, как социальный эксперимент, позволяющий выявить типичные аспекты мышления редакционных коллегий и их рецензентов. Ниже они будут проанализированы. В качестве основного эмпирического материала будет использована нижеследующая рецензия, наиболее развернутая из всех (название журнала не указывается во избежание конфликтов).

Рецензия

1. В статье нет теоретической основы работы, нет обзора уже существующей литературы и дискуссии (совсем).
2. В основе работы — серия интервью, методологию проведения которых автор никак не описывает (с кем и когда проводились, по какому принципу отбирались информанты, сколько их было, как они обрабатывались — и т.д.). Предположу, что методологии за этой работой нет в принципе, а эмпирика — это, по сути, серия частных разговоров на очень сенситивную тему (автор задает вопросы, честные ответы на которые могут повлечь не просто чувство неловкости у информанта, а уголовную ответственность) — в связи с чем надежность этих данных под вопросом. В исследованиях на такие «опасные» и чувствительные темы (связанные с нарушением закона) эмпирической стратегией обычно становится включенное наблюдение, а не интервью.
3. Текст написан в публицистическом стиле, содержит множество не подкрепленных данными / ссылками тезисов и субъективных суждений автора, которые в научном тексте не могут быть оставлены в таком виде (автор же на этом настаивает в комментарии к работе); в целом нет ни одного источника литературы. Этот текст можно было бы представить как авторскую колонку в популярном издании, но это не научная работа.
4. Выводы, к которым приходит автор, не следуют из эмпирического материала (они значительно сильнее, за его рамками).

С нашей точки зрения этот и другие аналогичные отзывы свидетельствуют о наличии у рецензентов определенных дефектов мышления, присущих российскому научному сообществу в социологии и экономике (возможно, и в других областях). Ниже эти дефекты будут описаны.

Слепое пятно в мышлении рецензента

Главный вопрос к рецензенту связан не с высказанными им замечаниями, а с тем, чего в его отзыве нет.

Рецензент полностью проигнорировал научный результат работы, состоящий в открытии и описании циничного управленческого алгоритма, позволяющего решать поставленные задачи, но приводящего к недопустимым моральным и экономическим издержкам. Непонятно, как можно было не заметить этот результат, если он четко обозначен в заглавии и выделен в отдельный параграф.

Добросовестный рецензент обязан был высказать свое отношение этому результату. Если рецензент считает, что такого управленческого алгоритма не существует, либо он описан неправильно, либо тема неактуальна, он должен был прямо это сказать. Если он считает существование алгоритма недоказанным, он должен был оценить принципиальную возможность его существования.

На наш взгляд выявленный нами алгоритм следовало заметить хотя бы потому, что при всем его цинизме он реально работает, логически безупречен и эстетически красив. Разумеется, приписать эту красоту следует не мне, а создателю алгоритма. Это незаурядный человек, хотя и мерзавец. Очень жаль, что рецензент не отметил хотя бы красоту этого результата.

Акцент на методике

Вместо рассмотрения научного результата рецензент акцентирует внимание на методике и «научной» стилистике. Причину такого искажения назвал нобелевский лауреат Ф. Хайек [2].

• К сожалению, технические принципы проведения исследований сравнительно легко усваиваются, поэтому в положении учителей часто оказываются люди, владеющие методикой, но слабо разбирающиеся в существе дела.

Критика методики правомерна в тех случаях, когда она влияет (или может влиять) на результат исследования. Если рецензент не увидел научного результата, критика методики становится бессмысленной.

Распространённый дефект мышления российских рецензентов состоит в том, что они мыслят исключительно категориями методики и сводят рецензирование к выявлению методических некорректностей без рассмотрения сути дела.

Любая методика предназначена для получения определенных результатов. Если связь с результатом отсутствует, или рецензент ее не увидел, понятие методики утрачивает смысл. Высказанные претензии превращаются в фарисейскую добродетель – требованию соблюдения правил без понимания их смысла и сути.

Критика методики, как таковой, невозможна. Возможна критика релевантности методики по отношению к полученному результату. Но такой критики в отзыве нет.

Идиография, систематика, номотетика

Этот вопрос не затрагивался в рецензиях, но он важен. Сегодня студентам-социологам на лекциях объясняют, что идиография – это описание единичных явлений в их уникальности, а номотетика – выявление общих закономерностей (познание законов). При этом обычно почему-то пропускают средний член – систематику, группировку явлений по принципу их родства.

Практически все современные эмпирические социологи работают в жанре систематики. Особенно те, кто придерживается количественного подхода. Результат их работы выглядит примерно так: среди сторонников В. Путина преобладают сторонники СВО, а среди противников наоборот. Это полезный результат, но вряд ли его можно считать научным. Он констатирующий, из него не следует никаких научных выводов.

Социология не всегда была констатирующей. В начале и в середине ХХ века она стремилась работать в жанре номотетики. Позднее теоретическая социология фактически умерла и съехала на уровень систематики. Современные рецензенты уже не мыслят категориями номотетики.

Мышление категориями систематики создает в сознании рецензентов слепое пятно, не позволяющее увидеть номотетический научный результат.

Сделать работу в жанре номотетики трудно и не всегда удается. Лично мне за всю жизнь это удалось только трижды. Один раз – в этой работе. Очень жаль, что рецензент не сумел этого понять.

Что такое научное открытие

Научное открытие – это не результат некого измерения или констатации факта, пусть даже на основе корректной методики. Открытие – это схема или концепция, в основе которой лежат эмпирические наблюдения, логически упорядоченные исследователем [П. Гайденко, 3].

Наблюдения, на основе которых исследователь формирует концепцию, никогда не бывают полными. Открытия основываются на способности людей формировать образ в условиях неполной информации.

Приведем сначала пример из другой, не-научной области. В начале ХХ века психолог Г. Мюнстерберг занимался созданием профессиональных тестов. Среди прочего разработал тест на морского офицера [4].

• Мюнстерберг создал тест, похожий на колоду игральных карт, на которых были указаны числа. Задача состояла в том, чтобы разложить карты по группам с определенной суммой, причем время, отпущенное на решение задачи, заведомо исключало возможность сплошного пересчета. В результате испытуемые разбились на две группы: тех, кто успешно (хотя иногда с ошибками) решал задачу, и тех, кто не мог ее решить. При этом первые находили игру забавной, а вторые краснели, покрывались потом и жаловались на плохое самочувствие. Вывод Мюнстерберга: тот, кто способен принимать решения в условиях неполной информации, будет хорошим морским офицером. А тот, кто будет медлить и ждать прояснения ситуации, погубит и себя, и корабль.

Жизнь устроена так, что людям (и животным тоже) постоянно приходится принимать решения в условиях неполной информации. Это фундаментальное свойство живого существа с развитой психикой. В свое время этот вопрос был глубоко проработан на экспериментальном уровне гештальт-психологами, включая К. Левина.

Вернемся к научным открытиям. В истории науки (особенно физики) можно найти очень много примеров открытий, сделанных на основе неполной информации, по интуитивно формируемому гештальту. Знатоки истории науки могут привести много примеров, мы приведем только один. Источник: Дж. Гилберт, М. Малкей. «Открывая ящик Пандоры. Социологический анализ высказываний ученых» [5].

• В 1961 г. П. Митчел высказал предположение, что энергия, освобождающаяся при дыхании и фотосинтезе, сначала запасается в виде электричества и разности концентраций протонов между двумя отсеками, разделенными мембраной, чтобы затем использоваться для синтеза АТФ из АДФ и фосфата. Потребовалось пять лет, чтобы биоэнергетики поняли, о чем идет речь, и дружно накинулись на автора с целью опровержения его фантастической идеи. Опровержение затянулось на десять лет и окончилось прямым экспериментальным доказательством справедливости Митчеловой концепции. … Поразительно, что для фотосинтетических преобразователей энергии конкретная схема редокс-петли Митчела оказалась почти точной, хотя, как он мог это угадать в далеком 1961 г., остается тайной мышления гения.

Я не претендую на звание гения, но фактически сделал такую же работу, что и упомянутый в этом отрывке Митчел: создал концептуальную схему на основе разрозненной и неполной информации.

Рецензент в своем отзыве отметил, что фактология цитируемых мной интервью не полностью покрывает придуманную мной схему. Менее важно, что это утверждение следовало обосновать. Более важен вопрос: означает ли оно, что концепция не верна? Интересно, что такого вывода рецензент не делает.

На наш взгляд рецензент, которому доводилось испытать «вкус» научного открытия, никогда не сделал бы такого замечания.

Макиавеллевская социология

Первым пунктом среди замечаний рецензента стоит тезис о том, что «В статье нет теоретической основы работы, обзора литературы и дискуссии». Это замечание ставит меня в затруднительное положение. Дело в том, что я не опирался ни на какие теоретические или иные работы и создал описание алгоритма непосредственно на основе материалов интервью. Никаких дискуссий по поводу неправовых управленческих алгоритмов мне не известно. Как быть в этом случае?

Тем не менее, поскольку претензия высказана, попытаюсь ответить. Думаю, что теоретической основой данной работы является философская школа, описывающая циничные алгоритмы управления. В этом смысле своими предшественниками я считаю Н. Макиавелли [6] и китайского легиста Шан Яна, труд которого опубликован на русском языке под названием «Книга правителя области Шан» [7].

В социологии существуют два больших теоретических направления – маниловское (от того Манилова, что у Гоголя) и макиавеллевское. Маниловские теории основаны на человеколюбии и доктринах человеческих отношений. Макиавеллевские алгоритмы нельзя назвать человеколюбивыми, но они правят миром. Пронизывают насквозь все современное общество. И далеко не очевидно, что маниловские реформы могут дать лучшие результаты, чем макиавеллевские (пример М. Горбачева тому свидетельство).

Предположительно много макиавеллевских алгоритмов существует в медицине, судебной системе и силовых ведомствах, управленческих структурах. Отсутствие правовой среды расширяет пространство для работы таких алгоритмов.

Барбара Такман, автор книги «Ода политической глупости», считала Макиавелли единственным философом, который изучал то государство, которое есть, а не то, которое должно быть [8]. Вот и про мою работу можно сказать, что я изучал ту таможню, которая есть, а не ту, которая должна быть.

Существует обширная практика управленческого цинизма, которая мало кем изучена и описана. Более того, рискну предположить, что существуют своего рода теоретические школы, но не публикуемые, а передаваемые устно в неформальной менеджерской среде. Люди типа Л. Берии могли бы много об этом рассказать.

Примером управленческого цинизма может служить разговор в администрации Президента в 2005 г. по поводу протестов пенсионеров из-за монетизации льгот:

• Раз пенсионеры не хотят монетизации, пусть часами сидят в поликлиниках.

Этот пример характеризует меру управленческого цинизма, но не представляет интереса для теоретического анализа. А выявленный нами алгоритм представляет собой сложную логическую конструкцию, которая трудна для выявления и не видна внешнему наблюдателю.

Маниловская социология занимается утопиями и не способна что-то изменить в этом мире в позитивную сторону (скорее, наоборот). А макиавеллевская способна его улучшить, выявляя и предавая гласности циничные управленческие алгоритмы. К сожалению, российские рецензенты в силу особенностей своего менталитета игнорируют существование таких алгоритмов. Это обессмысливает социологию как науку.

Методология

• Рецензент: В основе работы лежит серия интервью, методологию проведения которых автор никак не описывает. … Предположу, что методологии за этой работой нет в принципе, а эмпирика — это, по сути, серия частных разговоров.

Вообще-то методология проведения таких интервью существует. Она описана нами в книге «Глубокое интервью и фокус-группы» [9] и в статье «Респондент как включенный и наблюдатель» [10].

Теоретический принцип нашей методики основан на высказывании К. Левина: «Реальность есть то, что оказывает сопротивление воле и намерениям человека» [11]. Респондент, на протяжении многих лет «боровшийся» с этой реальностью, познает ее свойства и приобретает уникальные знания о ней.

Совокупность этих знаний названа нами «зоной компетентности». Принципы ведения интервью в пределах зоны компетентности описаны в названных источниках. Можно согласиться, что на эти принципы следовало сослаться, но это было бы частным редакционным замечанием.

Стилистический критерий

Опыт общения с рецензентами показал, что линию демаркации между научными и ненаучными текстами они видят не в их содержании, а в «научной» или «ненаучной» стилистике. Основной мотив отказа в публикации во всех шести журналах – «ненаучный» формат текста.

Конечно, определенные стилистические границы существуют. Вряд ли можно написать научную статью в жанре фельетона или в форме стихотворения (хотя сильные и независимые редакционные коллегии иногда, в виде исключения, могут пойти на такие публикации).

В стилистике существует понятие функционального стиля, присущего научному типу публикаций.

• Научный стиль характеризуется логической последовательностью изложения, упорядоченной системой связи между частями высказываний, стремлением авторов к точности, сжатости, однозначности при сохранении насыщенности содержания (Википедия).

Ни в одной мотивировке отказа в публикации не прозвучало упрека в нарушении собственно научных критериев – логичности, последовательности и ясности. Вместо этого рецензенты выдвигают туманно формулируемый критерий публицистичности.

• Рецензент: Текст написан в публицистическом стиле, содержит множество не подкрепленных данными / ссылками тезисов и субъективных суждений автора, которые в научном тексте не могут быть оставлены в таком виде. … Этот текст можно было бы представить как авторскую колонку в популярном издании, но это не научная работа.

Тезис о «не подкрепленных данными субъективных суждениях автора» рецензенту следовало бы обосновать. Но главная претензия – «текст написан в публицистическом стиле». Т.е. вывод о не-научности текста сделан исключительно на основе не имеющей четких критериев стилистической «научности».

В поздние советские времена научные журналы вели себя более свободно. За истекшие годы что-то произошло. На рубеже 80-х и 90-х годов ряд научных журналов (среди них авторитетный «ЭКО») охотно публиковали производственные интервью, и они становились почти сенсацией. Сегодня «Эко» категорически отказался от таких публикаций, причем не конкретного интервью, а самого жанра.

Однако и у нас изменился формат нашей работы. Публикацией сделалась уже не стенограмма интервью, а логически упорядоченная статья с исходными посылками, выводами и даже практическими рекомендациями. Тогда в чем заключается ее ненаучность?

Ответственность рецензента

Главной проблемой российского института рецензирования является безответственность рецензентов и их негативизм по отношению к поступившим к им работам. При всем уважении к рецензентам они все-таки должны отвечать за свои утверждения.

• Рецензент: В исследованиях на «опасные» и чувствительные темы (связанные с нарушением закона) эмпирической стратегией обычно становится включенное наблюдение, а не интервью.

Данное замечание – пример безответственного утверждения. На практике включенное наблюдение применяется редко из-за его практической сложности. Оно требует многомесячного или многолетнего погружения в ситуацию. Одно это ограничивает возможность применения и часто делает его нереальным.

Включенное наблюдение часто бывает невозможно и по другой причине. В СССР и современной России нам известно только три случая проведения социологами включенных наблюдений. Их авторами были В. Ольшанский [12], А. Алексеев [13] и О. Пинчук [14]. Важно, что все трое вели наблюдения с позиции рабочего. Трудно себе представить, что социолог, не имеющий инженерной и управленческой квалификации, мог трудоустроится на должность, скажем, начальника цеха и вести наблюдение с этой позиции.

То же можно сказать и о должности менеджера по внешнеэкономической деятельности, работающего с таможней. Такой человек должен свободно владеть английским языком, разбираться в товарных категориях и хорошо знать таможенное законодательство. Вряд ли можно найти социолога с такой квалификацией, и вряд ли столь квалифицированный человек захочет ради социологии оставить свою основную детальность.

Доступной альтернативой наблюдению является интервью с человеком, которого можно рассматривать, как включенного наблюдателя в пределах зоны его компетентности. Эта стратегия была реализована в нашем исследовании.

Заявление рецензента о том, что эмпирической стратегией данного исследования должно было стать включенное наблюдение, а не интервью – это очень сильное утверждение. Означает ли оно, что рецензент готов «отвечать за базар»?

В конце 80-х годов академик А. Александров, в 40-е годы работавший в атомном проекте, рассказал в интервью следующий эпизод. В накопителе дейтерия, конструктором которого он был, произошел химический взрыв. Погибло шестеро рабочих. Перед повторным пуском Берия вызвал Александрова и спросил:

• А товарищ Александров понимает, что в случае повторного взрыва он попадет туда, куда Макар телят не гонял? Александров: Я себе представляю. Берия: Подпись свою не снимаете?

К сожалению, у нас нет управленческих рычагов, которыми располагал Берия, но вопрос хочется задать тот же:

• А товарищ рецензент готов лично провести включенное наблюдение, на котором он настаивает? Подпись свою он не снимает?

Структура научной статьи по требованиям IMRAD

Формально усвоенные требования IMRAD являются, по-видимому, главной причиной отказа в публикациях. Рецензия, помещенная в начале этой статьи, построена в логике этих требований.

Типовая структура научной статьи, которой придерживаются научные журналы, обозначается абревиатурой IMRAD – введение, методы, результаты и обсуждение.

Считается, что первой научной работой, имеющей структуру, похожую на IMRAD, была знаменитая статья Луи Пастера «Исследование пива», написанная в 1876 году. Для понимания причин, которыми он руководствовался, нужно учитывать остроту тогдашних дискуссий по поводу микробиологических открытий.

В 1970-е годы IMRAD стал общемировым стандартом в оформлении научных статей. Это имело свои положительные стороны, особенно в естественных науках. Но проблема в том, что существуют работы, которые не вписываются в этот стандарт. Ригоризм в соблюдении правил делает невозможным публикацию работ, по каким-то причинам не вписывающихся в этот формат.

Согласно IMRAD типовая структура научной статьи предусматривает:

• • Введение — почему проведено исследование? Какова цель, какие гипотезы проверены?
  • Методы — когда, где и как проведено исследования? Какие методики использовались?
  • Результаты — какой ответ был найден? Подтверждена ли гипотеза?
  • Обсуждение — как это вписывается в то, что нашли другие исследователи?

Попытаемся применить эти правила к нашей работе. Отвергнутая рецензентами статья написана на вторичном материале. В ее основе – прикладное исследование, посвященное изучению трудностей проведения товаров через таможню. По результатам исследования был написан отчет. Но в процессе изучения интервью в голове исследователя сама собой (без целей, гипотез и методик) возникла схема неправового алгоритма. Работа автора свелась к тому, чтобы описать этот алгоритм и проиллюстрировать фрагментами интервью, на основе которых он был выявлен.

Может ли автор честно написать об этом в своей статье (а в ней так и было написано)? Судя по реакции рецензентов – нет. Вместо методической правды они заставляют автора врать: задним числом выдумывать цели, гипотезы, обоснования методики, искать «предшествующие» публикации и дискуссии.

При отсутствии предшествующих публикаций автору предлагается схалтурить. Например, найти в интернете десяток-другой источников, по названию приблизительно соответствующих теме, и произвольно разбросать ссылки по тексту (автор неоднократно вынужден был так поступать). Можно надергать произвольных цитат, сделать «обзор литературы» и даже «дискуссию». Люди, пишущие диссертационный работы под заказ, могут многое рассказать о подобных методах придания «научности».

Проблема лишь в том, что такой стиль работы убивает смысл и научную мотивацию. Зато открывает простор для имитации научной деятельности. Между прочим, это хорошая тема для макиавеллевской социологии (анализ той науки, которая есть, а не той, которая должна быть).

Придание требованиям IMRAD нормативного характера в очередной раз подтверждает правило: хотели, как лучше, а получилось, как всегда. Хотели повысить доказательность научных работ, а получили подгонку публикаций под «научные» стандарты. Рецензенты, прошедшие социализацию в этой системе правил, перестают мыслить, как ученые, и не понимают, что такое научный результат. В итоге – научная импотенция.

Но несмотря на все сказанное, в нашем случае компромисс с рецензентами был возможен. Если бы они хоть как-то отреагировали на содержательную часть “Неправового алгоритма” (неважно, позитивно или критически), но указали на необходимость по возможности учесть правила IMRAD – было бы совсем другое дело. Над этим можно было бы подумать. Не было бы оснований говорить о кризисе экспертизы. Но статью отвергли с порога, в ультимативном порядке, с субъективно ощущаемым раздражением.

Я не могу понять, как можно отвергнуть тему неправовых алгоритмов по мотиву, что она ненаучная. Лично меня это просто ошеломляет. В статье тема выдвинута на первый план, как можно было ее не заметить?

Заключение

Рецензии являются частным случаем научной экспертизы. Рассмотренные выше дефекты мышления рецензентов свидетельствуют о глубоком кризисе этого института. Об этом нам доводилось писать и раньше [15]. О кризисе экспертизы пишут и другие авторы (Том Николс, «Смерть экспертизы» [16]).

Рецензенты представляют собой репрезентативный срез российского научного сообщества. Их мышление, основанное на требованиях IMRAD, можно определить, как позитивистское, но без философской глубины, присущей основателям этого направления. Оценивая поступающие к ним работы, они склонны концентрировать внимание на второстепенных аспектах: структуре статьи, методике и «научной» стилистике. Однако без оценки научного результата эти аспекты теряют смысл.

Российский институт рецензентов фактически устанавливает цензуру, но не политическую, а методологическую, блокируя все, что не проходит сквозь фильтр позитивистского менталитета. В результате наука утрачивает связь с действительностью.

Пример данной работы показывает, что рецензенты шести научных журналов заблокировали статью, посвященную макиавеллевским алгоритмам управления, сочтя ее «ненаучной». Тем самым они пресекли возможность общественной рефлексии по поводу этого явления, открыв путь к его бесконтрольной экспансии.

Возникает риторический вопрос: нужна ли обществу такая социология?

Список литературы

1. Белановский С.А. Подмена права неправовым алгоритмом. Интернет-источник: https://ecfor.ru/publication/intervyu-kak-metod-kachestvennogo-sotsiologicheskogo-issledovaniya/
2. Хайек Ф. Контрреволюция науки. Этюды о злоупотреблениях разумом. М.: ОГИ, 2003.
3. Гайденко П. Социология Макса Вебера. Предисловие к сборнику «Вебер М. Избранные произведения». М.: Прогресс, 1990.
4. Мюнстерберг Г. Основы психотехники. М.: Русский книжник, 1924.
5. Гилберт Дж., Малкей М. Открывая ящик Пандоры. Социологический анализ высказываний ученых. М.: Прогресс, 1987.
6. Макиавелли Н. Государь. М.: Рипол-классик, 2017.
7. Шан Ян. Книга правителя области Шан. М.: Институт дальнего востока РАН, 1993.
8. Такман Барбара. Ода политической глупости. М.: АСТ, 2013.
9. Белановский С.А. Глубокое интервью и фокус-группы. М.: Директ-Медиа, 2021.
10. Белановский С.А. Респондент как включенный наблюдатель. Интернет-источник: https://ecfor.ru/publication/nepravovoj-algoritm-po-borbe-s-korruptsiej/
11. Левин К. Динамическая психология. М.: Смысл, 2001.
12. Ольшанский В. Были мы ранними. //Социологический журнал. 1995. №. 1. С. 195-205.
13. Алексеев А. Драматическая социология и социологическая ауторефлексия. Т. 1 – 4. СПб: Норма. 2003.
14. Пинчук О. Сбои и поломки. М.: Хамовники. 2021.
15. Белановский С.А. Оценка состояния РАН. Научный отчет, 2005.
16. Николс Том. Смерть экспертизы. М.: Бомбора, 2019.