О научных публикациях. Всё плохо, но не по той причине.

В академии основной конфликт разворачивается между интересами исследовательских групп и интересами отдельных ученых, потому что последние заинтересованы в том, чтобы присвоить себе успешные исследования и не «замараться» слабыми результатами, а лидеры групп озабочены тем, чтобы доводить до успеха и не бросать как можно больше проектов — независимо от их значимости и реальной применимости, чтобы «стричь» с каждого финансирование. Соответственно, наибольший страх отдельного постдока связан с проигрышем в борьбе за то, чтобы оказаться в авторах «золотой» статьи, его не заботит суммарный успех или неуспех всей исследовательской группы, поскольку «командным игрокам» постоянная ставка не гарантирована.

В индустрии же борьба за успешный проект внутри группы оказалась намного менее релевантной: и сотрудники, и руководители заинтересованы в том, чтобы как можно раньше идентифицировать «гиблые» проекты и сфокусироваться на наиболее многообещающих, поэтому неудовлетворительные результаты исследований не пугают ведущих их сотрудников. Социологи полагают, что биотехнологическим компаниям удалось равномерно «распылить» риски, связанные с зашитой в исследовательскую практику неопределенностью, между всеми своими сотрудниками и таким образом их сплотить вокруг общей цели. В то время как академия, перейдя на «проектную» схему производства знания, с этим не справилась, столкнув бОльшую часть неизбежных рисков, связанных с исследовательской деятельностью, на тех, кто находится в самом начале своей карьеры.

Это пересказ, сделанный Артёмом Космарским для “Чердака”. Само исследование – тут. Ещё более кратко, сухим редакторским языком: наукометрия и ориентация на цитируемость полное говно, причём в индустрии (на примере биотеха) говнистость несколько меньше, а в академии просто говно-говно.

Ориентация на производство цитируемых статей убивает академическую науку, поскольку люди вместо спокойной работы занимаются малоосмысленным хайпожорством и попытками поймать волну; система порочна и нуждается в изменениях. Тут можно открыть как пересказываемое исследование, так и, к примеру, публикацию 2014 года в PNAS:

The long-held but erroneous assumption of never-ending rapid growth in biomedical science has created an unsustainable hypercompetitive system that is discouraging even the most outstanding prospective students from entering our profession—and making it difficult for seasoned investigators to produce their best work. This is a recipe for long-term decline, and the problems cannot be solved with simplistic approaches. Instead, it is time to confront the dangers at hand and rethink some fundamental features of the US biomedical research ecosystem.

Как видите, я не слишком сгустила краски – с академического английского на русский разговорный эта цитата переводится даже не как “какое-то говно”. Фразу created an unsustainable hypercompetitive system that is discouraging even the most outstanding prospective students from entering our profession скорее правильнее перевести как “у нас полный пиздец, все разбегаются”.

И тут я не могу не вернуться к скандалу вокруг статей в гендерных журналах. Ситуация, напомню, была таковой: трое активистов послали в разные гендерно-философские/гендерно-социальные журналы ряд рукописей, среди которых было 7 имитаций эмпирического исследования и 13 эссе. Семь работ, из которых три были “эмпирическими”, после длительной переписки приняли и ещё пять (из них две “эмпирики”) довели до стадии “рецензенты рекомендуют переделать”. Претензия, озвученная сначала активистами, а потом и многими писавшими по мотивам скандала, звучала как “ну как можно вытягивать откровенно фиговый текст” – однако тут впору задуматься.

Так ли плохо то, что люди пытаются в периферийной области вытянуть мысль авторов до уровня публикации? Да, те тексты были слабы и плохи – но, чёрт подери, их и позицировали как работу исследователей на самой обочине академии. Квир-исследования, чтобы там не говорили, не привлекают значительных средств, они делаются качественными методами не только в силу специфики темы, но в силу отсутствия ресурсов на проведение, скажем, масштабного опроса. Вас удивляет, что в непопулярной и бедной области нет исследований, выполненных на высшем уровне? Меня – нет. Это, чёрт подери, закономерно. Научные журналы в Танзании или там даже “Вестник Благозаветовского технического университета” тоже публикуют хрень – и почему-то никто не предлагает закрыть все научные заведения в этих местах, люди понимают что туда, напротив, нужно завозить квалифицированных специалисток/ов, оборудовать им рабочие места, давать возможность готовить студентов/ок и так далее. Квир-исследования это условная Танзания или Непал – там есть чем заняться, но там нет университетов мирового уровня, как не было их и в британских колониях Северной Америки. Когда-то на территории Массачусетса вся наука была представлена одной школой и на фоне Оксфорда это было убого: движение к MIT заняло несколько веков.

А вот когда лаборатория хайпанула на модной теме стволовых клеток, выбила пятьдесят миллионов грантов (да, 50 000 000 долларов США, всё верно) и потом внезапно оказалось, что публикации-то сфальсифицированы и завлаб десять лет вёл себя как токсичный мудак – это уже куда хуже. Потому что получается в точности как в младшей школе – на словах от всех требуют считать клеточки между заданиями и использовать “правильные” формулировки, всем сношают мозг кучей мелочей, а потом те же люди выдают продукт, не соответствующий минимальным требованиям даже там, где он обязан им соответствовать. Серьёзно: лажа в теме “стволовые клетки сердца” и пятьдесят мегабаксов – это вам не хреновое эссе в Sociological Theory или Sexuality & Culture опубликовать. Более того, есть принципиальная разница между “сфальсифицировали предсказуемый результат и опубликовались” и “сфальсифицировали супероткрытие и опубликовались” – рецензенты не обязаны, конечно, перепроверять все данные, но если вам вдруг прислали нечто из ряд вон выходящее – то уж хотя бы признаки фотомонтажа на снимках и действие вещества в концентрации “одна молекула на ведро” должны вызвать вопросы!

Это, кстати, из реальных примеров. Вот с откровенным фотошопом на снимках работа про углеродные нанотрубки – и не где-нибудь, а в Nano Letters. А вот гомеопаты в Scientific Reports. Вещество из ядовитого дуба у них давала какой-то эффект в концентрации 10-30. То есть даже не на ведро молекула, а на тридцать тонн воды (1,6 миллионов молей), небольшой такой бассейн или половина железнодорожной цистерны.

То есть да, система поломана в целом, и не потому, что там якобы идеологизированные области. Чёрт бы с ними, с гендерными исследованиями – когда в биомеде херота происходит, десятки мегабаксов улетают в трубу, народ разбегается, а лаборатории производят проходной шлак на темы, ценность которых раздута на манер мыльного пузыря. Графен! Стволовые клетки! Нейросети! Ещё какая-то модная тема, аж 3405 публикаций за последние три года!

Investigators often lack the time to review manuscripts for journals, leaving these tasks to their students and fellows who may lack the experience needed to appreciate the broader context of the work and the provisional nature of truly original findings. Professional editors are increasingly serving in roles played in the past by working scientists and can undermine the enterprise when they base judgments about publication on newsworthiness rather than scientific quality. (Alberts et al. 2014)

Рецензентам надоело просматривать рукописи и потому они спихнули их на аспирантов. А аспиранты с постдоками выдают валовый продукт, не заботясь о его качестве – потому что у них прекарный труд “на проектах” (и те рукописи им нужны как собаке запасной хвост). Что делать? Альбертс и соавторы предлагают ряд конкретных решений, ориентированных на американский биомедицинский сектор: например, увеличить долю сотрудников на зарплате, уменьшить число аспирантов и увеличить финансирование рискованных, но новых программ. То есть не накачивать деньгами те же стволовые клетки, а поддерживать области, в которых сейчас люди просто не хотят работать в силу непопулярности и риска.

Я не берусь говорить о том, разумны ли эти предложения и стоит ли их переносить на, скажем, российское академическое сообщество. Но я считаю важным напомнить, что ситуация в науке сложнее, чем “вот есть хорошие области и плохие” или “есть дурная постсоветская наука и правильно организованная наука в США”. А уж “наукометрию” я бы вообще гнала ссанными вениками прочь, потому что показатель этот на деле не даёт вообще ничего. Количественные показатели хороши там, где у вас всё предельно стандартизируемо и измеряемо (в производстве стали, скажем), но труд учёных не описывается количественно в принципе: как не описывается труд программиста или врача. Да, есть какие-то очевидные вещи, которые в ряде случаев срабатывают (авторка 100 статей скорее лучше разбирается в теме, чем написавшая одну работу), но в целом числа тут нужно использовать очень аккуратно и вначале включать мозг.

Врач, у которого умерло 200 пациентов за год – хуже того, у кого скончалось трое за пять лет? А если первый главврач в хосписе, а второй – диетолог, консультировавший изначально здоровых людей, желающих снизить вес? Вот с наукой и публикациями всё примерно так же. Какой бы вы показатель не придумали – он скорее запутает вас, поскольку всегда будут нюансы, радикально меняющие смысл цифр.

Tagged . Bookmark the permalink.

2 Responses to О научных публикациях. Всё плохо, но не по той причине.

  1. Pingback: Два хороших текста про “плохие исследования” – Гендер, сексуальность, наука. 18+

Leave a Reply

Your email address will not be published. Required fields are marked *