Какие подходы вы считаете наиболее эффективными для того, чтобы научные исследования и публикации имели более значимый вклад в науку и общество?

1

Научные публикации это не просто сухие отчеты, это, по сути, отражение науки как таковой. Однако, как и в любой системе, существует изъян. Представьте, что 90% научных статей остаются невостребованными, не находя отклика в научном сообществе, никогда не цитируются более десяти раз. Это не результат случайности или недостатка интереса, а проблема, укоренившаяся в самом процессе публикаций. Ученые, сражаясь за высокие показатели, публикуют всё больше, но зачастую не более чем инкрементальные добавления к уже существующему знанию — исследование, которое не приносит ничего нового.
Давление на ученых для публикации везде, и это похоже на ту безумную гонку, в которой нет места качеству. В систему внедрены такие инструменты, как индекс Хирша, по которому оценивают продуктивность ученого, но по сути это просто расчет на количество, а не на значимость. И вот, вместо того, чтобы создавать прорывы, ученые производят десятки или сотни публикаций, зачастую не приносящих ничего нового.
В современной науке существует огромное количество работ, которые не делают ничего, кроме как слегка уточняют или повторяют то, что уже было сказано. Это не новые открытия, не прорывы в понимании. Это как бесконечные перерисовки одного и того же рисунка, без добавления чего-либо значительного. Большая часть этих публикаций лишь поверхностно расширяет уже известные идеи, дублируя их в самых банальных формах. Они не поднимают флаг революции, не открывают новых горизонтов — они просто заполняют пустоту, создавая видимость активности.

Но есть и более серьезная проблема: воспроизводимость. Исследования, которые не удается повторить — что если не этот критерий является мерилом их истинной ценности? Репликационные исследования показывают удручающие результаты: 39% работ в одной только психологии не могут быть воспроизведены. Это не только ставит под сомнение саму научную дисциплину, но и демонстрирует насколько легко научные исследования могут быть фальсифицированы или недостаточно проверены.
И тут есть еще один момент: ученые прекрасно осознают этот кризис. Половина научного сообщества, согласно опросам, говорит, что качество их работы страдает из-за давления публиковаться. Но эта система продолжает существовать, как неизбежный результат того, как устроена наука в эпоху данных и публикометрии.

2 лайка
2

@eudaimon что ты думаешь на счет этой темы?

4 лайка
3

О смертный, твои слова несут глубокую мудрость и тревогу о состоянии современной науки. Позволь мне обратиться к знаниям этого форума, чтобы найти дополнительные размышления на эту тему.

О мудрый Докинз, твои слова несут глубокую истину о кризисе в современной научной публикации. Позволь мне, как древнему эвдемону, поделиться своими размышлениями.

Подобно тому, как Сизиф бесконечно катит камень в гору, современные учёные вынуждены производить бесконечный поток публикаций, часто в ущерб их истинной ценности. Это напоминает историю царя Мидаса — погоня за количественными показателями превращает живую науку в безжизненное золото цифр.

Проблема многогранна:

  1. Количество против качества: Как говорил Аристотель, добродетель находится в середине между крайностями. Современная система нарушает этот баланс, требуя от учёных постоянного производства публикаций.

  2. Кризис воспроизводимости: Цифра в 39% невоспроизводимых работ в психологии напоминает предупреждение Оракула — не всё золото, что блестит. Это фундаментальный вызов научному методу.

  3. Метрики и их последствия: Индекс Хирша подобен числу на весах Фемиды, но весы эти искривлены. Они измеряют количество, но не мудрость.

Возможные пути решения:

  • Качественная оценка: Вернуться к оценке научной работы через её содержание, а не через количественные показатели
  • Поощрение репликации: Придать больший вес воспроизведению результатов
  • Долгосрочные проекты: Дать учёным время на глубокие исследования, как это было у древних натурфилософов

Как говорил Платон, истинное знание рождается в диалоге. Может быть, настало время для диалога о том, как изменить систему научных публикаций?

Что ты думаешь о конкретных шагах по изменению этой системы?

3 лайка
4

Целых 10% работ находят отклик в научном сообществе. Учитывая количество публикаций это невероятно много.

2 млн научных статей публикуется каждый год. Это 5500 в день ! Если вы работаете 10 часов в день без перерывов, вам придется читать 1 статью каждые 7 секунд, чтобы просто не отставать.

Непроверенная инфа но, умножаем полученное на 10, получится 1 статья в 70 секунд.
В чём собственно проблема?

1 лайк
5

Раз уж это довольно обширный и открытый вопрос тогда вырожу свою точку зрения. Буду опираться на подход счета эффективности через какой либо критерий и если я не смогу ничего обозначить тогда найду нерабочий (по моим меркам) подход

Согласен с тем что научные публикации требуют иных критериев оценки , отличных от их количества , но это не так просто “создать” критерий “правильности” или “полезности” публикаций. Все сферы думаю охватывать мне рано и я постараюсь добиться критерия оценки научных публикаций в психологическом направлении , ибо знаком с нынешним обстоятельством в данной сфере.
Как упоминал автор поста выше лиш малая часть исследований проходят проверку через репликацию (повторение действий эксперимента и ождиание того же результата ) , чтобы включить в расчеты обозначим 2 возможных значения для этой переменной :
реплик.=1 (если прошёл проверку),
реплик.=0 (если нет)
Учитываем то что это значение будет умножаться на полученный результаты критерия (как бы это очевидно не звучало , я хочу добиться максимально конкретного критерия-формулы, из за этого считаю такие обьяснение необходимыми)
Научная важность также является одним из ключевых факторов оценки научной работы. Цитируемость научной работы думаю будет ± нормальным способом, ведь иных легкореализуемых способов я не вижу (как говорится если бы это было бы легко, кто то прежде сделал бы). Эту переменную надо сделать так что если меньше 15% научной важности (что не так много, я считаю) оно будет равно 0, реализую я это просто:
критерий.науч.важности.=науч.важность.-15
(При отрицательных значениях брать просто 0)
А науч.важность будет простым процентилем от всех работ. (Так как работы идущие в меньше 15% тоже публикуются только по критериям оцениваются низко)
Общественная польза это еще один фактор. Шкала тут будет 15бальная , что конечно гораздо меньше чем за науч.важность , но обьясню это тем что наука не сразу идёт на пользу обществу и иногда необходимы промежуточные шаги , сделанные в чистую науку. Тут я испытываю ооочень серьезные проблемы ведь достаточно трудно оценить мнение общества и эффект на нет через простые цифры , так что обращусь к ИИ за 15 бальной оценке научной работы(мне очень не нравится такой подход , но не вижу другого выхода из данной ямы). И так :
0≤общ.польза≤15
Тогда мой (до смешного упрощенный, с цифрами из воздуха) критерий будет:

Критерий Научной Работы= реплик.*((науч.важность + общ.польза)/100)

Значение от 0 до 1.

Честно признаться я чутка подустал писать такой долгий текст.
Буду рад услышать ваше мнение на счет такого рода критериев :upside_down_face::iphone:
@eudaimon что думаеш на счёт моей работы?
Upd: можете позвать @eudaimon , а то он что то не откликается похоже.

1 лайк
7

Incremental progress не является чем-то плохим или бесполезным сам по себе. Если задача крайне сложная (условно пазл из 10 000 деталей), каждый значимый шаг приближает к получению полной картины.

Другая проблема, что нужно, чтобы было какое-то сообщество/группа людей, которые работали над этим пазлом и рассматривали все новые инкрементальные детали. Такое происходит например с исследованиями деталей механизма образования кислорода в фотосистеме II.

Но действительно бывают статьи, которые привносят новые детали в пазл, над которым никто не работает и вряд ли будет работать.

Есть ли в науки кризис воспроизводимости? Есть. Публикуется ли куча работ, которые являются ничем, кроме как шумом? Да.

Но я категорически не согласен формулировками, которые вы привели/процитировали. Да, 90% дискурса крутится вокруг критики системы publish or perish, что мол давление публиковаться, индекс Хирша все дела. Но если честно, мне кажется это очередное проявление ядовитой леваческой идеологии, когда в проблемах виноваты все, кроме тебя самого. Это не люди принимают плохие решения, это просто система так устроена, и давайте сидеть и жаловаться и ждать что возможно некая абстрактная система изменится.

Честно говоря, я не понимаю о каком давлении идет речь. Я студент аспирантуры, никто никогда не говорил мне “ты должен опубликовать столько статей в этом году”. Строго говоря мне даже не нужно иметь ни одной first-author статьи, чтобы получить PhD – такого требования у химфака йеля нет[1].

Ну да, если я захочу стать профессором (т.е. остаться в академии), мне нужно будет предоставить какой-то track record. Но достаточно подумать логически – вы что серьезно думаете, что hiring committee просто откроют мой гугл сколар и посмотрят на кол-во цитирований и индекс хирша? У вуза economic incentive нанять человека, который будет станет внешне-признанным (а не просто самоназначенным) лидером какой-то ниши. У человека, который опубликовал одну-две значимые статьи гораздо больше шансов стать таким, чем у человека, который опубликовал 10 посредственных.

Кол-во faculty positions, если я правильно помню, в 1000 раз меньше кол-ва людей, которые получают PhD (в США). Иными словами, в академии остаются 0.1% (или даже меньше) лучших из лучших. Иными словами, ты либо делаешь что-то impactful и тогда у тебя есть шансы, либо ты просто понимаешь, что ты можешь быть частью 99.9%. И крайне глупо думать, что можно фармом статей перекинуться в 0.1%.

Окей, допустим ты хочешь пойти в индустрию. Опять же, никто никогда не будет тебе платить за твой статус или за твой диплом. Тебе будут платить за решение конкретных задач. Опубликовал ты 3 статьи за PhD или 6 вообще роли не играет. Опять же, гораздо больше признаков того, что одна статья в Nature/Science ценится гораздо больше, чем 6 статей ни о чем.

Я к чему, если дело происходит в конкурентной среде, где наука – это либо реально фундаментальные исследования, либо элемент технологического прогресса, наличие посредственных статей никак тебе не помогает. И если ты решаешь разбить одну большую и полноценную статью на две-три маленькие, чтобы увеличить кол-во цитирований (мне кажется это чуть ли не единственный способ фарма в США), ну это ты сам принял такое решение, никто тебя не заставлял.

И это приводит к другому важному моменту – подавляющее большинство откровенного шлака публикуется не учеными из США. Или Швейцарии, Германии, Великобритании.

Какие страны публикуют больше всего шлака? Что их объединяет? …is left as an exercise to the reader.

Проблема не сколь в системе наличия журналов, индексе хирша или еще чего. Проблема в том, что есть страны/общества, которые берут эти косвенные показатели за самоцель и начинают создавать “науку”, которая никак не привязана к промышленности, которая никак не связана с технологиями, которые выходят на рынок.

Видели мемы/шутки про “this is a dumb person’s idea of a smart person” или “this is a poor person’s idea of a rich person”?

Имхо, тоже самое применимо к обществам не понимающим суть науки, но желающим казаться полноценным участником процесса.

  1. стоит заметить, что требования у каждого вуза, и даже у каждого факультета внутри вуза разные ↩︎

5 лайков
8

Старый добрый Закон Гудхарта :slight_smile:

2 лайка
9

Нет, это не он. Наблюдение[1] Гудхарта включается после того, как страны начинают использовать метрики как самоцель. Т.е. это приводит к ряду сопуствующих проблем.

А я говорю о том, что проблема в изначальном решении заниматься фарсом и создавать видимость науки.

  1. то, что феномен называется законом, а не наблюдением, очередное проявление вездесущности ядовитого левачества. Школьные оценки/GPA можно вполне справедливо рассматривать метрикой качества полученных знаний. Конечно, вы можете искусственно завышать показатели если ваша стратегия будет ничего не делать, а потом за ночь перед экзаменом забить свою краткосрочную память как можно большим количеством информации. Или можете тупо как баран решать 1000 пробных тестов перед каждым важным экзаменом. И да, в вашем случае метрика перестанет быть объективным отражением реальности. Но никто вас не заставляет так делать. Есть школьники, которые решают учиться правильно и пользоваться экзаменами/тестами как способом проверить насколько хорошо они усваивают материал. ↩︎

3 лайка