Несколько лет назад группа студентов Массачусетского института с помощью специальной компьютерной программы написала псевдонаучную статью. В этом году российский ученый, доктор биологических наук Михаил Гельфанд перевел оригинальную статью американских студентов на русский язык при помощи программы «Этап-3», разработанной в Институте проблем передачи информации Российской академии наук. Статья получила положительную рецензию и за небольшую плату была опубликована в «Журнале научных публикаций аспирантов и докторантов».
После того, как факт мистификации стал известен, Высшая аттестационная комиссия исключила журнал из своего списка.
О качестве научных публикаций в российских журналах рассказывает автор эксперимента Михаил Гельфанд.
– Давайте начнем наш разговор с цитаты из этой псевдонаучной статьи «Корчеватель: алгоритм типичной унификации точек доступа и избыточности» : «В настоящей работе описан алгоритм "корчеватель", предназначенный для анализа растрирования, приведены его теоретические и практические рабочие характеристики, сложность по времени и по памяти, время выполнения в стандартных тестах, проведено сравнение с другими ранее предложенными алгоритмами, показано, что эти качественные характеристики превосходят таковые для аналогичных алгоритмов и могут быть улучшены за счет применения эвристик». Это звучит, как абракадабра. А на самом деле есть в этих словах хоть какой-то смысл?
– На самом деле любой научный текст, произнесенный с правильной интонацией, будет звучать, как абракадабра. Использование терминологии само по себе не делает текст псевдонаучным или каким-либо другим. В данном конкретном случае это действительно текст, порожденный машиной, которая обучалась на большом количестве реальных научных текстов. То есть каждый маленький клочок этого высказывания вполне мог бы встретиться в научной статье. Все вместе это, конечно, ерунда.
– Расскажите историю этого эксперимента.
– История такая. Два года назад на разных сайтах появилась довольно агрессивная реклама вот этого самого «Журнала аспирантов и докторантов». Иногда под одними и теми же никами, иногда под разными никами на форумах разных университетов. Появлялись сообщения, что вот я аспирант, появился такой замечательный журнал, всем советую. Или я недавно защитился, мне в этом очень помог вот этот самый журнал. Поскольку ники были одни и те же, то довольно легко было в интернете это все разыскать. Там были просто повторения, сообщения из Ижевска или из Казани слово в слово совпадали. В газете «Троицкий вариант», где, собственно, вся эта история была рассказана уже подробно, есть просто сводка этих самых высказываний на форумах. Люди это заметили, и через какое-то время на форуме Scientific.ru какой-то человек задал вопрос: не слышал ли кто-нибудь про такой журнал, потому что уж больно странно он выглядит? Люди стали просто искать какие-то замечательно потешные статьи, а они стали быстро-быстро из электронной версии журнала исчезать. Например, была замечательная статья про закон всемирного выдавливания, которая из журнала исчезла.
– А на бумаге этот журнал издавался?
– Тогда, по-моему, нет. Сейчас издается на бумаге. Тогда у этого журнала был только главный редактор, и не было редакционного совета. На сайте было написано, что он рецензируется, время рецензии занимает два-три дня. Можно себе представить степень глубины рецензии. В обычном научном журнале рецензенту дают от двух до трех недель от момента принятия статьи на рецензию. И это очень быстрые журналы, это считается очень жестко. А учитывая, что у редактора уходит какое-то время на подбор рецензента, на переписку, времени тратиться гораздо больше. Я своим аспирантам говорю, что раньше, чем через месяц, вообще ничего не ждите.
– Само название журнала настораживает, потому что таких названий у научных журналов, как правило, не бывает.
– Мне не известно.
– Вы решили проверить качество рецензий?
– Да. Одновременно с этим был соответствующий американский скандал. Три аспиранта из Массачусетского технологического института написали бредогенератор, то есть программу, которая генерит вот такие псевдонаучные тесты. И они это тоже сделали с некоторым коварным умыслом, потому что есть такие конференции, которые всех ученых засыпают спамом, они обычно проводятся в довольно хороших местах, у них очень большой оргвзнос. То есть, если у вас на гранте остались лишние деньги и вам хочется урвать неделю где-нибудь на море, то вот эта конференция для вас. Вот эти ребята написали такую программу, сгенерили случайный текст, послали на эту конференцию, и там этот тезис был принят. Был довольно большой скандал по этому поводу. Надо сказать, что в отличие от нашего случая там этот тезис все-таки был принят, как нерецензируемый. Мы, конечно, стояли на плечах гигантов, но мы поставили абсолютный рекорд, потому что мы получили рецензию. Причем это не автоматически сгенерированная рецензия, действительно мне пришел размеченный текст с редакционной правкой.
– Давайте приведем фрагмент рецензии, чтобы составить представление о том, как серьезно люди читали эту работу. Вот замечания рецензента, они, как и положено, подаются анонимно, автор работы не должен знать, кто его рецензировал. Мы не знаем, кто автор рецензии, но было написано буквально следующее: «Рукопись статьи на меня произвела двоякое впечатление. С одной стороны, следует признать, что материал собран методически грамотно, в работе присутствует новаторство и новизна. С другой стороны, автор статьи, видимо, недостаточно хорошо знаком с правилами по подготовке научных статей в печать. По тексту рукописи я отметил множество стилистических и редакционных недочетов, а то и погрешностей, которые создали у меня впечатление какой-то незавершенности работы».
– Джереми Стриблинг – один из авторов программы, когда я ему послал перевод этой рецензии, очень обиделся – он сказал, что, с его точки зрения, стилистически там как раз все в порядке.
– Итак, действительно, программа, получается, написала довольно внятный текст, где присутствует даже новаторство и новизна, как нам сообщили.
– Новаторство и новизна там, несомненно, присутствуют. Текст внятный, но производит странное впечатление.
– В последнем выводе статьи написано: «Тем самым можно полагать, что уже в ближайшее время "корчеватель" может оказывать существенное влияние на разработку новых языков программирования на основе для моделей Маркова».
– Есть великий русский математик Марков, в честь которого названы марковские цепи. Это как раз все абсолютно осмыслено тоже. Я немножко поиграл с переводом, надо сказать, я действительно чуть-чуть стилистические огрехи убрал после перевода, потому что эта программа переводит не совсем гладко, если совсем честно. Впрочем, я думаю, что сошло бы и так, просто было бы больше стилистических замечаний. И кроме того, я вначале решил играть в честную игру, и я по всему тексту развесил кучу красных флажков. Например, я вставил благодарность профессору Гельфанду, который привлек внимание автора к проблеме публикации случайных текстов.
– То есть самому себе, собственно.
– Самому себе. Надо же было как-то печать мастера поставить. Я немножко поигрался со списком литературы, вставив некоторое количество потешных ссылок. Они с самого начала были потешные, но я вставил очевидно потешные. На самом деле коллеги, с которыми я это обсуждал, мне советовали как-то быть поосторожнее, потому что, ну, на это невозможно купиться.
– Если стоит автор с фамилией Softporn, то кто-то должен обратить на это внимание.
– Мне тоже так показалось. Ну, хорошо, а если по всему тексту разбросано словосочетание «случайный текст»? Так вот, этот самый текст (с чего я начал) локально читается, как любой текст, в котором ты не очень понимаешь ни слова, а синтаксис нормальный. А если прочитать подряд два абзаца, то возникает ощущение, что крыша едет полностью. Понятно, там, как в любых марковских цепях, кстати сказать, нет взаимодействия между далекими предложениями. Ближайшие предложения связаны, а дальше совершенно невозможно понять, о чем речь. Там, например, было сказано про оптические диски сотовых телефонов, картинки очень хорошие прямо из оригинальной статьи, там время измерялось в цилиндрах, латентность измерялась в цельсиях. Я читаю иногда статьи, которые я плохо понимаю и хочется разобраться. Иногда попадается статья, которую не понимаешь совсем. Но хотя бы язык выдает, что это не есть содержательный текст. А с другой стороны, возвращаясь к тому, с чего мы начали. Этот журнал привлек внимание людей тем, что там и некомпьютерной ерунды печатается довольно много.
– Поразительно то, что этот научный журнал печатает научные статьи практически по всем областям и по всем специальностям. В одном научном журнале мы, как правило, не находим публикаций по палеонтологии, физике и юридическим наукам.
– Это весьма необычно. Этого даже в Nature нет.
– Это само по себе должно просто отпугивать любого здравомыслящего аспиранта.
– Вот это та самая беда, про которую я говорю. Надо аккуратно следить за терминами. Этот журнал не стал частью научного сообщества. Научное сообщество, грубо говоря, в моем лице его с треском отторгло, я бы даже сказал - извергло. В этом смысле, конечно, всем ясно, чего эта «Мурзилка» стоит. Вот как про это узнать в следующий раз... На самом деле основной вред от этого журнала не в том, что он кому-то дает липовую статью для липовой защиты, ну, бог с ним, а в том, что он полностью сбивает с толку многих людей, которые хотят заниматься чем-то более или менее реальным. Конечно, большинство статей в этом журнале опубликованы по политологии, социологии и педагогике, по истории еще бывают пересказы каких-то краеведческих книжек. Само по себе это тоже, конечно, симптом. Статьи по физике там смешные и по математике тоже. Это отдельная вещь. Но, скажем, в том научном журнале, где я состою членом редколегии, там в правилах для редакции написано, что аспирантские статьи публикуются, во-первых, бесплатно. Не дешево, а просто бесплатно. Там, кстати, все статьи публикуются бесплатно, но уж аспирантские в особенности. Во-вторых, там написано, что они специально идут по специальной процедуре, которая не означает облегченного рецензирования, но означает быстрое рецензирование. То есть редакция берет на себя ответственность для аспирантских статей сделать все, чтобы они были отрецензированы добросовестно, но быстро. И аспирантские статьи там реально публикуются, скажем, быстрее моих. В настоящих научных журналах с хорошей традицией, с хорошей историей стараются, чтобы это было за какое-то разумное время, даже если редакционный портфель действительно полон и все остальные стоят в очереди.
