Нейросеть, проверяющая научные работы, забраковала статью о самой себе

Искусственный интеллект, созданный для оценки научных работ, посчитал некачественной статью о себе. Об этом сообщается на сайте Корнелльского университета и на портале N+1.

Jia-Bin Huang / arXiv, 2018

Цзя-Бинь Хуан (Jia-Bin Huang) из Политехнического университета Виргинии решил автоматизировать процесс рецензирования, а именно — научить нейросеть автоматически определять качество статьи по ее внешнему виду. Мотивацией Хуану послужил быстрый рост количества статей, которые подают на конференции по компьютерному зрению — и именно на них он решил сосредоточиться: в таких работах обычно много визуального материала, благодаря чему объективно оценить качество легче.

Хуан взял датасет из 5618 принятых и 1503 отвергнутых статей по компьютерному зрению и обучил на них классификатор на основе сверточной нейросети ResNet-18. Обученной системе затем дали оценить реальные статьи, прошедшие и не прошедшие на конференцию: ей удалось правильно отвергнуть 50 процентов работ, при это количество ошибок первого рода (ошибочно отвергнутых работ, которые на самом деле были приняты людьми) — всего 0,4 процента. Интересно, что саму работу с описанием нейросети классификатор определил как плохую с вероятностью 97 процентов.

Некачественное рецензирование может привести к тому, что хорошей статье, которая готовилась долгое время, может быть отказано в публикации (или авторам — в выступлении на конференции). Новая нейросеть может не только ускорить и облегчить процесс рецензирования, но также и сделать его более объективным. Стоит учитывать, что нейросеть опирается только на внешний вид статьи, а не на ее содержание, из-за чего использовать ее как единственный метод рецензирования нельзя.