Роман из списка Гонкуровской премии обвинили в машинном авторстве. Главный свидетель — другой ИИ
Детектор Pangram решил, что роман Тэлисона Орельена почти полностью создан искусственным интеллектом. Автор и издатели всё отрицают, а Гонкуровская академия требует неопровержимых доказательств.
Французский литературный мир получил сюжет, который ещё недавно показался бы слишком прямолинейной сатирой.
Дебютный роман гаитянско-канадского писателя Тэлисона Орельена (Thélyson Orélien) C’était ça ou mourir — «Либо так, либо умереть» — вошёл в первый список Гонкуровской премии, получил несколько наград и стал одним из главных книжных успехов сезона.
А затем анонимный аккаунт в X заявил, что книгу почти полностью написал искусственный интеллект.
Главным доказательством стал вердикт другого искусственного интеллекта.
От премии до обвинения — несколько часов
Роман рассказывает о молодом преподавателе истории и географии Йонасе, который бежит из охваченной насилием Гаити и через Латинскую Америку и США пытается добраться до Канады.
Весной книгу выпустило монреальское издательство Éditions du Boréal. Во Франции роман появился 19 августа в издательстве Grasset и за пять недель разошёлся тиражом около 35 тысяч экземпляров.
Он получил Prix Première Plume, Prix Méduse и премию Fnac за лучший роман, а также вошёл в первые списки Гонкуровской, Ренодо, Фемина и Медичи. Права на перевод были проданы более чем в двадцать стран.
Но 21 сентября — через несколько часов после объявления премии Fnac — малоизвестный анонимный аккаунт Balance ton Claude опубликовал результаты проверки фрагментов романа детектором Pangram.
По словам авторов аккаунта, программа почти каждый раз оценивала проверенные отрывки как текст, созданный ИИ, иногда показывая результат 100% AI.
Обвинение быстро разошлось по соцсетям. Предположение стало пересказываться как установленный факт, хотя никакой информации о черновиках, истории правок, переписке с редакторами или конкретной использованной нейросети представлено не было.
Детектор действительно увидел ИИ. Но что именно он увидел?
История оказалась сложнее обычной интернет-сенсации.
Журналисты Le Monde самостоятельно проверили в Pangram более половины романа. Детектор посчитал, что свыше 95% текста с высокой вероятностью создано искусственным интеллектом. Для сравнения ему показали фрагменты пятнадцати других романов — их программа определила как человеческие.
Pangram считается одним из наиболее сильных современных ИИ-детекторов. Разработчики заявляют крайне низкую долю ложных срабатываний, а некоторые независимые исследования действительно показывают, что система ошибается реже многих конкурентов.
Но даже хороший детектор остаётся не экспертом-криминалистом, а статистической моделью.
Он не видит, кто сидел за клавиатурой. Он ищет предсказуемость слов, повторяющиеся синтаксические конструкции, ритм предложений и другие закономерности, напоминающие машинный текст.
Проблема в том, что человек тоже может писать предсказуемо. А нейросети учились именно на человеческих текстах.
Точность таких систем может снижаться при работе не на английском языке, а необычный авторский стиль, смешение языков, устная речь и намеренные повторы способны влиять на результат. Сам Pangram представляет собой закрытую систему: независимо проверить, почему конкретный фрагмент получил именно такую оценку, невозможно.
Поэтому результат детектора — повод задавать вопросы, но ещё не доказательство авторства.
Автор говорит о карибской литературной традиции
Орельен категорически отрицает использование генеративного ИИ при написании романа.
Он объясняет повторения, которые критики обвинения сочли машинными, особенностями гаитянской и карибской литературной традиции — её устностью, ритмом, афористичностью и постоянным возвращением к одним и тем же образам.
«Можно обсуждать мой стиль, но превращать его приёмы в доказательство использования искусственного интеллекта — это уже не литературная критика», — заявил писатель.
В интервью Libération он сказал, что всегда любил писать и не понимает, зачем ему понадобилось бы обращаться к машине. Вместе с издателями автор собирает материалы, которые должны подтвердить историю создания книги.
Орельен также заявил, что после приезда во Францию сталкивался с расистскими нападками. Спор поэтому быстро вышел за пределы технологии: может ли программа, обученная на определённом представлении о «нормальном» французском тексте, корректно оценивать креолизированный язык гаитянского автора?
Французское издательство Grasset выразило писателю «абсолютное доверие». Канадское Éditions du Boréal сообщило, что воспринимает обвинения серьёзно, но его доверие к работе Орельена остаётся неизменным.
Гонкур пока не вычёркивает роман
Президент Гонкуровской академии Филипп Клодель призвал не выносить приговор на основании публикаций в социальных сетях.
По его словам, роман продолжат оценивать по литературным качествам. Вопрос об исключении из списка может возникнуть только в том случае, если появятся «неопровержимые доказательства» машинного авторства.
Следующий список премии должен быть объявлен 6 октября.
Одновременно Клодель признал, что подобные скандалы теперь почти неизбежны. Литературному миру, по его мнению, понадобится своего рода хартия, которая позволит различать человеческую работу и текст, созданный ИИ.
Правда, пока непонятно, как именно это делать.
Запретить нейросети полностью? Разрешить поиск информации, но запретить генерацию фраз? Считать ли машинную редактуру вмешательством в авторство? А перевод, подбор синонимов или перестройку главы?
И где проходит граница, после которой книга перестаёт быть произведением автора и становится произведением системы?
Новая презумпция литературной невиновности
Раньше писателя могли обвинить в плагиате. В таком случае обычно существовал другой текст, с которым можно было сравнить совпадения.
В споре об искусственном интеллекте второго текста может не быть.
Есть только готовая книга, статистическая оценка программы и автор, который должен доказывать, что действительно написал собственные предложения.
Возможно, скоро писатели будут хранить не только рукопись, но и все её версии: черновики, заметки, историю редактирования, переписку с издателем и документы с датами создания.
Не для литературоведов будущего.
Для суда настоящего.
Литература впервые всерьёз входит в эпоху, когда автору, возможно, придётся доказывать не то, что он не украл чужой текст.
А собственное присутствие внутри своего.