Тесты Kiran Shahid показывают: детекторы AI‑контента дают несовместимые и ненадёжные результаты

В статье Kiran Shahid (29 мая 2026) серия личных проверок и тестов на трёх сервисах обнаружила сильные расхождения в оценке «человечности» текстов — автоматические детекторы пока ненадёжны для однозначной верификации авторства.

Автор Kiran Shahid 29 мая 2026 года описывает серию экспериментов и собственный опыт, которые показывают, что автоматические детекторы AI‑контента дают непредсказуемые и противоречивые результаты. Это важно для редакций, преподавателей и организаций, полагающихся на автоматическую проверку авторства: ошибки в классификации могут привести к ложным обвинениям или пропуску машинно сгенерированных материалов. Для изучения работы детекторов Shahid подготовил четыре контрольных образца: плохо написанный AI‑текст, плохо написанный человеческий текст, хорошо написанный AI‑текст и хорошо написанный человеческий текст. Все образцы прогнали через три сервиса — ZeroGPT, Copyleaks и TraceGPT. Один из AI‑образцов был сгенерирован моделью Claude с намеренно «плохим» промптом, чтобы проверить чувствительность алгоритмов к качеству исходного запроса.

По технической части автор поясняет, что детекторы опираются на те же признаки, которыми характеризуются генераторы: структуру предложений, выбор слов, синтаксические паттерны и вариативность длины предложений. Отсутствие вариаций в длине и структуре часто трактуется как признак машинной генерации, однако эти эвристики оказываются ненадёжны на практике. Тесты выявили заметные расхождения между сервисами. В одном кейсе плохо написанный AI‑текст, созданный через Claude, был классифицирован по‑разному: ZeroGPT пометил его как 100% сгенерированный AI, TraceGPT оценил вероятность примерно в 75%, а Copyleaks подтвердил AI‑происхождение, но не привёл процентной оценки. Такие несовместимые выводы показывают, что разные детекторы используют разные эвристики и возвращают несопоставимые метрики.

Внешние данные подтверждают масштаб проблемы: в пилотном исследовании семь детекторов GPT в среднем ошибочно классифицировали 61,22% эссе TOEFL, написанных носителями и неносителями английского языка, как сгенерированные AI. Автор также приводит практический пример: потенциальный клиент потребовал «100% human‑written» отчёт, и Shahid потратил около 45 минут на правки текста, чтобы пройти автоматическую проверку — что подчёркивает высокую стоимость попыток соответствовать детекторным метрикам. Исходя из результатов, автор рекомендует смещать фокус с требований «100% human» на улучшение признаков, которые делают текст «человечным» — голос, вариативность структуры и стилистические нюансы — и на комбинирование автоматических проверок с ручной модерацией. Статья обещает также обзор подходов «как заметить AI‑текст без детектора», что может быть практичным для редакторов, преподавателей и разработчиков инструментов верификации.