Как работят детекторите за текст от изкуствен интелект

Кратко: Детекторите за AI текст използват две главни мерки – колко трудно се отгатва следващата дума и колко се различават дължините на изреченията, както и обучени разпознавачи. При чист текст от изкуствен интелект точността достига 85–99%, но ако текстът е редактиран, пада до 44–62%. Тук обясняваме как работят, защо грешат и какво е различното при стилистичния подход.

AI детекторите разчитат на два главни начина на работа – пресмятане на текстови особености и обучени разпознавачи. Първият начин мери две неща: колко предвидим е текстът и колко се мени дължината на изреченията. Вторият използва модели, научени от милиони текстове – на хора и на машини.

Колко лесно се отгатва следващата дума

Това показва доколко всяка следваща дума е изненада за езиковия модел. Ако думата е точно такава, каквато моделът би очаквал – значи текстът е лек за отгатване. Ако думата е неочаквана – значи е труден за отгатване.

Хората пишат по-трудноотгатваемо. Правят скокове, вкарват жаргон, връщат се назад и сменят посоката. Ай моделите произвеждат по-гладък текст, защото подбират най-вероятните думи според статистиката.

Инструментът GPTZero мери тази трудност на отгатване за всяко изречение и за целия текст. Ако целият текст е много лек за отгатване – по-вероятно е да е генериран от AI.

Колко се различават дължините на изреченията

Тази мярка показва колко се променя трудността на отгатване по дължината на текста. Изчислява се чрез разликите в дължините на изреченията.

Човешкият текст е жив и променлив – едно изречение е късо, следващото дълго, третото средно. Хората пишат с ритъм, който се мени непредвидимо. Ай моделите произвеждат еднообразна структура – изреченията са със сходна дължина и еднаква сложност.

Комбинацията е ключова: когато текстът е едновременно лек за отгатване и еднообразен по дължина – това е силен признак за AI. Когато е труден за отгатване и изреченията скачат като камъчета във вода – писано е от човек.

Обучени разпознавачи – класификатори

Горните две мерки са сравнително прости. По-прецизните детектори ползват обучени разпознавачи (класификатори) – модели, тренирани с машинно обучение.

Процесът е следният: събират се стотици хиляди текстове, половината писани от хора, половината генерирани от AI. Моделът се обучава да разпознава разликите. След обучението може да оцени нов текст и да каже с каква вероятност е AI.

Тези разпознавачи засичат неща, които простите мерки пропускат. Разпознават повтарящи се фрази, предпочитани конструкции и стилистични навици на конкретни AI модели. ChatGPT ползва едни клишета, Gemini – други, Claude – трети.

Какво показват тестовете за точност

Точността зависи от условията. При чист, нередактиран AI текст резултатите са добри. При редактиран или смесен текст – точността пада рязко.

Оценъчният тест RAID тества 12 търговски детектора върху 6.2 милиона текста в 8 области. Средната точност при чист AI текст е 85%. При преразказан (парафразиран) текст най-добрият детектор стига 96.7%.

Независим тест със 150 проби дава друга картина: Originality.ai постига 79%, Copyleaks – 77%, GPTZero – 76%. Тестът включва и редактирани, и смесени текстове, което е по-близо до реалната работа.

При медицински статии и академични текстове (формален стил, контролирана среда) точността стига 98–100%. При свободно писане в различни жанрове пада до 76–80%.

Защо детекторите грешат

Най-честата грешка е лъжливо положителна – детекторът маркира човешки текст като AI. Това се случва при:

• Формален стил – академично писане, правни документи и технически текстове са лесни за отгатване, защото следват строги правила.
• Писане на чужд език – хора, които пишат на нероден език, използват по-прости конструкции и по-предвидими думи.
• Кратък текст – под 200 думи детекторите нямат достатъчно данни за анализ.
• Общи теми – текстове на популярни теми ползват фрази, които AI моделите също предпочитат.

Пример: детекторите, базирани само на това колко лесно се отгатва текстът, маркират Декларацията за независимост на САЩ като AI текст. Причината е формалният стил и лесната отгатваемост, а не реално AI авторство.

Лека редакция срива точността

Тестове показват, че дори лека редакция на AI текст намалява точността на детекторите с 15–25 процентни пункта. При смесен текст (част от човек, част от AI) точността пада до 44–62%.

Инструменти за преразказ като QuillBot намаляват засичането с 45%. Специализирани „омагьосвачи“ (хуманизери) успяват да заобиколят детекторите в 94% от случаите.

Затова нито един детектор не трябва да се приема като доказателство. Резултатът е вероятност, не присъда.

Стилистичен анализ – подходът на AI Detector

AI Detector работи по различен начин от инструментите, които разчитат само на отгатваемостта и еднообразието. Вместо да пресмята статистически вероятности, проверява за конкретни стилистични белези на AI моделите.

Разпознава клишета и шаблонни фрази, които AI моделите повтарят при всеки отговор. Тези изрази не се срещат в нормалния човешки текст. Хората не пишат така.

Проверява и за скрити отпечатъци в символите (Unicode водни знаци) – специални тирета, къдрави кавички и невидими знаци. AI моделите вмъкват тези символи автоматично, а хората пишат с обикновени тирета и прави кавички.

Стилистичният подход е по-труден за заобикаляне. Преразказването на текст не помага, ако не знаеш кои конкретни фрази и символи те издават.