Законът на Ципф при LLM моделите - статистиката, която издава AI текст
Законът на Ципф е прост: в естествения текст честотата на една дума е обратно пропорционална на нейния ранг. Първата дума по честота се появява два пъти повече от втората, три пъти повече от третата, и така нататък. Тази закономерност е забелязана за първи път през 1935 г. от Джордж Кингсли Ципф, професор по лингвистика в Harvard.
Съдържание
Същата статистика работи и при текст, генериран от LLM модели - ChatGPT, Gemini, Claude, DeepSeek. Но има характерни разлики, които изследователите ползват за разпознаване на AI текст.
Какво казва законът на Ципф
Формулата е f(r) ∝ 1/r, където f е честотата на думата, а r е нейният ранг в списъка, подреден по популярност. При дълъг текст от човешки автор тази връзка важи с висока точност. Wikipedia документира приложения в лингвистиката, икономиката и разпределението на размерите на градовете.
Свързан закон е този на Heaps: при текст с N думи, размерът на речника V(N) нараства като N^β, където β е между 0.4 и 0.6. Двата закона описват различни аспекти на една и съща статистика - разпределението на лексикалните ресурси.
LLM моделите следват закона, но не съвсем
Генерираният от LLM текст доближава кривата на Ципф, но с отклонения. Работата на Furusawa и Tanaka-Ishii в Nature Scientific Reports показа, че статистическите закономерности в естествения език са по-сложни от чист power-law - има извиване при редките думи, което LLM моделите възпроизвеждат непълно.
Статията на Takahashi и Tanaka-Ishii, публикувана в arXiv (2305.15413), документира фазови преходи при LLM моделите. При ниска температура на семплирането изходът е подреден и предсказуем. При висока - хаотичен. Критичното състояние, където текстът следва най-точно законите на Ципф и Heaps, е в тесен температурен диапазон - около t=1 за базови модели, по-високо за модели, тренирани с инструкции.
Изследването от EMNLP 2025
Работата "Zipf's and Heaps' Laws for Tokens and LLM-generated Texts", представена на EMNLP 2025, тества няколко модела и стига до три основни извода:
- Законите на Ципф и Heaps важат за LLM текст, но само при определен температурен диапазон
- Температурата влияе повече от архитектурата на модела или корпуса за трениране
- Отклоненията от Ципфово разпределение се появяват и като геометрични свойства във векторните представяния на думите, не само на повърхностното ниво
Това е значимо за детекция: AI текст има статистически подпис, различен от човешкия, и детекторите го ползват като сигнал.
Защо AI текстът отклонява от закона
LLM моделите генерират следваща дума от вероятностно разпределение. При температура 0 избират винаги най-вероятната, получава се еднообразен изход с тежка глава и слаба опашка. При висока температура разпределението става по-плоско и редките думи се появяват по-често, отколкото е естествено.
Дълбокият проблем е в тренировъчните данни. Редките думи ("дългата опашка") се срещат малко пъти, затова моделите ги научават по-слабо. Когато генерират, те или ги избягват, или ги ползват неуместно. При човешки текст редките думи идват по контекстуален повод - при LLM имат по-равномерно, статистическо разпределение.
Токенизацията като адаптация
Тук идва ролята на токенизаторите като Byte-Pair Encoding (BPE). Вместо да работят с цели думи, те разбиват текста на подсловни единици. Това позволява по-добро компресиране на "дългата опашка" - редки думи се съставят от по-чести подчасти.
Изследването на разпределенията на токените в ResearchGate документира, че токените също следват Ципфово разпределение, но с различни параметри спрямо цели думи. Изборът на размер на речника при нови токенизатори зависи от тази характеристика.
Практически приложения
- Детекция: Отклонения в Ципфовите свойства се ползват за разпознаване на AI текст. Подходът се комбинира с perplexity и burstiness.
- Компресия и скорост: Първите 1000-2000 думи покриват около 80% от реалния трафик при inference. Кеширане на тези токени намалява потреблението на GPU памет с до 50%.
- Избор на речник: "Zipf alignment score" е метрика, която помага при избор на размер на речника за нови токенизатори.
Ограниченията на подхода
Ципфовите свойства не дават категоричен отговор дали текст е от AI. Проблеми има при:
- Кратки текстове: При под 500 думи статистиката е нестабилна. Проучването в PMC показа, че законите на Ципф и Heaps се проявяват ясно само при дълги текстове.
- Редактиран AI текст: Човешка намеса нарушава статистическия подпис. Парафразирането или ръчното добавяне на изречения го размива.
- Техническа терминология: Текст от тесна област (медицина, право, техника) има нестандартно разпределение и при човешки автори.
Класически анализи като учебните материали от Northeastern University и практически примери в RPubs показват как се измерва отклонението от идеалната крива на Ципф за конкретен текст.
Как се ползва в детектори
Повечето серийни детектори не ползват пряко Zipf анализ. Те работят с perplexity и стилистични шаблони. Изследователски инструменти и академични системи включват статистически тестове на Ципфово разпределение като един от сигналите.
Лексикален анализ (подходът на AI Detector) работи с конкретни фрази и стилистични белези - подход, който е по-устойчив на къси текстове от статистическите методи. Двата подхода се допълват: статистиката вижда картината на ниво разпределение, стилистичният анализ - на ниво конкретна формулировка.
Законът на Ципф не е само любопитен факт за честотата на думите. Той е структурно свойство на информацията. LLM моделите го следват, защото са тренирани върху човешки текст. Разликите в начина, по който го следват - характерни отклонения, температурна зависимост, поведение при редки думи - стават сигнал за произход на текста.