Александр Александров – Линия передачи (страница 7)
Это звучало почти как физический закон. Как будто у языка была своя константа, свой порог, ниже которого хаос попросту не пробивался.
Он понимал: с точки зрения чистой теории это не должно было так работать. После любой буквы теоретически может идти любая другая: гласная, согласная, мягкий знак, пробел. Комбинаторика не запрещает ничего.
Но язык — не комбинаторика. В нём есть согласование и управление. Прилагательное в родительном падеже тянет за собой существительное в том же падеже, и после «-ого» остаётся короткий список возможных окончаний: «большого дома», «нового снега». Глагол выбирает себе предлог: «зависит» требует «от», «стремится» — «к», «нуждается» — «в». А предлог, в свою очередь, диктует падеж тому, что пойдёт следом: после «без» будет родительный, после «к» — дательный. Выбирает всё это не пишущий: грамматика сузила поле задолго до того, как рука потянулась печатать следующее слово.
Добавь сюда границу слова — пробел или знак препинания, который обязан появиться через определённое, ограниченное число букв, потому что слова в русском языке не бывают бесконечными. Добавь благозвучие — то, что три согласных подряд неудобно произносить, и язык веками отбраковывал такие сочетания, оставляя после себя мостики из гласных и сонорных там, где стыкуются морфемы.
Каждое из этих ограничений по отдельности казалось мелочью. Вместе они схлопывали теоретически необозримое пространство комбинаций в узкий, плотно утоптанный коридор, и язык раз за разом воспроизводил один и тот же набор цепочек, пока не натыкался на стык двух разных по смыслу слов, где предсказать соседство было почти невозможно. Там и начиналась неустойчивость.
Марк не был лингвистом и не претендовал на то, чтобы объяснить механизм до конца. Но у него была цифра, и цифра не врала.
Он полез читать, что известно о статистике языка, и наткнулся на работы по предсказательной обработке в мозге — на то, что мозг, судя по всему, букв по одной не читает вовсе: он постоянно строит прогноз следующего фрагмента и лишь сверяет его с тем, что приходит на самом деле. Чем более предсказуема цепочка, тем меньше усилий тратится на её распознавание.
Это укладывалось одно в другое слишком аккуратно, чтобы быть совпадением. Мозг экономит, потому что мир, по крайней мере языковой, устроен так, что экономить есть на чём. Никто этого не проектировал. Все ограничения, о которых Марк только что подумал, от окончаний до границ слов и произносимости, снова и снова гарантируют один и тот же исход.
Он посидел с этой мыслью дольше, чем рассчитывал.
Публиковать было некуда. Точнее, было куда, но без научной степени, без аффилиации с институтом, без фамилии в правильном списке соавторов такую находку либо не заметят, либо, если заметят, перепишут своими словами через полгода и подадут как собственную. Он видел, как это происходит с чужими идеями, и не питал иллюзий насчёт своей.
Он сохранил графики, сохранил код, сохранил вывод в текстовый файл с датой в названии, и отложил.
Но мысль осталась. И спустя два года, когда работы уже не было и он разбирал на цепочки закономерностей собственную жизнь, эта мысль вернулась к нему в другом виде.
Ведь если у языка есть свой узкий коридор, по которому он движется, не пользуясь и малой долей теоретически возможного, — то почему у дня, у обычного человеческого дня, коридор должен быть шире?
Проснулся. Позавтракал. Транспорт. Работа. Обратно. Магазин. Сон.
Теоретически вариантов бесконечно много. На практике усталость требует определённой последовательности действий, расписание требует другой, привычка — третьей, и все три тянут в одну сторону чаще, чем в разные.
Жизнь, как и язык, не перебирала теоретически возможное пространство. Она двигалась по узкому, плотно утоптанному коридору, и не от бедности выбора: он всякий раз оказывался обусловлен тем, что случилось буквой, днём, шагом раньше.
Глава 3. Шеннон, пятьдесят первый
Но это было потом. А тогда, осенью две тысячи двадцать первого, держать открытие в себе оказалось труднее, чем он рассчитывал.
Через месяц Марк написал Ларисе Гольцевой — они учились на одном потоке, только она после четвёртого курса ушла в компьютерную лингвистику, защитилась и с тех пор работала в лаборатории, занимавшейся, как она сама это называла, «тем, как машины делают вид, что понимают текст». Виделись они последний раз лет восемь назад, на чьей-то свадьбе.
Она ответила через день и предложила встретиться в столовой при её институте — сорок минут между парой и совещанием, больше выкроить не могла.
Марк принёс две папки. В первой лежало то, что он собирался показать. Во второй — то, что показывать не собирался, и он до последнего не мог себе объяснить, зачем вообще тащил её с собой через полгорода. Готовился он неделю и выстроил разговор так, чтобы главное прозвучало ближе к концу, — но не выдержал и выложил первую папку на второй минуте.
Лариса слушала, помешивая чай, и, когда он дошёл до пяти букв и двух гигабайтов, впервые перевела взгляд с него на распечатки.
— Так, — сказала она. — Прежде чем ты продолжишь. Ты знаешь, кто такой Марков?
— Андрей Андреевич, — сказал Марк. — Цепи Маркова. Я на них ссылался.
— Марк, Марков, — сказала Лариса. — Две буквы разницы.
— Мне это ещё на первом курсе объяснили.
— Плохо объяснили. Слушай дальше. В тысяча девятьсот тринадцатом году он взял двадцать тысяч букв «Евгения Онегина» и вручную, карандашом, посчитал, как в них чередуются гласные и согласные. Именно затем, зачем и ты: показать, что следующий символ зависит от предыдущего. Без компьютера. Двадцать тысяч букв.
Марк молчал.
— А в пятьдесят первом, — продолжала она, — Шеннон посадил людей угадывать следующую букву в английском тексте. Просто угадывать, по одной. И по тому, с какой попытки они угадывали, вычислил энтропию языка. Получилось примерно один бит на символ. При том, что алфавит теоретически даёт около пяти.
— То есть впятеро меньше, — сказал Марк.
— Примерно. Это называется избыточность языка, и это первый курс. Твоя доля процента от теоретического числа комбинаций — то же самое, только с другой стороны и на своём железе. — Она отпила чай. — Ты не открыл. Ты переоткрыл. На домашнем компьютере, с нуля, в одиночку — это делает тебе честь как инженеру, но статьи из этого не выйдет.
Марк почувствовал, как то, что он носил в себе месяц, проседает внутрь, оставляя после себя странно ровное, почти спокойное место.
— Подожди, — сказал он. — Посмотри не на саму долю. Посмотри, как она меняется.
Он перевернул лист.
— Избыточность — свойство языка, а не моё. Она константа, её Шеннон и померил, тут спорить не с чем. Я мерил другое: какая доля цепочек встречается ровно один раз и как эта доля ведёт себя, когда растёт окно. Вот она расти обязана — чем длиннее цепочка, тем больше одноразовых. И расти плавно: гладкая кривая, она в любом учебнике нарисована. У меня она не гладкая. До пяти символов включительно одноразовых практически нет: всё, что появилось, появляется потом снова. На шести начинается. На семи обвал: больше половины цепочек одноразовые, память кончается. Это не склон. Это ступенька.
Лариса поставила чашку и придвинула распечатку к себе. Минуты полторы читала молча.
— Корпус какой? — спросила она другим голосом.
— Около двухсот тысяч книг.
— Первое, что тебе скажет любой рецензент: это артефакт объёма. Чем длиннее цепочка, тем больше их теоретически возможно, и любой конечный корпус рано или поздно перестаёт их покрывать. Ступенька — это место, где у тебя кончились данные. К свойствам языка она отношения не имеет.
— Я думал об этом, — сказал Марк. — Я гонял на десяти процентах корпуса, на четверти, на половине. Если бы дело было в объёме, ступенька ездила бы. Она почти не ездит. Сдвигается на доли, а не на символы.
Лариса посмотрела на него.
— Вот с этого и надо было начинать, — сказала она. — С «я, кажется, вижу переход, который не объясняется размером выборки». «Я открыл закон языка» я слышу три раза в год от людей с YouTube. Про переход — не слышала ни разу.
— Значит, это может быть новым?
— Это может быть новым. Может быть и ошибкой в коде, которую ты не видишь, потому что смотришь на него четыре месяца подряд. Может быть известным результатом, опубликованным в девяносто восьмом году в журнале, который никто не читает. — Она пожала плечами. — Так это и работает. Никто не знает заранее.
Она сказала, что готова посмотреть код и прогнать на своих данных, если он пришлёт.
А потом добавила то, ради чего, как Марк понял много позже, стоило приезжать.
— Только запомни одну вещь. Ты сейчас опишешь измерение. Измерение — вот это, — она постучала пальцем по распечатке. — Корпус, метод, ступенька, проверка на подвыборках. Это можно защищать. Но я по глазам вижу, что у тебя дальше. У тебя дальше идёт: «а раз так устроен язык, значит, так же устроено и всё остальное».
Марк не стал делать вид, что это не так.
— В ту секунду, когда ты допишешь эту фразу, — сказала Лариса, — ни один рецензент дальше первой страницы не пойдёт. И, скорее всего, будет прав: из того, что у языка есть грамматика, твоя жизнь никак не выводится. Это красивая мысль, она даже может оказаться верной, но она не следует из твоих цифр. Она просто лежит рядом.