Сжатие мира телевизионного

В начале статьи мы говорили о проблеме создания маленькой трехмерной модели большого окружающего мира. Специалисту в области цифрового сжатия телевизионной информации может показаться невероятной возможность сжатия и передачи по обычным телевизионным каналам больших действующих  моделей. Между тем нам следует принять во внимание, что существует несколько принципов редукции видеоинформации эффективных именно для объёмного телевидения.

Обратим внимание на рис.6. Здесь дугообразными стрелками показаны информационные связи между наблюдаемыми мирами. Первый – физический мир, находясь под изменяющим воздействием двух других, подчинен законам физики. Их назначение - сохранять целостность физического мира. Здесь действуют законы гравитации, механики, оптики. Второй  - телевизионный мир, копируя законы физики из первого мира, одновременно подчинен  социальным законам. Их назначение – сохранять целостность  социума. Здесь действуют законы государства, морали, эстетики, лингвистики, социальной психологии. Третий – воображаемый мир, отражая связи первого и второго, подчиняется законам физиологии и психологии. Их назначение – сохранять целостность личности субъекта. Все перечисленные законы представляют собой связи, ограничивающие свободу действия в любом из миров.

Используя известные связи можно так сжать (компактифицировать) объёмную телевизионную информацию, что средний информационный поток  получаемый телезрителем будет находиться в рамках ограничений, налагаемых на существующие цифровые телевизионные каналы.

Приведем примеры возможностей такого сжатия. В физическом мире часть объектов статичны (неподвижны), а часть нет. Статичные объекты трехмерной телевизионной модели (рис. 20), однократно введенные в память вашего объёмного телевизора, далее служат сценой для развертывания динамичного сюжета передачи.

Рис. 20. Статическая часть телевизионной модели. Интерьер музея.

Заготовки таких сцен очень больших размеров могут использоваться телережиссером для создания виртуальных декораций. Можно, например, один раз архивировать трехмерный интерьер Эрмитажа и далее использовать его части  в различных телепередачах. Для обычного телевизионного репортажа из музея с использованием технологии виртуальной телекамеры достаточно передавать телезрителю код положения и ориентации этой телекамеры, и он будет видеть предлагаемые части предварительно загруженной им модели интерьера, слушая комментарий искусствоведа. В последнем случае информационный поток практически полностью определяется звуковым содержанием.

Динамичные объекты сцены - персонажи (люди, животные, машины) (рис. 21) обладают ограниченным числом степеней свободы, те их возможное движение ограничено подвижностью суставов, числом и конфигурацией элементов их скелета.

Рис. 21. Элементы динамической трехмерной модели. Точками обозначены узлы трехмерных сеток (вершины), движения которых необходимо задавать. Анимированная маска внизу в центре полностью воспроизводит мимику человека. Наложенные на сетки анимированные текстуры лица или тела, могут полностью имитировать их движения.

Например, «скелет» автомобиля имеет всего пять элементов: кузов и четыре колеса. Задав всего два параметра: скорость вращения и поворот передних колес можно привести автомобиль в заданную точку статической модели. Естественные ограничения, накладываемые на траектории движения тел, приводят к модельному (model-based) способу кодирования динамичных объектов. Речь идет о создании отдельной модели каждого динамического объекта. Такая модель включает суставы (совокупности узловых точек движения), каркас (поверхность тела) и натянутую на каркас текстуру, задающую раскраску объекта. Даже относительно грубая динамическая модель позволяет кодировать реальную сцену с высокой степенью реалистичности, используя ее для предсказания очередного пространственно-временного положения моделируемого объекта. Модельный способ позволяет ограничиться отслеживанием лишь параметров движения объектов, для чего могут использоваться даже простые, не объемные телекамеры. Этот способ подразумевает возможность создания складов моделей одежды, обуви, предметов быта, моделей любых объектов естественного и искусственного происхождения. Единожды созданная и переданная модель обеспечивает создание бесконечного числа ее ракурсов в пространстве по воле телережиссера или телезрителя.

В разделе адаптация мы говорили о гигантском диапазоне возможных яркостей объектов физического мира Яркость в общем случае зависит от углов наблюдения θ и φ. Яркость хорошо рассеивающей поверхности одинакова в любом направлении (рассеяние по Ламберту). Яркость зеркальной поверхности соответствует яркости отраженных объектов и зависит от направления наблюдения. Во многих случаях мы имеем дело с промежуточной ситуацией, когда объекты не обладают зеркальной поверхностью, но яркость поверхности зависит от угла наблюдения. Перемещаясь в телевизионном пространстве (объёмном изображении) и наблюдая изменение ракурса объектов, мы должны видеть изменение их яркости, аналогичное изменению яркости объектов физического мира. Один из возможных подходов к кодированию угловой зависимости яркости заключается в ее приближенном представлении с помощью сферических функций (рис. 22).

Рис. 22. Сферические функции (гармоники) трех первых порядков.

Этот метод аналогичен частотной фильтрации, используемой при обработке временных и пространственных сигналов, когда отбрасываются малые по величине высокочастотные составляющие сигналов. Частотное представление (преобразование  Фурье) сигналов, в том числе многомерных, оказалось эффективным во многих областях. Например, в цифровом телевидении используется дискретно-косинусное преобразование для сжатия двумерных изображений блоков.  Использование метода сферических функций возможно потому, что шероховатая  поверхность объекта, в отличии от зеркальной, обладает фильтрующими свойствами, подавляя высшие гармоники функции углового распределения яркости точек поверхности. Кроме того, в случае сопоставления объёмного телевизионного изображения, с представлениями телезрителя о физическом мире, следует учитывать, что не многие люди способны проводить такое сопоставление с высокой точностью, тем более что обычно мы наблюдаем по телевизору незнакомые места и в условиях разнообразного освещения.

Рассеивающие свойства поверхности объектов наблюдения могут иметь выраженную спектральную и поляризационную зависимости, что позволяет в ряде случаев эффективно разделять зеркальную и рассеянную компоненты отраженного излучения.

Зеркальная компонента излучения содержит информацию об отраженных объектах, которые сами содержаться в трехмерной телевизионной модели. Существует возможность синтеза зеркального отражения путем геометрических трансформаций соответствующих частей модели. Отмеченные обстоятельства позволяют говорить о перспективности  использования сферических функций для целей сжатия больших  телевизионных миров, поскольку во многих случаях можно ограничиваться сферическими компонентами первого и даже нулевого порядка.

Когда из сцены выделены динамичные объекты, то мы можем предполагать, что движение многих из них подчинено законам физики, которые ограничивают возможные траектории их перемещений. Учет законов движения позволяет использовать, например, кодирование с предсказанием движения объектов, что значительно снижает поток информации о движении.

Можно ли нарушать законы физики в телевизионном мире? Это должен решать, по-видимому, создатель телепередачи. Следуя своему художественному замыслу, он может позволить телезрителю, например, отключать гравитацию и тот, в интерактивном режиме, должен будет учиться двигаться в невесомости. С другой стороны, агрессивно настроенный телезритель может пожелать разрушить изнутри мир в своем телевизоре или нанести вред персонажам этого мира.  Стоит ли поощрять подобные наклонности?

Поскольку трехмерный телевизионный мир в значительной мере является копией физического мира, по-видимому, и в нем следует соблюдать многие физические и не только физические законы. Соответствующие ограничения, накладываемые на возможные трансформации телевизионных моделей, технически легко установить.