Объёмное телевидение

Буквальный перевод слова «телевидение» – «дальновидение» - обозначает возможность наблюдать далёкие от нас события. Далёкие, не только в пространстве, но и во времени, так как существует возможность записи событий прошлого. Заметим, что телевидение осуществляет также дальнослышание. В принципе, существует возможность передачи на большие расстояния запахов, тактильных и даже вкусовых ощущений. Возможно также дистанционное воздействие на вестибулярный аппарат человека. И всё-таки используется термин телевидение так как считается, что наибольший объём информации человек получает через зрение.

Слово «объёмное» созвучно слову «обнимать». Корень слова «ём» означает действие сходное со значением слов: «взятие, хватание».

Это действие иллюстрирует рис. 1, где объект А осуществляет ём объекта В.

Сравните с фразой: Я «ем (кушаю)». Приставка «Об (о)» означает круговой, всесторонний характер действия. Такое действие в заключительной его фазе иллюстрирует рис. 2.

На рисунках приведены плоские схемы, нам же следует представлять указанные действия, как пространственные.

В этой статье мы говорим о телевидении и обнимать объекты мы собираемся в основном визуально, при помощи глаз и телекамеры. Таким образом, в данном случае речь идет о всестороннем охвате объектов физического мира. Использование терминов, связанных с телесными ощущениями, оправдывается их понятностью для всех носителей языка.

Иногда в качестве альтернативы термину «объёмное телевидение» предлагаются другие варианты. Например, стереотелевидение (от греч. στερεός  - пространственный). Исторически термин привязан к методам создания, передачи и воспроизведения стереопары – двух слегка различных изображений для левого и правого глаза. Метод стереопары не подразумевает трехмерной интерактивности и не обеспечивает полной объёмности изображения.

Другой вариант - телевидение со свободной точкой наблюдения (англ. - free view point television) возник в связи с развитием многоракурсных методов воспроизведения плоских изображений. Этот термин обычно подразумевает ограниченную инерактивность, но не указывает на объемность изображения.

Термин  «виртуальная реальность» (от лат. virtus — потенциальный, возможный и лат. realis — действительный, существующий) – дословно «нереальная (кажущаяся) реальность», в приложении к телевидению, акцентировал бы внимание на реалистичности воспроизведения модели мира телевизором. В телевидении качество телевизионного изображения, его реалистичность принято оценивать  множеством предназначенных для этого метрологических характеристик. Говорить об уже состоявшейся реальности воспроизведения не приходится, поскольку нет предела совершенству. Вместе с тем, необходимо отметить, что термин виртуальная реальность в технике ассоциируется с многомодальностью (воздействием на различные органы чувств), что, конечно, соответствует направлению развития объёмного телевидения.

Переходя теперь к классификации систем объёмного телевидения, хотелось бы заметить, что если вы уважаемый читатель никогда не были в стереокино (3D-кинематографе), то вы можете все-таки представить себе, что такое объёмность телевизионного изображения, глядя в окно или в зеркало. Но если вам не довелось играть в компьютерные 3D игры, вам, скорее всего, будет трудно представить себе, что такое трёхмерная интерактивность. Важно не только посмотреть, как играют в «стрелялки» в ближайшем интернет-кафе, но и самому попробовать двигаться внутри изображения с помощью компьютерной мыши или джойстика. Трехмерный телевизионный мир отличается от игрового мира тем, что последний нарисован художником – создателем 3D игры, а в случае объёмного телевидения он строится в реальном времени в памяти компьютера с помощью множества специальных объёмных телекамер. Опыт трехмерного взаимодействия с объемным изображением на примере компьютерной игры позволит вам с полным пониманием обратиться к следующим разделам настоящей статьи.

Подчеркнем, что фундаментальное отличие системы объемного телевидения от системы обычного плоского или стереоскопического телевидения состоит в том, что объектом телевизионной передачи является не сюжет, показанный телережиссером, а трехмерный телевизионный мир, в котором разворачивается сюжет доступный наблюдению с любой, выбранной телезрителем, точки зрения, с задействованием всех механизмов восприятия этого мира зрительной системой человека. При этом и  у самого телережиссера возможности формировать свою точку зрения на события резко возрастают. Пассивный телезритель может не включать режим интерактивности и смотреть на мир глазами режиссера. В любом случае при просмотре объемной телепередачи появится захватывающая иллюзия реальности происходящего.

Вводя классификацию систем объёмного телевидения, необходимо отметить, что любая функция, включая пленоптическую, имеет область определения и область значений. В общем случае областью определения n - мерной функции, с учетом возможного вырождения по координатам,  является к - мерное многообразие, где к ≤ n, что подчеркивает возможную зависимость областей определения различных параметров пленоптической функции друг от друга. При оценке ее области определения необходимо учитывать наличие двух миров  физического и телевизионного, системы пространственных координат которых необходимо привязывать друг к другу. Для случая классификации систем объемного телевидения следует определять координаты точки наблюдения x, y, z в системе координат, привязанной к телевизионному миру (пространству телевизионного изображения).

Рис. 3 иллюстрирует «аквариумную» - с замкнутым объёмом изображения  схему объемного телевидения, когда наблюдаемый сюжет ограничен сферической поверхностью. В данном случае систему телевидения можно характеризовать формулой 6D(θ, φ, r, x, y, z).

Рис.3. Объёмный телевизор замкнутого (аквариумного) типа, замыкает (вырезает) небольшой сферический объём большого телевизионного мира.

Точка наблюдения здесь находится в точке физического пространства, внешней по отношению к пространству изображения. В отличие от физического аквариума вы можете менять с помощью джойстика содержание объемного изображения сферического терминала (телевизора) в интерактивном режиме, виртуально изменяя координаты x, y, z и перемещаясь, таким образом, в совершенно другую область телевизионного мира. С другой стороны вы можете, при желании обойти свой «аквариум» кругом, приблизиться или удалиться от него, тем самым, физически изменяя свои координаты x, y, z в физическом мире. В обоих случаях центр системы координат x, y, z остается привязанным к какой либо выбранной точке объёмного изображения.

Приведенную схему наблюдения большого телевизионного мира трудно назвать естественной, поскольку мы привыкли видеть окружающий мир без резких ограничений его объёма. Конструкция монитора (телевизора) должна обеспечивать восприятие объёмного изображения без искусственных ограничений по глубине и с достаточно широким полем зрения (Рис. 4).

Рис. 4. Объёмный телевизор открытого типа, обеспечивает естественный обзор телевизионного мира из малого виртуального объёма.

В этом случае у телезрителя легко возникает иллюзия присутствия внутри телевизионного изображения, при минимально ощущаемых собственных размерах. Здесь мы также имеем дело с системой телевидения, характеризуемой формулой 6D(θ, φ, r, x, y, z). Центр системы координат x, y, z в данном случае также следует привязать к выбранной точке объемного изображения. Для обеих схем наблюдения может оказаться удобным поворот системы координат x, y, z вокруг вертикальной оси y так, чтобы ось z была направлена в сторону наблюдателя.

Область пространства изображения в совокупности с привязанной к ней областью физического объема возможного перемещения точки наблюдения представляет собой пространство наблюдателя.

Область определения координат θ, φ, r, зависящая от положения точки наблюдения и поворота зрителя представляет собой пространство (зону) наблюдения.

Все познается в сравнении. Можно было бы вести рассказ об объемном телевидении, сравнивая его с  обычным «плоским» телевидением, но более экономным представляется путь  проведения параллелей между системой объёмного телевидения и сознанием человека. Сознание - субъективная модель окружающего мира, формируется в процессе активности человека в трехмерном физическом мире.  Всю жизнь мы совершенствуем эту модель, познавая мир. 

Объекты наблюдения, которые составляют физический мир, доступны глазу человека и телекамере, благодаря формируемому ими световому полю. Обсуждая фундаментальные вопросы зрения человека, Э.Х. Адельсон и Д.Р.Берген в статье «Пленоптическая функция и элементы первичной стадии зрения» (The plenoptic function and the elements of early vision,1991 г.) ввели описывающую «все, что можно увидеть» пленоптическую функцию  (от лат. plenus – полный и англ.. optic – оптический). Она представляет собой запись распределения интенсивности света внутри пучка лучей на входе оптической системы глаза ,  где: θ, φ – угол места и азимут линии визирования, V_x, V_y, V_z - координаты наблюдателя, λ - длина волны света и t – время. Эта функция позволила авторам создать таблицу базовых визуальных элементов, подобную периодической таблице Д.И.Менделеева. Элементы таблицы представляют собой двумерные сечения пленоптической функции. Некоторые из этих элементов являются математическими аналогами рецептивных полей (см. ниже) зрительной системы человека. Функция нашла широкое применение в литературе по компьютерной графике и многоракурсному телевидению.

Для классификации систем объёмного телевидения можно использовать геометрическую часть пленоптической функции, при этом параметр λ, связанный с цветом излучения можно опустить, подразумевая, конечно, что объемное изображение цветное. В отличие от глаза, объемная телевизионная камера способна использовать зависимость пленоптической функции от времени, для определения расстояния r от точки наблюдения до наблюдаемой точки объекта методом активной светолокации (см. ниже), при этом r и t связаны известной линейной зависимостью. Заменим также оригинальные обозначения V_x, V_y, V_z на x, y, zсоответственно.

При новой параметризации получим:  - функцию шести переменных (измерений), где: θ, φ, r – составляют сферическую систему координат с центром в точке наблюдения,  а  x, y, z– декартовы координаты точки наблюдения. Для определенности углы θ, φ можно отсчитывать относительно оси параллельной оси глубины - z. Оси х - горизонтальную и у -  вертикальную в одних случаях (для измерений) удобно выбрать параллельными плоскости окна объёмного телевизора, а в других (для навигации) привязать к какому либо объекту телевизионного изображения. Шесть параметров (измерений) практически полностью определяют конфигурацию (геометрию) системы отображения в пространстве. Хотя в некоторых случаях полезным может оказаться введение параметра ψ – поворота телевизионной камеры вокруг оптической оси (крена) и тогда общее число измерений может вырасти до семи. Заметим, что у человека существует специальный механизм, парирующий повороты глаз вокруг оси зрения при наклоне головы вбок. Можно считать, что θ, φ, r – числовые значения координат точки поверхности наблюдаемого объекта в субъективной системе координат, а x, y, z – объективные координаты центра зрачка глаза субъекта или объектива телекамеры.

Сегодня на рынке кинооборудования принято говорить о 3D (трехмерном)  стереоскопическом изображении. В 4D кинозале добавляются кресла с динамическими платформами. В 5D кинематографе добавляется комплекс спецэффектов (ветер, брызги воды, генераторы дыма и снега, имитаторы прикосновений и покалываний, инжекторы запахов). Такое употребление терминов (3D, 4D, 5D)  обусловлено скорее рекламными, чем техническими соображениями.

Наш выбор параметров классификации систем объёмного телевидения соответствует геометрии отображения физического мира человеком и обусловлен стремлением к тому, чтобы телевизионная система максимально ей соответствовала.

Уточненный нами геометрический вид пленоптической функции, позволяет говорить о шестимерности развитой системы объемного телевидения. Учитывая это, можно составить следующую классификацию систем объёмного телевидения (таблица):

 В соответствии с приведенной таблицей, необходимо привести формулу обсуждаемого варианта системы телевидения, например, 3D(θ, φ, x), что означает, что мы имеем дело с двумерным изображением θ, φ трехмерной модели, при возможности ее оглядывания, перемещаясь по горизонтали x.  Такая формула отсутствует в таблице, содержащей лишь некоторые примеры. Смысл ее очевиден. В данном случае в телевизионной системе отсутствует измерение  r, то есть, не предусмотрена возможность изменения аккомодации и конвергенции глаз при отслеживании объёмного сюжета.

Поскольку наличие координат θ и φ в телевизионной системе обязательно, их можно опустить и использовать сокращенную формулу, например, 5D(r, x, z). Последняя обозначает  систему объемного телевидения, или телевизора (формулы могут не совпадать) с трехмерным (r) изображением и возможностью перемещаться в трехмерном пространстве (трехмерная интерактивность) в горизонтальной плоскости (x, z).

В нашей системе классификации обычная стереоскопическая система будет иметь обозначение 2,5D(r) или просто 2,5D.

Такое дробное обозначение нуждается в пояснении. Когда мы направляем свое внимание на определенную зону пространства, задавая дистанцию наблюдения, эта зона выделяется с помощью органа зрения. Выделение по углу происходит благодаря пику разрешающей способности глаза возле линии визирования (рис. 14), а выделение по глубине (дальности) благодаря аккомодации и конвергенции глаз. Аккомодация (фокусировка) глаза обеспечивает ясное видение в пределах глубины резкости. Конвергенция (скашивание) глаз минимизирует диспаратность (рис. 14) на выбранной дистанции наблюдения, исключая двоение изображения. Если телевизионная система не обеспечивает функций конвергенции и аккомодации глаз, то в ней отсутствует измерение r, если обеспечивает обе функции, мы говорим о наличии этого измерения, если обеспечивается только одна, о 50 % реализации измерения r или о 0,5 r. При наблюдении стереопары конвергенция  глаз меняется при переносе внимания с близких точек объекта на дальние, а аккомодация остается неизменной, соответствуя дистанции расположения стереопары. Такая неестественная работа глаз приводит к их повышенному утомлению.

Весь комплекс таких наук, как психология, лингвистика, нейрофизиология, философия, искусственный интеллект, нейроинформатика, антропология, эконо­мика и др.,  предоставляющих свои методы и наработки для исследований познавательных возможностей человека принято сегодня называть когнитивной наукой. Можно предполагать, что её достижения будут востребованы объёмным телевидением в полной мере, оно же в свою очередь будет влиять на ее развитие.

При создании развитой системы объёмного телевидения человечество вплотную подойдет к тайне сознания, важнейшим инструментом которого является воображение. Наше воображение воспроизводит объемные зрительные образы. В памяти человека содержится неисчислимое их количество. Слова нашего языка являются кодом доступа к этой памяти. В своем сознании мы можем масштабировать, вращать, перемещать объемные сцены, синтезировать их цепочки. Мы можем определять жизнь действующих лиц, живущих в наших мыслях, многократно проигрывая и изменяя историю их бытия. При этом воображаемые объекты обычно похожи на реальные, но могут приобретать иногда и совершенно необычные формы. По существу, реальный мир - пища для нашей фантазии.

Объемное телевидение будет обладать всеми возможностями воображения отдельного человека и превосходить его, поскольку оно, в части информационного содержания, будет плодом усилий всей цивилизации.

До изобретения телевидения и фотографии человек отправлялся в путешествие, смотрел по сторонам, возвращался домой и рисовал соседям картины дальних стран с помощью карандаша или словами с помощью воображения собеседника. Фотоаппарат, а затем киноаппарат сделали эти картины более достоверными. Телевидение ликвидировало задержку во времени. Большинство людей знакомы с фото, кино и телетехникой. Некоторым приходилось играть в компьютерные 3Dигры. Но, далеко не каждый, по-видимому, задумывался над тем, как он осознает окружающий мир. Однако для того чтобы заглянуть в будущее и представить себе возможности объёмного телевидения необходимо приготовиться к погружению в синтез компьютерных, телевизионных и когнитивных технологий. Говоря о сознании человека, мы должны представлять себе, что это просто весьма изощренный механизм отображения реальности. Инженеру, занимающемуся разработкой системы объемного телевидения, которая также представляет собой механизм отображения, следует освоить особую не техническую терминологию для использования в своем творчестве технических решений природы.

Поскольку сознание формируется в процессе познания, предельно упрощенная модель процесса познания будет полезна при обсуждении свойств объёмного телевидения.

На рис. 1 тело А познаёт (осязает) поверхность тела В и его форму. Объект В «знал» (сохранял) свою поверхность и форму. Cубъект А познал (скопировал при контакте) эти свойства В и таким образом возникло со-знание А, то есть у А появилось совместное с В знание. Так  наглядно мы определили две важнейших функции сознания: познание как процесс и знание как результат этого процесса.

Субъект (носитель сознания) А кроме В поочередно познает множество объектов С, D,… окружающей его среды. Познав объекты по отдельности, субъект познает их как множество, выявляя их соотношения. Соотношения могут динамично изменяться.

Человек слепой и глухой познает предметы окружающего мира в основном через осязание или объятие. Кроме относительных координат элементов поверхности предмета он может определить ее шершавость, твердость, теплоту, влажность и пр.

Зрячий и слышащий человек активно пользуется дистанционным методом познания окружающей среды. Именно так можно быстрее «объять необъятное».

Субъект познает необъятный (превосходящий размер его объятий) мир, моделируя этот мир. Он создаёт модель окружающего мира в своем сознании из фрагментов своих ощущений. Информация зрения, слуха, осязания автоматически наносится на некую «карту», которая постоянно, при смене ракурса наблюдения, сверяется с окружающим миром и уточняется. При постоянных движениях глаз и тела человека, для привязки карты к местности важен учет этих движений. Так обеспечивается константность восприятия человеком пространства.

В рамках данной статьи нас не слишком интересует, какова физическая реализация этой карты (памяти), то есть, представляет ли она собой нейронную или синаптическую сеть или биохимический комплекс, также как пока нас не интересует, будут ли реализованы схемы объемного телевидения с применением фотолитографии или нанотехнологий.

В математике существует понятие гомеоморфизма – взаимно однозначного соответствия между двумя математическими объектами. Если модель мира субъекта соответствует, как нам кажется, реальности, мы называем её адекватной, но при этом мы должны понимать, что модель никогда не бывает гомеоморфной.

Доказательством последнего является наличие оптических иллюзий (обмана зрения) Например, на рис.5 многие люди, хотя и не все, видят вращение колес, которое на самом деле отсутствует.

Рис. 5. Иллюзия вращающихся колёс.

Восприятие мира может также сопровождаться иллюзиями, связанными с достройкой модели мира, при отсутствии необходимых данных от органов чувств, то есть с фантазией человека, с его воображением. В языке это свойство сознания закреплено в выражении «мне показалось». Правильная достройка возможна потому, что человек знает законы изменения формы мира, при перемещении в нем. Эти законы он постигает еще в детстве, во время игр. Учитывая эти законы, сознание субъекта может не только достраивать модель мира, в процессе восприятия, но и создавать собственные воображаемые миры.

Телевизионная модель физического мира, создаваемая из фрагментов, получаемых с помощью объёмных телекамер, также должна обладать целостностью и стабильностью воспроизведения (константностью). Во многих случаях мы можем не добиваться идентичности телевизионного мира миру физическому, ограничившись их похожестью.

Объёмное телевидение в значительной мере будет копировать как окружающий мир, так и сознание человека. Творческий коллектив, участвующий в создании объёмной телепередачи, создает компьютерную модель мира, в которой могут действовать персонажи реального мира, анимационные персонажи, а также телезрители. Такую модель можно назвать смешанной реальностью (англ.  mixed reality). Другими словами телевизионный мир в известном смысле сложнее физического, поскольку может представлять собой синтез моделей физического и воображаемых миров.