1017 - vvvv + kinect

I did some experiments using a kinect and basic vvvv patches to make the previous video into realtime.

이전에 만들었던 영상을 리얼타임으로 만들기 위해, 키넥트와 vvvv의 기본 패치를 사용하여 몇 가지 실험을 했다.

original vvvv patch - Kinect (Devices Microsoft) help.v4p

original vvvv patch - Skeleton (Kinect Microsoft) help.v4p

From the original vvvv patches above, I modified them and composed a new patch below.

위의 기본 패치를 수정하고 여러가지 노드를 더하여 다음과 같은 패치를 구성했다.

screen captures in vvvv - 1017_kinect_001.v4p - 20131017

screen capture in vvvv - 1017_kinect_001.v4p - all - 20131017

But I couldn't be satisfied with this patch because all points were connected with fixed lines. So I was thinking how they could be flexible and connected randomly.

하지만 정해진 포인트끼리 선으로 연결하는 것보다 랜덤하게 연결해주는 것이 시각적으로 더 좋을 것 같아서, 랜덤으로 뽑은 값을 선으로 이어줄 수 있는 방법에 대해서 생각해보았다.

note - 20131017

And I modified the patch based on the memo above.

그리고 이를 토대로 패치를 수정하였다.

screen captures in vvvv - 1017_kinect_002.v4p - 20131017

screen capture in vvvv - 1017_kinect_002.v4p - all - 20131017

vvvv + kinect - 1017_kinect_002.v4p - 20131018

Actually, I could have used much fewer nodes to show the output screen above, but I decided not to because it is better to show a concept of my thesis and its beauty from the complex structure.

Next time, I'll find the way to make lines more systematic and flexible. I think if random values are grouped in 3 or 4 parts (or they stop their changing according to specific values), the patch will be much better.

사실 위의 결과 화면을 나타내기 위해 훨씬 더 적은 노드를 사용할 수 있을 것 같았지만, 논문의 주제나 컨셉에는 이런 복잡함이 더 적합하다고 생각하여 의도적으로 복잡하게 나열한 것도 없잖아 있다. 겉으로 간단해보이는 구조에도, 그 내부에는 복잡한 구조에서 느껴지는 아름다움이 존재한다는 것을 보여주고 싶었다.

다음 번에는 선을 좀 더 짜임새있게 연결할 수 있는 방법을 생각해봐야겠다. 랜덤 값을 그룹화하거나 특정 값에 따라서 랜덤 노드가 멈출 수 있게 하면 될 것 같은데 시도해봐야겠다.

1015 - 2 cameras

I proceeded some experiments on the assumption that it is possible to exceed the limitations of dimensions with red, cyan colors of an anaglyph effect and RGB camera, 2 depth sensors of kinect.

키넥트의 RGB 카메라와 2개의 depth 센서, 그리고 애너글리프의 적청 색상을 이용하여 2D는 3D로, 3D는 4D로 표현이 가능할 것이라고 가정하고 작업을 진행하였다.

kinect - 3d depth sensor 1 / rgb camera / 3d depth sensor 2

-----------------------------------------------------------------------------------------------------------
1 ^
-----------------------------------------------------------------------------------------------------------

Before making an interactive system with kinect, I made a video using 2 iphones.
(distance between iphone cameras = 65mm)

키넥트로 실시간으로 작동되는 인터랙티브 시스템을 만들기 전에, 2대의 아이폰을 사용하여 영상을 제작하였다. (아이폰 카메라 간격 = 65mm)

1st attempt - iphone 4s + 5 - 20131015

At this attempt, a video was shot in horizontal orientation. But I couldn't get a good anaglyph video because iphones weren't fixed together tightly.

처음에는 아이폰을 가로로 두고 영상을 촬영했지만, 제대로 고정시키지 않은 탓인지 균등한 움직임이 나타나지 않아서 애너글리프 영상을 만들었을 때 좋은 효과를 보지 못했다.

screen capture in after effects - 20131015

anaglyph test mov with 2 iphones - 001 - 20131015

-----------------------------------------------------------------------------------------------------------
2 ^
-----------------------------------------------------------------------------------------------------------

At the second attempt, I bound 2 iphones in vertical orientation to fix them more tightly. (distance between iphone cameras = 65mm)

2번째 시도에서는 아이폰을 좀 더 단단히 고정시키기 위해 세로로 배열했다.
(아이폰 카메라 간격 = 65mm)

2nd attempt - iphone 4s + 5 - 20131015

I had thought each video would have almost equal tracking points from an auto tracking tool of Syntheyes, but actually, I got totally different tracking points and it occurred many errors.

실험을 하기 전에는 Syntheyes 프로그램에서 자동 트래킹 기능을 실행했을 때 두 개의 영상에서 거의 동일한 대상에서 트래킹 포인트가 추출될 것이라고 예상했지만, 실제로는 전혀 다른 대상에서 포인트가 추출되었고 오류도 많이 발생하였다.

screen captures in syntheyes - left / right - 20131015

screen captures in photoshop - 20131015

screen captures in after effects - 20131016

anaglyph test mov with 2 iphones - 002A - 20131016

anaglyph test mov with 2 iphones - 002B - 20131016

Red and cyan colors are in common use for anaglyph 3d images, and we can feel a 3 dimensional effect. But in this case, these colors generated something weird through different points from Syntheyes. If we can see both sides of a thaumatrope at once beyond the dimension, we can experience a quite similar feeling to this video.

And I think these kinds of differences with red and cyan colors can exceed the dimensional limits.

본래 애너글리프는 적청 안경을 통한 색상 차이로 입체감을 느낄 수 있도록 하는 것이지만, Syntheyes의 자동 트래킹 기능에서 발생한 미묘한 차이가 입체감을 넘어 또 다른 무언가를 생성하였다. 만약 차원을 넘어 더마트로프의 양쪽 면을 동시에 볼 수 있다면, 이런 느낌일 것이라고 생각한다.

그리고 다음 번에는 마지막 영상에서처럼 양쪽 눈에서 받아들이는 이미지에 차이를 두어, 기존 차원의 한계를 뛰어넘을 수 있는 가능성에 대해 연구를 진행해봐야겠다.

1008 - RCBW

From my another work in Game art class (link - game art blog), I thought about a border between virtual and real, computer and human. In my opinion, a future society will be constructed by this border through recontextual vision and color, because there are various color systems such as RGB, HSB, and CMYK.

I made a video below for demonstrating the thing among these color systems.

게임아트 수업 (link - game art blog)을 진행하면서 가상과 현실, 컴퓨터와 인간의 경계에 대해서 생각했었다. 나는 이 경계가 재구성된 시각과 색상의 표현 방식을 통해서 새로운 가능성이 나타날 것이라고 생각했는데, 인간이 인지할 수 있는 색상을 표현하기 위해 컴퓨터가 RGB, HSB, CMYK처럼 다양한 색상 표현 방식을 사용하고 있기 때문이다.

이 두 가지 방식 사이에 어떤 색상 표현 방식이 존재하고, 어떤 식으로 표현될 지 생각하면서 다음의 영상을 만들었다.

RCBW - anaglyph mov about vvvv depth and hierarchy - 20131007

screen capture in maya - 20131007

As I mentioned before, there is an invisible depth which human can't see in a flat screen, but cyan and red colors from an anaglyph method make that human can feel this depth.

Next time, I want to make 2 types of works. One is a virtual graphic which can be felt real such as anaglyph graphics, and the other is a real object which can be felt virtual. This can demonstrate the relationship (human wants to be computer, computer wants to be human) between human and computer of the present.

이전에 언급했듯이, 평면의 컴퓨터 스크린에는 인간의 눈에는 보이지 않는 깊이가 존재한다고 생각한다. 그리고 애너글리프 방식에 쓰이는 적청 색상은 인간이 인지할 수 없었던 깊이감을 보고 느낄 수 있도록 한다.

이후에 이러한 가상의 형태는 현실감을, 그리고 현실에 존재하는 형태는 마치 가상의 물체처럼 느껴질 수 있도록 발전하려고 한다. 이것은 인간은 컴퓨터를 닮아가는 반면, 컴퓨터는 점차 인간처럼 발전해가는 현대 사회의 모습을 나타낼 수 있을 것이다.

-----------------------------------------------------------------------------------------------------------

Also I did some experiments how to use cyan and red colors in different ways.

screen captures in maya - 20131008

1006 - 2 eyes and 2 colors ; visible and invisible

While I was developing my works, I noticed that there are both visible and invisible features.

These images demonstrate the process of developing 3D shapes. I think the top view is always interesting, because I can see a depth.

screen capture in maya - 20131007

texture as projection - screen capture in maya - 20131007

We can't feel the actual z depth from a common computer screen without additional equipment. But if we feel the z depth, it can get a interesting result.

screen capture in vvvv - 20131006

-----------------------------------------------------------------------------------------------------------

From the image above, I wanted to find some possibility for using anaglyph graphics in different ways.

screen capture in maya + editing in photoshop 1 - 20131006

screen capture in maya + editing in photoshop 2 - 20131006

1001 - paradox and chaos theory

컴퓨터는 인간을 모델로 제작되고 발전되어왔지만, 각각의 지향점은 완전히 반대 방향을 향하고 있다. 인간은 컴퓨터처럼 좀 더 완벽한 모습을 목표로 하고 있는 반면, 컴퓨터는 좀 더 인간을 닮기 위해 나아가고 있다.

서로 다른 두 지점에서 시작되어 다른 한 쪽을 목표로 나아가고 있지만 인간은 컴퓨터 그 자체가 될 수 없고, 컴퓨터 역시 인간 그 자체가 될 수 없다. 즉 서로의 영역으로 나아가려 하지만, 실제로는 인간과 컴퓨터 모두 동일한 특이점을 향해 나아가는 역설적인 모습을 보여주고 있는 것이다.

또한 이전의 작업에서 단순함과 복잡함의 관계에 대해 언급했듯이, 이들 사이에는 분명 대조적이지만 명확하게 구분할 수 없는 역설이 존재한다.

단순함과 복잡함, 인간과 컴퓨터, 그리고 보이는것과 보이지 않는 것의 관계는 확실한 경계를 확인할 수는 없지만 안과 밖을 다른 영역으로 구분할 수 있는 망델브로 집합, 즉 프랙탈이나 카오스 이론 (link - research blog) 내의 기타 다른 함수의 모습을 하고 있을 것이라 생각한다. 또한 이러한 주장의 또 다른 배경으로, 망델브로 집합의 정의가 수학적으로 아주 간단한 것에 비해 그 집합 자체가 놀라울 정도로 복잡한 것처럼(1), 인간의 눈으로 볼 수 있는 간단한 결과를 나타내기 위해 내부적으로 복잡한 프로그래밍 언어로 이루어진 명령을 처리하는 컴퓨터의 역할을 예로 들 수 있다.

결과적으로 이 모든 관계는 역설과 카오스 이론을 통해 대변할 수 있다.

+
Computer has been developed based on human, but each aim of human and computer is heading for the totally opposite direction. While human wants to be perfect as computer, computer has been developed to be like human.

They started separately and set their sights on each other's area, but human can't be computer and computer also can't be human. In other words, while human and computer are aiming for different destinations, in truth, they are going to the same singularity. This presents a paradox.

And as the previous works demonstrated the relationship between simplicity and complicity, they are contradistinctive but there is a bit of a paradox because they can't be distinguished clearly.

Simplicity and complexity, human and computer, the visible and the invisible. They can show themselves visually such as the mandelbrot set, or the other maps of chaos theory (link - research blog). Also the complexity of the Mandelbrot set is very remarkable, particularly in view of the fact that the definition of this set is, as mathematical definitions go, a strikingly simple one(1). This can explain that the computer processes many commands with a complex programming language for displaying a simple result, which is visible to human sight.

So, they are all based on the paradox and chaos theory.

-----------------------------------------------------------------------------------------------------------

1) <황제의 새마음> 로저 펜로즈, p.161
__<The Emperor's New Mind> by Roger Penrose, p.94

0930 - develop

I'm developing in several ways as below.

screen capture in maya - 20130926

screen capture in maya - 20130930

screen capture in maya - 20130930

-----------------------------------------------------------------------------------------------------------

Also these anaglyph screens can be used for another graphic process of my thesis.

screen capture in maya - 20130930

0918 - concept for lo + hi-res printings

I thought about making some objects with laser cutting and 3d printing which are based on lo-fi and hi-fi, because Prof. Dave suggested I make a object of the vvvv screen with the 2 ways already mentioned.

지난번에 데이빗 교수님께서 vvvv 화면으로 레이저 커팅이나 3D 프린팅 작품을 만드는 것도 좋을 것 같다고 조언해주셔서, 어떤 형태로 만들 것인지 생각해보았다.

-----------------------------------------------------------------------------------------------------------

When I projected vvvv screens with Prof. Dave this summer (link - media art blog), I felt that computer screens can have z depth because there are always hierarchies in all computing systems. Especially, hierarchies in vvvv patches can be placed into every single layer separately, and make depth systematic with connected lines. This structure is very similar to z depth screen from kinect, so this work will be developed with this kind of concept.

이번 여름에 데이빗 교수님의 도움을 받아 vvvv 화면을 투사했을 때 (link - media art blog), 컴퓨터 화면 그 자체에도 z depth가 존재하고 있다고 생각했다. 특히 vvvv와 같이 여러 개체들이 구조적으로 연결되어있는 화면에는 계층이 존재하기 때문에, 서로 다른 레이어에 위치한 계층이 선으로 연결되어 깊이감을 조성한다. 이러한 형태는 키넥트로 인식된 z depth 화면 구성과 매우 흡사하기 때문에 이와 연관시켜 작업을 진행하려고 한다.

projection video - visual complexity and electric signal - 20130613

installation photograph of projection - 20130613

-
Firstly I draw some images for modeling,
모델링을 하기 전에 어떤 식으로 만들 것인지 그려보았다.

note - 20130918

and made the vvvv screen which has hierarchy and depth using Maya.
It is not completed yet.

그리고 마야에서 계층에 따른 깊이감이 적용된 vvvv 화면을 만들었다.
아직 작업을 다 하지 않아서 완벽한 형태는 아니다.

original image - screen capture in vvvv - 20130912

hierarchy and depth of vvvv - 20130923

hierarchy, depth and connected lines - 20130923

This way which has z depth can demonstrate much more complex and detailed hierarchies at once, so it can make its structure more systematic and clear.

이런 식으로 vvvv 화면에 깊이감을 주었을 때, 기존에 우리가 평면적인 화면 상으로 볼 수 있는 것보다 더 복잡하고 많은 명령어를 한 번에 나타낼 수 있기 때문에 구조를 좀 더 짜임새 있고 명확하게 만들 수 있다고 생각한다.