I always tried to find how to show the relationship between the visible and the invisible, besides similarities between human and computer through some experiments about how human motions and electric signals can control complexity in real time graphics.

Human body has many organs and systems which can be controlled by electric signals such like a brain wave or a neuron signal. This is very similar to the structure of computer which is controlled by many electric signals from commands. We can see their motions but can’t see their signals. We can just suppose their existences.

If some invisible components around us, for example electromagnetic waves from electronics can be seen visually and they are controlled by other motions in real time, we can feel something between the real space and the surreal space. This imagination was the beginning of my thesis.

So I developed the works based on key concepts in introduction; motion, connection, simplicity and complexity, paradox, vision and dimension. In other words, the whole process is the final output for my thesis, and this will be something between the visible and the invisible.

I hope this work can give many inspirations, and will be developed by other people.

abstract - Korean ver.

인간의 뇌파와 몸속에 있는 신경은 뇌를 포함한 거의 모든 신체 부분과 연결되어 여러 움직임에 대한 전류 신호를 보내고, 이러한 특징은 전기 신호로 제어되는 컴퓨터의 구조와 상당히 흡사한 형태를 띤다.우리는 그 신호를 눈으로 직접 볼 수는 없지만, 눈으로 확인할 수 있는 움직임을 통해서 단지 그 존재만을 인식하게 된다. 이 때문에 우리 주변의 보이지 않는 수많은 전기 신호, 예를 들어 전자파와 같은 신호를 시각적으로 표현하고, 이것이 외부의 움직임에 의해 실시간으로 변화될 때 현실과 이상의 경계에 존재하는 또 다른 차원의 가능성을 느낄 수 있다고 생각한다.

더욱이 사람들은 항상 새로운 것을 원한다. 우리는 곧 사람들의 경험을 공유하는 것에 별다른 흥미를 느끼지 못하게 될 것이다. 따라서 이 작업은 인간과 비인간을 연결하고 경험을 공유할 수 있는 새로운 패러다임을 위한 시작점이 될 것이며, 보이는 것과 보이지 않는 것 사이에 존재하는 무언가를 보여주기 위한 새로운 방법을 제시하고 있다.

또한, 본 연구는 움직임, 연결, 역설, 차원의 경계를 바탕으로 진행되었으며, 특히 재맥락화(recontextualisation)와 애너글리프(anaglyph)를 중점적으로 다루고 있다.

결과적으로, 이 논문에 수록된 전반적인 작업을 통해 인간의 움직임과 전기 신호로 변화되는 실시간 그래픽 변화에 대한 여러 가지 실험을 통해 보이지 않는 것을 시각적으로 볼 수 있게 하여, 보이는 것과 보이지 않는 것에 대한 경계 및 인간과 컴퓨터의 관계에 대해 보여주고자 했다.


/ Last updated 2013-12-22 /

George Gamow. One Two Three . . . Infinity: Facts and Speculations of Science. Dover Publications, Inc., 1947.

Roger Penrose. The Emperor’s New Mind: Concerning Computers, Minds and
The Laws of Physics. Penguin Books, 1989.

Bruno Munari. Flight of Fancy. Maurizio Corraini s.r.l., 1992

John Maeda. Maeda @ Media. Thames & Hudson Ltd, 2000.

Jeffrey R. Weeks. The Shape of Space. Marcel Dekker, Inc., 2002.

John Maeda. The Laws of Simplicity. MIT Press, 2006.

Julie Steele, Noah Iliinsky. Beautiful Visualization. O’Reilly Media. 2010



1118 - recontextualization and electric signals - 002

1118_recontextualization_005.v4p - 20131118

1118_recontextualization_006.v4p - 20131118

1118 - thesis final presentation

This is a web page for the final presentation in this week.

In the presentation blog, there are red arrows at the bottom to move on to the next page, and you can use a mouse wheel to scroll horizontally.

thesis final presentation in Nov web - 20131118

1117 - ableton + EMI sound

I tried to find out which signals can create EMI sounds. An unnecessary noise of EMI from the AM radio was removed by Ableton Live program.

/ 전자파가 영향을 미치는 범위 및 신호음이 발생하는 조건을 알아보기 위해 실험을 했다. EMI를 AM 라디오를 통해 소리로 변환했을 때에 발생하는 불필요한 잡음은 ableton 프로그램을 사용하여 제거했다. /

1 / EMI from iPad

The AM radio reacted to interactions of iPad with touching, and made EMI sounds. But it didn't make any sounds while iPad was playing videos.

/ EMI가 아이패드의 어떠한 신호에 반응하는지 알아보기 위해 실험해보았다. 터치에 의한 인터랙션에는 반응했지만, 단순한 영상 변화 (ex. 동영상 재생 중일 때)에는 반응하지 않았다. /

EMI + iPad test - ableton + EMI sound - 001 - 20130610

2 / EMI from computer

In cases of experiments using a computer, the AM radio made sounds in most cases. It reacted to wi-fi signals and movements of a mouse as well as changes of graphics.

/ 컴퓨터의 경우, 인터넷의 데이터 전송 과정이나 마우스 포인터의 움직임, 모니터의 그래픽 변화 등 대부분의 상황에서 신호음이 발생하였다. /

ableton + EMI sound - 002 - 20131117

screen capture in ableton - reduceNoise - 20131117

1114 - recontextualization and electric signals - 001

I did some experiments using the 3d object from this video and metaballs node in vvvv.

/ 기존에 만들었던 영상에서 추출한 형태를 사용하여 vvvv의 metaballs 노드와 함께 몇 가지 실험을 해보았다. /

1 /

I blended 2 objects based on the same data in a single screen.

/ 동일한 데이터를 기반으로 하는 두가지 형태를 하나의 화면에 보일 수 있도록 겹쳐서 나타냈다. /

vvvv - recontextualization - 001 - 1114_recontextualization_001.v4p - 20131114

1114_recontextualization_001.v4p - 20131114

2 /

And I turned metaballs into lower resolution ones to add the backslash pattern into them. You can check grid sizes of metaballs are changing by fps values in the video below.

/ 그리고 이전에 사용했던 패턴을 적용하면서, 패턴이 더 잘 보일 수 있도록 metaball 폴리곤의 해상도를 낮추었다. 아래의 영상에서 metaball의 grid size가 fps 데이터에 영향을 받아 형태를 변화하는 것을 확인할 수 있다. /

1114_recontextualization_002.v4p - 20131114

1114_recontextualization_004.v4p - 20131115

vvvv - recontextualization - 004 - 1114_recontextualization_004.v4p - 20131115

_ grid size of metaballs ∝ fps

1112 - 3d obj test

I recreated an object, I used the last semester, using metaballs in vvvv. This process is to check my writer patch and make the object more systematic.

/ 기존에 만들었던 3d 형태를 좀 더 조직적으로 만들고 싶어서 vvvv의 metaballs 노드를 사용하여 형태를 재구성해보았다. /

env obj + metaballs - 1112_env_metaballs_001 - 20131112

load the converted obj file into maya - 20131112


I reduced its vertices, and compared it with the first object. The new one looks much more systematic then the first one, but still there is something lacking. It can be used sometime.

/ 형태를 단순화시키는 과정을 거쳐 기존의 형태와 비교해보았다. 나중에 좀 더 짜임새있는 형태가 필요할 때 사용할 수 있을 것 같다. /

env obj + metaballs - env001_1_metaballs_reduce.mb - 20131112

before and after

1112 - extract x file

The other day I couldn't extract 3d files from vvvv (link), so I tried again using a different way.

The way I used is as follows.

1. extract x files from vvvv
2. convert x files into obj files using another program
3. load them in maya

I think this way can be made an object which can be printed by a 3D printer.

/ 이전에 vvvv에서 3d file을 추출할 때에(link) 제대로 해보지 않고 포기한 것 같아서 이번에 다시 시도해보았다.

내가 이번에 사용한 방법은 다음과 같다.

1. vvvv에서 x file을 추출한다.
2. x file을 타 프로그램을 통해 obj 파일로 변환한다.
3. maya에서 불러들인다.

이 과정을 통해 3d print가 가능한 파일을 만들 수 있을 것이라고 생각한다. /

1 / extract x file

I composed my own writer patch to extract x files.

/ x file을 추출해내기 위해, 다음과 같이 x file writer 패치를 구성하였다. /

xfileWriter.v4p - 20131112

This patch is working well to extract x files from most of geometry meshes, but I couldn't extract any data from metaballs.

/ 하지만 몇몇 geometry mesh, 특히 metaballs 노드에서는 3D 형태에 대한 어떠한 정보도 추출되지 않았다. /

x file data from metaballs / sphere harmonic / sphere - 1112_xfileTest_001 - 20131112

I assumed some possible causes of this problem.

1. wrong x file writer patch
2. quite complex form
3. 3D object seems like real, but fake
4. occurred some errors in x file data

In case of number 1, it's not the cause because most of x meshes could be extracted by the x file writer patch except metaballs. And in case of number 2, sphere harmonic has a more complex form than metaballs. Also I thought metaballs are real 3D objects. Therefore I focused on the 4th possible cause.

/ metaballs 노드에서 파일이 제대로 추출되지 않는 원인을 다음 중 하나라고 가정해보았다.

1. x file writer 패치를 잘 못 구성해서
2. 형태가 너무 복잡해서
3. 3D처럼 보이지만 실제 3D가 아니기때문에
4. x file을 구성하는 정보에 오류가 생겼기때문에

metaballs를 제외한 대부분의 mesh에서는 x file이 정상적으로 추출됐기때문에 1번은 아닐 것 같고, 더 복잡한 형태의 sphere harmonic의 경우를 생각했을 때 2번도 아니라고 생각했다. 3번의 경우는 거의 불가능하다고 생각했기때문에 4번의 경우에 초점을 맞추고 진행해보았다. /


I modified the patch using mesh and vertexBuffer nodes. These nodes were used to split 3D data and organize them as x files.

/ mesh와 vertexBuffer 노드를 사용하여 3D 형태를 다시 구성한 뒤, x file로 추출할 수 있도록 패치를 수정하였다. /

x file data from metaballs - 1112_xfileTest_002 - 20131112

As a result, I could extract proper x files from metaballs.

/ 그 결과, 정상적으로 x file을 추출해낼 수 있었다. /

2 / convert x file

Next, I used 3D exploration program to convert x files into obj files.

/ x file을 obj 파일로 변환하기 위해 3D exploration이라는 프로그램을 사용했다. /

screen capture in 3D exploration - 20131112

3 / load into Maya

And finally, obj files of metaballs could be loaded in Maya. There are a few missing faces but I think it has quite good quality.

/ maya에서 변환된 obj 파일을 불러들였다. 약간 깨진 부분도 있지만 대체적으로 괜찮은 것 같다. /

load the converted obj file into maya - 20131112

1111 - develop

I added CPU value from my computer.

vvvv + kinect - 1110_metaballs_002.v4p - 20131111

vvvv + kinect - 1110_metaballs_002.v4p - 20131111

1107 - metaballs

From my another work which is about human motion as graphic and sound in Hongik media art class (link), I thought it would be better to use metaballs (link - research) for demonstrating the systematic and organic connection among different objects.

This way can be applied and helpful to developing this thesis work. Motions from human and environment in reality, and the other motions from computer signals can be linked by metaballs, and show their organic and systematic connections.

홍익대 미디어 아트 수업 (link)에서 사람의 움직임을 그래픽과 소리로 표현하는 작업을 하면서, 움직임을 지닌 개체 간의 연결을 좀 더 유기적으로 표현하기 위해 metaballs (link - research)를 사용하는 것이 좋을 것 같다는 생각이 들었다.

이 방법은 이 논문 작업에도 도움이 될 것이라 생각하는데, 실제로 존재하는 사람과 환경에서의 움직임, 그리고 컴퓨터 내에 존재하는 신호에 의한 움직임을 metaballs의 개념으로 연결하여, 유기적인 연결과 움직임을 보여줄 것이다.

hongik media art class work - n-dimensional motion + sound - 014

hongik media art class work - n-dimensional motion + sound - 016

1 / original patch

original vvvv patch - Metaballs (EX9.Geometry) help.v4p

2 / control metaballs

screen capture in vvvv - 1107_metaballs_001.v4p - 20131107

vvvv + kinect - 1107_metaballs_001.v4p - 20131107

움직임을 부드럽게 하기 위해서 delay와 deniro 노드를 사용해야겠다.

main / network / new post / posts / pages / template / customize / layout

Human and Computer ;
The Visible and The Invisible

Hayoun Lee

Prof. David Hall

논문 블로그 >

인간과 컴퓨터 ;
보이는 것과 보이지 않는 것


데이빗 홀 교수님