AI로 시작하는 인터랙션 디자인

인터랙션 디자인과 미디어 아트 분야에서 창의성은 기본이지만, 복잡한 물리 엔진, 컴퓨터 그래픽, 그리고 하드웨어 개발까지 요구되는 기술의 복잡성은 많은 아티스트와 디자이너에게 큰 장벽이 되죠.

이러한 고급 개발 기술은 종종 프로젝트의 중도 포기로 이어져요.

'사용자 중심의 설계'라는 공통의 접점

미디어 아트와 인터랙션 디자인이 서로 다른 분야이긴 하지만, 다음과 같은 중요한 공통점을 공유해요.

• 사용자 참여의 중요성: 사용자 또는 관람객의 참여를 유도하여 보다 풍부한 경험을 제공
• 경험 설계: 두 분야 모두 사용자 경험의 설계에 중점
• 피드백과 반응: 사용자로부터의 피드백은 작품 및 제품 개선에 있어 필수적

AI와의 협업으로 새로운 가능성

최근, AI와의 협업 가능성을 탐구하면서, 미디어 아트와 인터랙션 디자인 분야에서의 기술적 장벽을 극복할 수 있는 새로운 방법을 테스트했어요.

콘텐츠 제작을 위한 도구와 프레임워크 소개

일반적으로 아래와 같은 3D, 2D 그래픽과 물리엔진을 지원하는 도구나 프레임워크를 사용해요.

• processing(Java, Python, JavaScript)
• Openframeworks(C++)
• vvvv(.NET Framework, C#)
• Max(C, C++)
• Pure Data(C)

이 중 ChatGPT가 설명하기 어려운 Node기반 도구나 프레임워크를 제외하고, 그나마 가장 웹 접근성이 좋은 P5.js(Processing의 JavaScript 버전)로 테스트해 봤어요.

ChatGPT와 단순한 상황 설명을 하는 대화방식만으로 인터랙티브 그래픽을 생성하는 실험을 진행했는데 작업이 가능했어요.

Drop balls

• 제작 시간: 약 30분

직접 테스트 해볼 수 있어요. (메일에서는 안보일 수 있어요.)

Fireworks

• 제작 시간: 약 5분 미만

직접 테스트 해볼 수 있어요. (메일에서는 안보일 수 있어요.)

협업 과정에서 노출된 문제점

AI와의 협업은 새롭지만, 현재까지 진행한 경험으로 노출된 문제점 역시 존재해요.

• 코드가 길어지면서 요구한 내용을 합치는 과정에서 일부 누락
• 미디어 라이브러리 사용 시 발생하는 오류
• 라이브러리 버전의 불일치
• 논리적, 수학적 사고력이 부족 시 프롬프트에서 많은 시간 소요
• 한꺼번에 많은 기능 요구를 하면 꼬임 현상

마치면서

미디어 아트나 인터랙션 디자인 분야에서 AI와의 협업은 개인적으로 두 가지로 활용이 될 수 있을 것 같아요.

• 취미 프로젝트
• (웹, XR 등)제품의 시각적 요소로 활용될 잠재력

"100 Days Challenge"를 통해 기록하며, AI를 미디어 아트와 인터랙션 디자인에 어떻게 적용할 수 있을지 계속 탐구할 예정이에요.