Installation
Ableton Live, Max for Live, openAI-Chatbot, deep-muse
2022.09.24
絵画から生成された音楽は、絵画鑑賞において新たなる没入空間を作り出し、これまでの絵画鑑賞の体験を拡張し、感動拡張を促してくれる。

これは、AIと人間によって生成された音楽による絵画の鑑賞体験拡張作品である。

本作品では、「絵画鑑賞は、時間軸に縛られることのない自己との対話であり、鑑賞をする際は必ず言語によって思考されている。」という考えに基づき、人間とAIの絵画鑑賞の感想を対話型鑑賞のプロセスをもとにテキスト化し、そのテキストをもとにAIを用いて音楽を生成した。

生成された音楽は、絵画を反映した音楽であり、また人間とAIのそれぞれの絵画鑑賞を反映した音楽でもある。

この作品は、私はたちに絵画鑑賞体験におけるこれまでにない没入空間を提案すると同時に、AIを芸術の創造主としてではなく鑑賞者として捉え、人間とAIを比較することによって、古来より人間のみが持つ力だとされてきた「芸術」は果たして本当に人間だけのものなのか、「芸術」における人間とAIの違いはどこにあるのだろうか、という問いを投げかける。


The music generated from the paintings creates a new immersive space in the appreciating of paintings, encouraging an unprecedented experience of appreciating paintings and emotional expansion.

This work is based on the idea that “appreciating a painting is a dialogue with oneself that is not bound by a time axis, and that one is always thinking through language when appreciating a painting."
Therefore, we created a text of human and AI's impressions of a painting based on the process of Dialogical Appreciation, and used AI to generate music based on the text.

The generated music is a reflection of the paintings, as well as a reflection of the respective appreciation of the paintings by the human and AI.

This work proposes an unprecedented immersive space for the experience of appreciating paintings. At the same time, it compares humans and AI, viewing AI not as artists, but as viewers.

Is "art," which has been considered since ancient times to be a power that only humans possess, really unique to humans?
What is the difference between humans and AI in "art"?
Credits :
Director, Sound Programming, Machine Learning / Sogen Handa
Supervisor / Nao Tokui
Thanks / Keio University SFC Computational Creativity Lab (Nao Tokui Lab)

Note :
本作品は、絵画鑑賞の過程で生成される人間およびAIの言語的応答をテキストデータとして取得し、その内容を入力としたAIによる音楽生成を行っている。
生成された音楽は事前に用意された楽曲ではなく、鑑賞行為そのものが音楽的結果に反映される構造となっている。