Birk Schmithüsen (Aquisgrán, 1986) es un joven artista internacional que se inspira en el uso de la tecnología para crear espectaculares instalaciones audiovisuales en las que utiliza la inteligencia artificial. Se ha formado en la Academia de Bellas Artes de Leipzig y ha realizado proyectos y exposiciones en Alemania, Polonia, España, Bruselas y Austria. Actualmente, reside en Gijón (España) gracias a la beca EMAP/EMARE (European Media Art Platform/European Media Artists in Residence Exchange) destinada a artistas interesados por emplear medios tecnológicos y digitales para sus creaciones.
Probeta Magazine ha participado en el WinterLAB, un encuentro cultural organizado por LABoral Centro de Arte y Creación Industrial en Gijón (España) y enmarcado en el proyecto “Laboratorio Europeo de Inteligencia ARTificial para la divulgación de la Inteligencia Artificial”. Durante el coloquio “¿Quién es autor de una obra hecha con Inteligencia Artificial?” presentado por Birk Schmithüsen y Antonio Bahamonde (profesor de Ciencias de la Computación e Inteligencia Artificial en la Universidad de Oviedo), aprovechamos para dialogar con el artista.
¿Cómo comenzó tu interés por la Inteligencia Artificial (IA) aplicada al arte?
Siempre estuve interesado en usar las herramientas electrónicas de una manera diferente a la prevista. Cuando era joven, coleccionaba instrumentos viejos para hacer mis propias luces parpadeantes de discoteca. Ahora estoy interesado en algoritmos y redes neuronales, pero sigue siendo la misma motivación: abrir cajas negras electrónicas o de software para investigar y hacer una reutilización estética. El arte es una excelente manera de cuestionar las tecnologías emergentes de formas inusuales.
El aprendizaje automático y la inteligencia artificial son medios artísticos nuevos, aunque el concepto ya se conoce desde los años 80. Desde hace aproximadamente 20 años, se dispone de hardware suficiente para utilizar el aprendizaje automático en la práctica y solo desde hace un par de años las herramientas de programación son lo suficientemente fáciles de manejar como para permitir que las personas programen aplicaciones creativas. Siempre es emocionante estar entre los primeros en investigar nuevas herramientas.
Otra razón para trabajar con IA es que esta tecnología está cambiando nuestro mundo y nuestro comportamiento diario muy rápido y las corporaciones globales impulsan mucho su desarrollo. Creo que es importante que tanta gente como sea posible de diferentes disciplinas formule su propio punto de vista sobre el tema. Esperemos que el arte pueda hacer preguntas que conduzcan a un uso humanista de la IA.
¿Pudiste aprender sobre arte tecnológico y digital en la Academia de Bellas Artes de Leipzig?
Aunque estudié arte en la universidad, en general soy autodidacta. Obtuve mi primera computadora y comencé a programar cuando tenía unos 12 años. Desde entonces, me fascinaron las nuevas tecnologías y la posibilidad de aprender de la comunidad de código abierto sobre cómo usarlas y piratearlas. La Academia me dio una formación adecuada en historia del arte y me ayudó a encontrar mi propio lenguaje artístico.
¿Te ha influido la experiencia en LABoral Centro de Arte y Creación Industrial a la hora de trabajar con arte y ciencia?
De los centros culturales en el marco EMAP / EMARE, LABoral parecía adaptarse mejor a mi práctica artística. Estoy trabajando con tecnologías emergentes y creo obras de arte audiovisuales. LABoral está especializado en ambos y tiene una buena facilitación para la producción en este campo. También me gusta España y el mar y, como efecto secundario, estoy mejorando mi español.
LABoral me presentó al Grupo de Aprendizaje Automático de la Universidad de Oviedo para apoyar mi trabajo con el conocimiento de expertos. Fue muy inspirador y la primera vez que trabajé con científicos que antes nunca habían trabajado en el campo de las artes. Espero que en el futuro tenga más colaboraciones constructivas como éstas.
Una de tus primeras instalaciones dedicadas a la inteligencia artificial se titula Klang · Netz (2017). Las intersecciones de luces LED son capaces de crear una melodía al recibir impulsos. ¿Las personas que pasan por debajo de la instalación son las que originan dichos impulsos?
Klang · Netz no es una instalación interactiva. Los impulsos son generados por una composición preestablecida que se reproduce en un bucle. Pero también construí una versión interactiva del trabajo que se llama Impulse. Esta instalación consiste en tubos metálicos conectados con la red desde una banda LED. Cuando la audiencia golpea un tubo, se genera un nuevo impulso.
En relación con Klang · Netz (2017), ¿crees que la inteligencia artificial que puede crear música al unir sonidos de instrumentos musicales es una nueva posibilidad para los músicos?
Con Klang · Netz creé una nueva técnica de cómo hacer una composición: la secuencia y la duración de los tonos está determinada por la estructura de las redes. Cada vez que la instalación se cuelga en otra exposición, su composición cambia. Pero el diseño de sonido de las notas proviene de una muestra estática. La unión de sonidos con herramientas como nsynth ofrece a los músicos una nueva forma de crear sonidos. Tenemos que distinguir entre sonido, composición y música.
En Speculative Artificial Intelligence / Exp. #1 (audiovisual association) (2018), los sonidos que emite la máquina se transforman en señales visuales. El patrón lumínico de la maraña de luces LED se ilumina de una forma u otra dependiendo de los sonidos recibidos. ¿La forma de iluminarse tiene que ver con la dirección de los sonidos?
En el primer experimento, cada LED está conectado a una neurona de la red neuronal. Cada LED representa el estado de la neurona por su brillo. Al entrenar la red con una asociación precompuesta entre los sonidos y las formas visuales, la red aprende qué sonidos deberían crear qué formas. Lo que me interesa es que la reacción de las redes a sonidos desconocidos es una imprevisibilidad predecible.
La máquina está entrenada para generar patrones de luz precompuestos de acuerdo con la interpretación de los sonidos recibidos. Las luces se iluminan en respuesta a la asociación aprendida y crean nuevos patrones de luz con un sonido desconocido. Es la generalización de un concepto aprendido.
En Speculative Artificial Intelligence / Exp. #2 (conversation) (2019), se pone en práctica la AI al máximo porque dos máquinas interactúan entre sí. ¿Cómo desarrollaste la idea?
Estoy interesado en los sistemas que crean su propio comportamiento dentro de un marco que puedo configurar. Con dos máquinas autónomas en comunicación, el sistema resultante es muy dinámico y crea resultados impredecibles. Uno de los desafíos era diseñar ambas máquinas autónomas de tal manera que el sistema no se volviera totalmente aleatorio, pero tampoco se atascara en un estado permanente. Para crear este comportamiento, tuve que enseñar a los sistemas los principios básicos de una conversación constructiva: empatía para entender los mensajes de los demás y un propósito para desarrollar la conversación en una dirección determinada.
El sistema de luz y sonido depende de la comunicación entre las dos máquinas de Inteligencia Artificial, así que no se puede predecir la reacción del patrón lumínico a los sonidos. Uno de los robots emite sonido y observa la respuesta visual de la segunda máquina, entretanto el otro escucha los sonidos y los interpreta en un patrón de luces variable.
¿En qué medida te han ayudado Felix Bonowski y Marcus Ding a realizar Speculative Artificial Intelligence?
Felix Bonowski desarrolló el sistema de calibración. Los 14.000 LEDs dentro de la obra se asignan en un espacio tridimensional, lo que permite que el objeto muestre formas y formas tridimensionales. Para crear esta pantalla volumétrica a partir de un montón caótico de LEDs, se debe conocer la posición de cada LED. Con el sistema de calibración de Felix, las estructuras caóticas se pueden analizar con una cámara web. Marcus Ding escribió el código para el objeto de sonido. Sabía lo que se necesitaba y él sabía la mejor manera de implementarlo. Fue un buen trabajo en equipo.
¿Qué utilidad tienen la capacidad de visión de las cámaras en Speculative Artificial Intelligence / Exp. #2 (conversation) (2019)?
La cámara ofrece una buena imagen del objeto de luz y la detección de características de la CNN (red neuronal convolucional) en el objeto de sonido funciona de manera muy precisa al detectar las palabras visuales enviadas por el objeto de luz.
¿Crees que tu arte puede servir también para ayudar a comprender el proceso neuronal biológico?
Los procesos biológicos en nuestro cerebro son diferentes de la forma en que funcionan las redes neuronales artificiales. Mi arte no es una visualización o representación de la forma en que funciona nuestro cerebro. Pero el principio general de que muchas unidades pequeñas que están interconectadas y juntas forman un sistema inteligente, se puede experimentar en mi trabajo, así como en las redes sociales, grupos de personas o nuestro cerebro, aunque los procesos concretos difieren mucho.
Utilizas la inteligencia artificial como experiencia estética. ¿Estás de acuerdo con que otros artistas utilicen la inteligencia artificial para crear obras de arte que imitan las artes plásticas, por ejemplo, imágenes que son resultado de la computarización armónica de miles de lienzos?
Creo que hay dos estrategias principales para usar la IA en la práctica artística. Ya sea como herramienta para crear variaciones infinitas de un estilo existente o como medios artísticos en sí. El modo de operación, así como el resultado entre ambas formas, difieren mucho. Cuando la IA se utiliza como herramienta de producción para crear nuevas obras a partir de un estilo existente, la tarea de los artistas se asemeja al trabajo de un comisario al seleccionar los resultados que le gustan. Cuando la IA se utiliza como medios artísticos, el artista debe crear sus propios conceptos y estética.
¿Consideras la posibilidad de que el arte elaborado con tecnología pueda desplazar a las artes plásticas en el futuro?
No creo que el arte de IA pueda desplazar el arte conceptual, porque no hay una IA (y espero que nunca la haya) que tenga su propia intuición, objetivos y sentimientos propios. Con las Bellas artes es diferente, porque el mercado del arte ha cambiado el enfoque de lo conceptual a la apariencia visual pura. La IA puede crear pinturas y objetos mucho más rápido y, por lo tanto, más diversificado que los humanos, y puedo imaginar que al menos en el mercado del arte, las Bellas Artes creadas por la IA podrían desplazar a los objetos humanos. Esperemos que este desarrollo cambie la evaluación de un trabajo de la percepción puramente visual a la evaluación de la intención con la que fue creado. Los artistas pueden hablar sobre sus intenciones, la IA no puede.
Edición y traducción: Sara Isabel García
Entrevista: Andrea García Casal (colaboradora de Probeta Mag, es graduada en Historia del Arte y se dedica a la investigación de la historia del arte y de la ciencia en publicaciones nacionales e internacionales y congresos).
Birk Schmithüsen (Aachen, 1986) is a young international artist who is inspired by the use of technology to create spectacular audiovisual installations in which he uses artificial intelligence. He studied at the Leipzig Academy of Fine Arts and has carried out projects and exhibitions in Germany, Poland, Spain, Brussels and Austria. He currently lives in Gijón (Spain) thanks to the EMAP / EMARE (European Media Art Platform / European Media Artists in Residence Exchange) scholarship for artists interested in using technological and digital media for their creations.
Probeta Magazine has participated in the WinterLAB, a cultural meeting organized by LABoral Center for Art and Industrial Creation in Gijón (Spain) and framed in the project «European Laboratory of Artificial Intelligence for the dissemination of Artificial Intelligence». During the conversation «Who is the author of a work made with Artificial Intelligence?», presented by Birk Schmithüsen and Antonio Bahamonde (Professor of Computer Science and Artificial Intelligence at the University of Oviedo), we took the opportunity to talk with the artist.
How did your interest in Artificial Intelligence (AI) applied to art begin?
I was always interested in using electronic tools in a different way than they were intended. When I was young, I collected old car instruments, to make my own blinking disco lights. Now I’m interested in algorithms and neural networks, but it is still the same motivation: to open electronic or software blackboxes for investigation and aesthetic reuse. Art is a great way to question emerging technologies in unusual ways.
Machine Learning and AI are a pretty new tool and artistic media, although the concept is already known since the Eighties. Since about 20 years sufficient hardware to use machine learning in practice is available and just since a couple of years the programming tools are easy enough to handle to enable individuals to program creative applications. I like to explore this field without having much of a reference in history. It is always exciting to be among the first to investigate new tools.
Another reason to work with AI is that this technology is changing our world and our day to day behavior very fast and a lot of development is pushed by global corporations. I think it is important that as much people as possible from different disciplines formulate their own point of view on the topic. Hopefully art can ask questions that lead to a humanistic usage of AI.
Did you start your learning on technological and digital art at the Leipzig Academy of Fine Arts?
Although I studied art at university, I am mostly self-taught. I got my first computer and started programming when I was about 12 years old. Since then I was fascinated by new technologies and the possibility to learn from the open source community how to use and hack them. The Academy gave me a proper background in art history and helped me in finding my own artistic language.
Has the experience at LABoral Center for Art and Industrial Creation influenced you when working with art and science?
From the institutes of choice within the EMAP / EMARE framework, LABoral seemed to fit best my artistic practice. I am working with emerging technologies and create audiovisual artworks. LABoral is specialized in both and has good facilitation for production in this field. I also like Spain and the sea and as a side effect I could improve my Spanish a little bit.
LABoral introduced me to the Machine Learning Group of the University of Oviedo to support my work with knowledge from experts. That was inspiring and helpful and for me it was the first time I have worked with scientists, who have never worked in the field of arts before. I hope that in the future I will have further constructive collaborations like these.
One of your first installations dedicated to artificial intelligence is titled “Klang · Netz” (2017). The intersections of LED lights are capable of creating a melody when receiving impulses. Are the people passing under the installation the ones inducing these impulses?
“Klang · Netz” is not an interactive installation. The impulses are generated by a pre-arranged composition that plays back in a loop. But I also built an interactive version of the work that is called “Impulse”. This installation consists of metal tubes hanging from the sealing, connected with the network from LED stripe. When the audience bangs a tube, a new impulse is generated.
In relation to “Klang · Netz” (2017), do you think that the artificial intelligence that can create music by joining sounds of musical instruments is a new possibility for musicians?
With “Klang · Netz” I created a new technic of how to make a composition. The sequence and duration of tones is determined by the nets structure. Each time the installation is hung in another exhibition, its composition changes. But the sound design of the notes comes from a static sampler. The joining of sounds with tools like Nsynth gives musicians a new way to create sounds. We have to distinguish between sound, composition and music.
In “Speculative Artificial Intelligence / Exp. # 1 (audiovisual association)” (2018), the sounds emitted by the machine are transformed into visual signals. The luminous pattern of the tangle of LED lights illuminates in one way or another depending on the sounds received. Are the light waves connected with the direction of sounds?
In the first experiment each LED is connected to one neuron of the neural network. Each LED represents the neuron’s state by its brightness. By training the network with pre-composed association between sounds and visual shapes, the network learns which sounds should create which shapes. The networks reaction to unknown sounds is the predictable unpredictability.
How did you develop the idea of “Speculative Artificial Intelligence / Exp. # 2 (conversation)” (2019) where two machines interact with each other?
I am generally interested in systems that create their own behavior within a framework that I can shape. With two autonomous machines in communication, the resulting system is very dynamic and creates unpredictable results. One challenge was to design both autonomous machines in such a way, that the system does not get totally random on the one hand but also not stuck in a permanent state on the other hand. To create this behavior, I had to teach the systems the basic principles of a constructive conversation. Empathy by understanding the messages from others. Purpose by developing the conversation in a certain direction.
The machine is trained to generate precomposed light patterns according to the interpretation of the received sounds. The lights enlighten in response to the learned association, but create new light patterns to unknown sound. That Is what is called the generalization of a learned concept.
To what extent have Felix Bonowski and Marcus Ding helped you to perform Speculative Artificial Intelligence?
Felix Bonowski developed the calibration system for the light object. The 14.000 LEDs within the object are mapped in three-dimensional space, enabling the object to display three dimensional forms and shapes. To create this volumetric display from a chaotic heap of LEDs, the position of each LED has to be known. With Felix’ calibration system chaotic structures can be analyzed with a webcam.
Marcus Ding wrote the code for the sound object. I knew what was needed and he knew the best way to implement it. It was a nice teamwork.
How useful are the cameras’ vision capability in “Speculative Artificial Intelligence / Exp. # 2 (conversation)” (2019)?
The camera gives a good picture of the light object and the feature detection of the CNN (convolutional neural network) in the sound object is working very precise in detecting the visual words sent by the light object.
Do you think your art can also help to understand the biological neuronal process?
The biological processes in our brain are different from the way artificial neural networks work. My art is not a visualization or representation of the way our brain works. But the overall principle of many small units that are interconnected and together make up an intelligent system can be experienced in my work as well as in social networks, groups of people or our brain, although the concrete processes differ a lot.
You use artificial intelligence as an aesthetic experience. Do you agree that other artists use artificial intelligence to create works of art that mimic the plastic arts, for example, images that are the result of the harmonious computerization of thousands of canvases?
I think there are two main strategies how to use AI in artistic practice, either as a tool to create endless variations from an existing style, or as artistic media itself. The mode of operation as well as the result between both ways differs a lot. When AI is used as a production tool to create new works from an existing style, the artist´s task resembles the work of a curator by selecting the outcomes he or she likes. When AI is used as artistic media, the artist must create his or her own concepts and aesthetics.
Do you consider the possibility that art made with technology can displace plastic arts in the future?
I do not think that AI art can ever displace conceptual art because there is no strong AI (and hopefully there will never be) that has its own intuition, aims and feelings. With Fine Arts it is different, because the art market has shifted the focus from concepts to pure visual appearance. AI can create paintings and objects much faster and thus more diversified than humans and though I can imagine that at least in the art market world Fine arts created by AI might displace human objects. Let’s hope that this development shifts the evaluation of a work from purely visual perception to the evaluation of the intention with which it was created. Artists can talk about their intentions, AI cannot.
Edition and translation by Sara Isabel García
Interview by Andrea García-Casal (collaborator of Probeta Mag, degree in Art History and researcher of art history and science in national and international publications and congresses)
Cover image: Birk Schmithüsen and Speculative Artificial Intelligence / Exp. #2 (conversation) (2018)