EN -----------------------------------------------------------------
Français ci-dessous

Reading a Wave

Standing before a work such as Émilie Brout and Maxime Marion's Dérives, spectators will perhaps experience a certain sensation of disorientation, of floating adrift. In the work, 2,000 images of water, excerpts from throughout the history of cinema, are edited by a machine into a single continuous sequence: an endless film. This film contains only one central character: the image of water. Excepting power failure, the film never ends, preferring instead a slow deceleration into moving images of ponds, of puddles, or a glass of water, before transforming into tears, mist, a light drizzle which eventually breaks out into a downpour, leading to thunderstorms, hurricanes, shark attacks, and tsunamis before calming back down into a light stream of images and then starting all over again. It is a constant ebb and flow, without end, that rises and falls like the tide; an endless film that is always the same — a film about water — and yet which can never be exactly the same: a fluid-film flowing straight out of the fragments of Heraclitus.

It is easy to be swept up into the pleasures of the spectacle in a work such as Dérives. Its form allows us to permanently oscillate between recognition and anticipation: a sort of name-that-sequence game wherein we try to identify each one of its famous and not-so-famous sequences, mixed in with a certain feeling of anticipation as we wonder what next image will carry the wave on its journey.

As for actually attempting to read this wave, i.e. to dive beneath its surface and to observe its construction from within its depths, the exercise is far more perilous. If we start with the 2,000 images, we quickly realise that this database is nothing more than a cloud of disparate points. Nowhere do we find this wave, this flow of water with its internal movement; instead we find nothing but a collection of drops. For, in reality, the work is far more than a simple collection wherein one need only to collect a series of images in order to capture the "image" of water in all its states. Indeed, there are 2,000 image sequences that together make up the work; but it is not enough to reunite 2,000 sequences alone in order to compose a work such as Dérives. Hence a drunken sense of disorientation before a flow of images that we appreciate on an intuitive level, without being able to fully identify its origin.

"Mr Palomar sees a wave rise in the distance, grow, approach, change form and colour, fold over itself, break, vanish, and flow again. At this point he could convince himself that he has concluded the operation he had set out to achieve, and he could go away. But it is very difficult to isolate one wave, separating it from the wave immediately following it, which seems to push it and at times overtakes it and sweeps it away…" –Italo Calvino, Mr Palomar

When spectators are informed that the film they are watching has been "generated" by a computer with a dedicated algorithm, their first reaction is often to ask if the result has been "programmed in advance". If one where to reply no, the algorithm varies the film endlessly, the spectator often concludes that the process is therefore "purely random". As if it is perfectly natural, even necessary, to oppose "programmed" (i.e. "predetermined") processes and "random" (i.e. "undetermined") processes. But just such an opposition would never work in the case of Dérives, whose operating principle is to create a sole and unique film, always coherent, while navigating within a fluctuating collection of images that never produces the exact same result. In other words, a purely "random" film would be nothing but incoherent juxtapositions of sequences that had nothing to do with each other, a cacophony without much artistic value. This is clearly not the case of Dérives, for whom the sinuous juxtapositions of images are not only logical, but also full of an undeniable poetic and emotional force. On the other hand, a film created by an entirely "predetermined" program, i.e. wherein the machine would have no room for autonomous action, would harken back to a classically linear film, more or less edited "by hand" with a sequence of images more or less determined by its creator in advance. This is clearly not the case either, given that this flow of images named Dérives will never be exactly the same sequence of images.

The difficulty comes from our inability to perceive the rich interaction of simple elementary particles (the images) and the process which reunites them into a common purpose (the image). If, perhaps inspired by Mr Palomar, the spectator attempts to analyse each algorithmic edit separately (sequence A > sequence B), he or she will miss the algorithmic ensemble which constructs the film over time. This larger sequence can only be observed as a whole, which ironically means in the role of a classical spectator of cinema allowing him or herself to be swept away by the image.

"While our senses respond to everything, our soul cannot pay attention to every particular. That is why our confused sensations are the result of a variety of perceptions. This variety is infinite. It is almost like the confused murmuring which is heard by those who approach the shore of a sea. It comes from the continual beatings of innumerable waves." – Gottfried Wilhelm Leibniz, Discourse on metaphysics, §33; Montgomery, George R. & Chandler, Albert R., translators.

In its natural form, as in the program conceived by Emilie and Maxime, a wave is composed of a multitude of different components, interacting on multiple levels and all at once. The global form emerges from the complexity of these individual interactions, hence the sensation of an intangible perception: the "confused murmuring" of which Leibniz speaks, and which cannot be perceived outside of an emotional affect, both intuitive and all encompassing.

For the author of an algorithm, it is often impossible to write the program in one single stroke, especially given that the complexity of its final output makes it all too difficult to orchestrate via some masterfully rationalised architecture. Nevertheless, a computer program must be executed within the constraints of the machine, which requires for its part both explicitness and rationality. There is no room for ambiguity in the machine, for whom such an ambiguity can only lead to a refusal of execution:

"error: call of overloaded 'function(type)' is ambiguous"

How then does one write just such an algorithm — at once subtle and evolving, i.e. generative — within a materially determined assemblage with its language of explicitly rational constraints?

The solution lies in the orchestration of individual interactions of each drop, but multiplied up to the scale of an ocean of possible droplets. This technique of using the singular, only propagated to fill a field of possibilities, is precisely one of the internal logics proper to computer programming. It is a method for treating a great number of data points individually, but all at once.

There is a table of values at the heart of Dérives which describes the possible interactions of all the images contained within the work. It is a list of keywords and values arranged in categories and which allow for the establishment of a general framework for the different narrative, logical and aesthetic possibilities for the images. It is a table of values cross-referenced with each and every image. In the category "divisions of water", for example, we find values such as "unitary mass", "numerous droplets", or "rain". Through such a description we can begin to see a certain distinction made between two complex ideas of "unity", along with the transition that might lead us from one to the other: ocean and rain are two opposing forms of water masses, opposed precisely in the manner in which they gather their internal elements. By explicitly describing this opposition and the transition between them, the machine can then deal with such subtleties much more easily. Each of the 2,000 images is described to the machine in this fashion, image by image. This category, "divisions of water", is more or less factual, as are descriptions of "weather" or of "light". They allow for the program to understand characteristics of the images that are more or less objectively perceivable by the spectator. But we also find other, more subjective categories, such as those of "hedonism", which describes images to the machine on an entirely different scale of measure. This category, along with descriptors of the level of "tension" within the image, allow Emilie and Maxime to reunite images in a far more subtle manner, on the level of sensations, all the while making them readable to the machine. From these descriptors they can then run a series of routines that string together images in sequences that progressively increase the "tension" until a certain level of "hedonism" is achieved. By multiplying these criteria and running them in parallel, the result is made far more complex without having to play off of one and only musical cord. It is a subtle dance of sine waves, flowing in and out of interactions between several simultaneous criteria which, individually, are linked together linearly but which collectively make possible a more complex form: a wave of images.

This central table of Dérives — these descriptors of the internal forces of the images — is a lot smaller than one might think: not more than about twenty categories. And within each category there are very few levels of variation: usually two or three, sometimes a little more, but never growing beyond a dozen. For it is not in multiplying the number of categories that such a table will somehow improve the "generative" qualities of a work. To the contrary, it is precisely the reduction of criteria to their strict minimum which gives Dérives its force as a work of art, allowing it to dance a fine line oscillating delicately between the chaos of a tsunami and the calm of a sleepy riverbed. Too many criteria would push the work to the edge of entropy: a chaos similar to a film edited by the roll of dice. And too few categories would force the film into an all-too-predictable form: a sort of mechanical loop of the same repeating themes. It is in this in-between state where we find the internal current of the algorithm, wherein the film is always at the edge of change while retaining coherence and a sense of logical progression. It is at once discernible, perceptible for the spectator and yet impossible to fully grasp, impossible to put put our finger on the exact nature of the image which would allow us to freeze the wave in one single frame.

As we let wash over us this dance of differing and deferring criteria, generated in an undulating movement of the program which is also that of the image, the spectator enters and exits the image as they please. Given that the program theoretically never stops, Dérives has no "duration" in the classical cinematic sense of the term, i.e. a time delimited by the physical beginning and end of the media device. Nevertheless — and this is the case with any film —, there is yet another "duration" which emerges from the image: the duration generated by the consciousness of the spectator. Just as in Bergson's description of sugar dissolving in a glass of water (here held by Mia Farrow or Emily Watson) and the time it takes to dissolve, each and every spectator drinks these images in their own manner, as if they were destined for us individually. Dérives is this particular scene: each and every spectator perceiving their own specific moment within the ebb and flow of an image generated here and now, before our very eyes, just for us, and yet which does not stop for us either. By following the movement of the algorithm we are perfectly capable of perceiving the logical transitions from one sequence to the next, and even of understanding the criteria which unite them; and yet incapable all the while of freezing the image as a whole and observe all its interactions in a rational unity. Our consciousness enters and exits this current while the ebb and flow of the image remains quite objectively within its own logic and its own temporal existence. A play, algorithmic in its nature, of the rising tides of images and of the image. The misty image of a wave, a vague, floating image, or, as one can only say in French, une image vague.

–Douglas Edric Stanley

FR -----------------------------------------------------------------

Lecture d'une vague

Face à une œuvre comme Dérives d'Émilie Brout et Maxime Marion, on aura le droit de se sentir un peu submergé. 2 000 séquences, tirées de toute l’histoire cinématographique, sont montées les unes après les autres par une machine qui en génère sans fin un film : un seul, un film infini. Ce film aura comme personnage principal l'image de l'eau. À part une éventuelle coupure de courant, le film ne s'arrête jamais, préférant plutôt ralentir — voire stagner —, avec des images d'étangs, de flaques ou de verres d'eau, avant de reprendre à travers des larmes ou de la bruine qui mèneront inévitablement à des averses suivies de tempêtes, d'attaques de requins et de tsunamis, pour se ralentir de nouveau dans un petit ruisseau d'images calmes avant de repartir encore pour un tour. C'est un flux permanent, incessant, qui monte, descend et remonte de nouveau ; un film sans fin qui est toujours le même — un film sur l'eau — qui ne pourrait jamais être le même : un film-fluide sorti tout droit des fragments d'Héraclite.

Il est facile d'être bon public devant une œuvre comme Dérives, puisqu'elle nous offre une sorte d'oscillation permanente entre un jeu de reconnaissance des extraits célèbres et un jeu d’anticipation pour la prochaine image qui poussera encore plus loin la vague. De ce point vue, on se laisse facilement emporter.

Plus difficile sera la tentative de lire cette vague, voire même de l'observer sous sa surface pour voir comment elle a été construite. En partant de la base de données de ces séquences, nous observons que, une fois rassemblée, cette base ressemble plutôt à un nuage de points disparates. Nous ne voyons nulle part la vague, ce flux d'eau avec son mouvement intérieur ; nous n'y voyons qu'une collection de gouttes. Car en réalité, il ne s'agit pas d'un simple jeu de collection où il suffirait de cataloguer un ensemble d'images pour saisir une « image » en mosaïque de l'eau dans tous ses états. Il y a bel et bien 2 000 séquences qui composent l'œuvre, mais il ne suffit pas de simplement réunir 2 000 séquences pour faire une œuvre comme Dérives. D'où un certain sentiment d'ivresse devant un flux d'images que nous ressentons parfaitement bien à un niveau intuitif, sans pour autant pouvoir saisir son origine.

« Monsieur Palomar voit une vague se lever au loin, grandir, s'approcher, changer de forme et de couleur, s'enrouler sur elle-même, se rompre, s'évanouir, refluer. Il pourrait dès lors être convaincu d'avoir mené à terme l'opération qu'il s'était proposée et s'en aller. Mais il est très difficile d'isoler une vague, de la séparer de la vague qui la suit immédiatement, qui semble la pousser, qui parfois la rejoint et l'emporte… » – Italo Calvino, Palomar.

Lorsqu'on informe le spectateur que le film qu'il regarde a été « généré » via un ordinateur par un algorithme dédié, sa première réaction est souvent de demander si le résultat est « déjà programmé d'avance ». Si on lui répond que non, l'algorithme fait varier le film en permanence, il conclut souvent « qu'il s'agit donc d'un processus aléatoire ». Comme si on devait à tout prix opposer des processus « programmés », c'est-à-dire prédéterminés, à des processus « aléatoires », c'est-à-dire indéterminés. Mais une telle opposition ne peut pas tenir dans le cas d'une œuvre comme Dérives dont le principe même est de proposer un seul film, toujours cohérent, mais qui navigue à l'intérieur d'une base fluctuante d'images qui ne produit jamais le même résultat. Autrement dit, un film purement « aléatoire » consisterait en un enchaînement absurde de plans qui n'ont rien à voir les uns avec les autres, une cacophonie sans intérêt sur le plan artistique. Cela n'est clairement pas le cas de Dérives pour laquelle l'enchaînement sinusoïdal est non seulement logique mais imprégné d'une force poétique et émotionnelle indéniable. En contrepartie, un film avec un algorithme « prédéterminé » — où le programme n'aurait plus d'action autonome —, reviendrait à faire un film linéaire classique, plus ou moins monté « à la main », avec un enchaînement déterminé à l’avance par son créateur. Ce ne peut pas être le cas non plus, puisque ce flux nommé Dérives ne consistera jamais exactement en la même séquence d'images.

Le problème vient de la difficulté à percevoir l'interaction riche entre les simples particules élémentaires (les images) et le tout qui les réunit dans une action commune (l'image). Si le spectateur tente, tel un Monsieur Palomar, d'analyser chaque montage algorithmique séparément (séquence A > séquence B), il finira par manquer la suite algorithmique qui travaille sur la longueur. Celle-ci ne peut être comprise qu'en regardant le tout, à savoir, ironiquement, comme un spectateur cinématographique classique qui se laisse emporter par l'image.

« Il n’est pas possible que notre âme puisse attendre à tout en particulier ; c’est pourquoi nos sentiments confus sont le résultat d’une variété de perceptions qui est tout à fait infinie. Et c’est à peu près comme le murmure confus qu’entendent ceux qui approchent du rivage de la mer vient de l’assemblage des répercussions des vagues innumérables. » — Gottfried Wilhelm Leibniz, Discours de métaphysique, §33.

Dans sa forme naturelle, autant que dans le programme d'Emilie et Maxime, une vague est composée d'une multitude de différents composants qui interagissent à plusieurs niveaux et tous en même temps. C'est de la complexité de ces interactions individuelles qu'émerge la forme globale, d'où le sentiment d'une perception intangible, ce « murmure confus » dont parle Leibniz, et qui ne se perçoit qu'au niveau d'une affectation émotionnelle, intuitive ou globale de l'image.

Pour l'auteur d'un algorithme, il est souvent impossible d'écrire un programme d'un seul trait car la complexité finale est trop difficile à orchestrer dans une architecture rationnelle et maîtrisée. Pourtant, un programme informatique doit exécuter ses enchaînements de manière logique et explicite, il n'y a pas de lieu — pour la machine — à une quelconque ambiguïté, sous risque d'un refus d'exécution :

                « error: call of overloaded ‘function(type)’ is ambiguous »

Comment écrire alors un algorithme subtil et évolutif, c'est-à-dire génératif, à l'intérieur d'un assemblage matériellement déterminé et avec un langage rationnel et explicite ?

La solution réside dans une orchestration des interactions individuelles des gouttes, mais multipliées à l'échelle d'un océan de toutes les gouttes possibles. Ce jeu du singulier que l'on propage pour remplir un champ de possibilités, rentre dans l’une des logiques propres à la programmation, à savoir la capacité à traiter un grand nombre de données individuellement, mais toutes ensemble.

Il existe un tableau de valeurs au cœur de Dérives qui décrit les interactions possibles de toutes les images de l'œuvre. Il s'agit d'une liste de mots clés et de valeurs rangés par catégories, ce qui permet d'établir la logique générale des différentes possibilités narratives, logiques et esthétiques des images. C'est un tableau de valeurs dans lequel chaque image est indexée. Dans la catégorie « division de l'eau », par exemple, nous trouvons des valeurs comme « masse unique », « nombreuses gouttes » ou « pluie ». Dans une telle description nous commençons déjà à apercevoir une distinction entre deux notions d'unité assez complexes et la transition entre les deux : l'océan et la pluie sont tous les deux des masses d'eau, mais à l'opposé dans la manière dont elles rassemblent leurs éléments. En décrivant explicitement cette opposition et la transition entre les deux, la machine arrive à gérer plus facilement de telles subtilités. Chacune des 2 000 images est décrite à la machine selon ce type de critères, image par image. La catégorisation « division de l'eau » est plutôt factuelle, tout comme celles qui décrivent le « temps » ou la « lumière » : elles permettent au programme de comprendre des caractéristiques de l'image qui sont plus ou moins objectives pour le spectateur. Mais nous y trouvons également d'autres catégories plus subjectives, comme les valeurs d'« hédonisme », par exemple, qui travaillent à une toute autre échelle de description des images. Ces catégories, comme celles qui décrivent le niveau de « tension » des images, permettent à Émilie et Maxime d'associer ces plans d'une manière beaucoup plus sensible, tout en les rendant lisibles à la machine. Ils peuvent ensuite lancer des routines qui enchaînent des images en montant progressivement le niveau de tension, puis en le relâchant de nouveau une fois un niveau d'« hédonisme » atteint. En multipliant ces routines et en traitant l'ensemble de ces critères en parallèle, on complexifie les résultats du montage sans avoir besoin de jouer sur une seule et même corde. C'est une danse sinusoïdale autour des interactions entre plusieurs critères qui, individuellement, s'enchaînent de manière parfaitement linéaire, mais qui collectivement font émerger une forme plus complexe : une vague d'images.

Ce tableau central de Dérives — ces descripteurs de forces internes des images —, est beaucoup plus court qu'on ne pense : pas plus d'une vingtaine de catégories. Et chaque catégorie contient elle-même très peu de possibilités de variation : parfois deux ou trois, parfois un peu plus, mais jamais plus d’une douzaine. Car ce n'est pas la multiplication des catégories dans un tableau de ce genre qui permet à une œuvre générative de mieux fonctionner ; ni sur le plan technique, ni sur le plan artistique. Au contraire, c'est la réduction de ces critères à son strict minimum qui donne à Dérives sa force et qui permet à l'œuvre de danser sur une corde fine qui oscille en permanence entre le désordre du tsunami et le calme du lit d'une rivière endormie. Trop de critères basculeraient le film du côté du pur hasard : un chaos semblable à un film monté en suivant le roulement d'un dé. Trop peu de critères rendraient le film trop prévisible : une sorte de boucle purement mécanique des mêmes thématiques. C'est dans cet entre-deux — où le film semble toujours sur le bord d'un changement, tout en restant cohérent et progressif d'une image à l'autre —, que réside ce courant interne de l'algorithme : sensible pour le spectateur sans que l'on puisse mettre le doigt sur le flux interne de l'image qui l'arrêterait.

Devant cette danse des différents critères, générée dans un mouvement sinusoïdal du programme qui est aussi celui de l'image, le spectateur peut rentrer et sortir à sa guise. Du fait que le programme ne s'arrête a priori pas, Dérives n'a pas de durée dans son sens cinématographique classique, c'est-à-dire un temps délimité par un début et une fin du support. Néanmoins, et comme dans n'importe quel film d'ailleurs, une autre durée finit par émerger de l'image : c'est la durée générée par la conscience du spectateur. Comme un verre d'eau sucrée bergsonien (ici tenu par Mia Farrow ou Emily Watson) qui prend son temps pour se mélanger, chacun boit ces images à sa manière comme une destinée qui nous serait propre. Dérives est cette scène particulière, chacun apercevant son propre moment devant le flux et le reflux d'une image générée, là, en temps réel devant nous et pour nous, mais qui ne s'arrête pas pour nous non plus. En suivant le mouvement de l'algorithme nous arrivons à parfaitement percevoir les transitions logiques d'une séquence à l’autre, à comprendre même ces critères qui les lient, sans pour autant pouvoir arrêter le tout et voir toutes les interactions dans une unité rationnelle. Notre conscience rentre et sort de ce flux alors que le flux et le reflux de cette image perdure très objectivement dans sa propre logique et dans sa propre temporalité. Une mise en scène, algorithmique cette fois-ci, de la montée en vague des images et de l'image. Une image vague.

–Douglas Edric Stanley

Dérives : www.eb-mm.net/fr/projects/derives