AetherComms

Studienprojekt-Dokumentation
Ein Projekt von Aron Petau und Joel Tenenberg.

Zusammenfassung

Angesiedelt im Jahr 2504, erforscht diese Fiktion die Kausalitäten eines globalen Infrastrukturkollapses aus der Perspektive verschiedener Charaktere. Die Erzählung entfaltet sich durch eine Reihe von Logbuch-Einträgen, die ihre persönlichen Reisen, Anpassungen und Reflexionen über eine Welt dokumentieren, die von technologischer Abhängigkeit zu einem neuen Existenzparadigma übergeht. Das AetherArchiv, eine KI, die über das Peer-to-Peer-Netzwerk AetherComms zugänglich ist, dient als bewusstes Archiv dieser Zukunft, das Einblicke gewährt und die Geschichten dieser Charaktere bewahrt. Disaster Fiction ist ein Genre, das einen Zusammenbruch imaginiert, der unsere soziale Abhängigkeit von Netzwerken und die Fragilität von Infrastruktur hervorhebt. Es bringt ans Licht, was normalerweise im Hintergrund verborgen bleibt, indem es sichtbar wird, wenn es versagt.

Dies ist die Dokumentation unseres einjährigen Studienprojekts an der Universität der Künste und der Technischen Universität Berlin. Wir erforschen die inhärenten Machtstrukturen in der Funktechnologie, das Internet als Netzwerk der Netzwerke und die Auswirkungen eines globalen Zusammenbruchs der Netzwerkinfrastruktur. Wir dokumentieren unseren künstlerischen Forschungsprozess, die verwendeten Werkzeuge, einige Zwischenschritte und die Abschlussausstellung.

Prozess

Wir trafen uns das gesamte Jahr über 2 bis 3 Mal wöchentlich. Hier ist ein kurzer Überblick über unseren Prozess und unsere Erkenntnisse.

Semester 1

Forschungsfragen

Hier untersuchten wir bereits die Machtstrukturen, die der Funktechnologie innewohnen. Früh führte uns die Frage der Hegemonie, die in der anfänglichen Forschung präsent war, dazu, subversive Strategien im Radio zu betrachten, wie Piratensender und dessen historische Nutzung als dezentrales Kommunikationsnetzwerk. Radio ist tief mit militärischen und staatlichen Machtstrukturen verbunden, Beispiele sind der nazideutsche Volksempfänger oder das US-amerikanische Radio Liberty Projekt, und wir erforschten das Potenzial von Radio als Werkzeug für Widerstand und Subversion. Ein solches Beispiel ist Sealand, eine Mikronation, die Radio nutzte, um nach Großbritannien zu senden und dabei eine schmale Linie zwischen legaler und illegaler Übertragung beschritt. Wir setzten die Forschung fort und blickten über unidirektionale Kommunikation hinaus in die Bereiche des Amateurfunks. Ein Interessensgebiet war LoRaWAN, eine Langstrecken-Niedrigenergie-Drahtlos-Kommunikationstechnologie, die sich gut für IoT-Anwendungen und Pager-ähnliche Kommunikation eignet. Im Vergleich zu lizenziertem Funk und CB-Funk kommt LoRaWAN mit einer niedrigen Einstiegshürde und hat interessante Infrastruktureigenschaften, die wir erforschen und mit der Struktur des Internets vergleichen wollten.

Kuratorischer Text für das erste Semester

Der einleitende Text, der im ersten Semester für aethercomms v1.0 verwendet wurde:

Radio als subversive Übung.
Radio ist eine vorschreibende Technologie.
Du kannst nicht daran teilnehmen oder es hören, ohne einigen grundlegenden physikalischen Prinzipien zu folgen.
Doch Funkingenieure sind nicht die einzigen Menschen, die bestimmte Nutzungen der Technologie vorschreiben.
Es ist eingebettet in einen historisch-sozialen Kontext klarer Prototypen von Sender und Empfänger.
Radio hat viele Facetten und Kommunikationsprotokolle, hält sich aber dennoch oft an die Dichotomie oder Dualität von Sender und Empfänger, Aussage und Bestätigung.
Das Radio sagt dir, was du tun sollst und wie du damit interagieren sollst.
Radio hat immer einen identifizierbaren dominanten und untergeordneten Teil.
Gibt es Instanzen der Rebellion gegen dieses Schema?
Orte, Modi und Instanzen, wo Radio anarchisch ist?
Dieses Projekt zielt darauf ab, die widerspenstige Nutzung von Infrastruktur zu untersuchen.
Seine Frequenzen.
Es ist überall um uns herum.
Wer will uns aufhalten?

Die Abstandssensoren

Der Abstandssensor als kontaktloses und intuitives Kontrollelement:

Semester 1

Research Questions

Here, we already examined the power structures inherent in radio broadcasting technology. Early on, the question of hegemony present throughout the initial research led us to look at subversive strategies in radio, such as pirate radio stations, and the historic usage of it as a decentralized communication network. Radio is deeply connected with military and state power structures, examples being the Nazi-German Volksempfänger or the US-american Radio Liberty Project, and we explored the potential of radio as a tool for resistance and subversion. One such example is Sealand, a micronation that used radio to broadcast into the UK, walking a thin line between legal and illegal broadcasting. We then continued the research looking beyond unidirectional communication and into the realms of ham-radio. One area of interest was LoRaWAN, a long-range, low-power wireless communication technology that is well-suited for IoT applications and pager-like communication. Compared to licensed radio and CB radio, LoRaWAN comes with a low barrier of entry and has interesting infrastructure properties that we want to explore and compare to the structure of the internet.

Curatorial text for the first semester

The introductory text used in the first semester on aethercomms v1.0:

Radio as a Subversive Exercise.
Radio is a prescriptive technology.
You cannot participate in or listen to it unless you follow some basic physical principles.
Yet, radio engineers are not the only people mandating certain uses of the technology.
It is embedded in a histori-social context of clear prototypes of the sender and receiver.
Radio has many facets and communication protocols yet still often adheres to the dichotomy or duality of sender and receiver, statement and acknowledgment.
The radio tells you what to do, and how to interact with it.
Radio has an always identifiable dominant and subordinate part.
Are there instances of rebellion against this schema?
Places, modes, and instances where radio is anarchic?
This project aims to investigate the insubordinate usage of infrastructure.
Its frequencies.
It's all around us.
Who is to stop us?

The Distance Sensors

The distance sensor as a contactless and intuitive control element:

Mit ein paar Raspberry Pi Picos und dem HCSR-04 Ultraschall-Abstandssensor kreierten wir ein kontaktloses Kontrollelement. Der Sensor misst den Abstand zur Hand und sendet die Daten an den Pico. Der Pico sendet die Daten dann via OSC an den Computer, wo sie innerhalb von Touchdesigner verarbeitet und zur Steuerung mehrerer visueller Parameter verwendet werden. In der neuesten Iteration wurde ein Telnet-Protokoll etabliert, um den SDR-Empfänger durch den Abstandssensor fernzusteuern. Faktisch konnte einer der Sensoren verwendet werden, um durch das Funkspektrum zu scrubben und Frequenzräume haptischer und greifbarer zu machen.

Die Picos laufen auf Cirquitpython, einer besonders kleinen Version von Python, die spezialisiert ist, um gut mit allen Arten von Hardware zu funktionieren. In diesem Fall unterstützte es die allgegenwärtigen und günstigen Ultraschallsensoren recht gut. Sie haben jedoch Schwierigkeiten mit jeder Distanz größer als 1 Meter, was bedeutet, dass Hand-Tracking eine offensichtliche Wahl war. Die Ultraschallwellen werden in Kegelform ausgestrahlt, sodass das Objekt in der Entfernung recht groß sein muss, um erfasst zu werden. Mit diesen Arten von Hardware-Einschränkungen entschieden wir uns, in einer späteren Iteration zum Point-Tracking-Feature der Azure Kinect zu wechseln.

Zwischenausstellung

Dieses Projekt ist ein Versuch, die Kluft zwischen der allgegenwärtigen und unsichtbaren Natur von Radiowellen und ihrer oft übersehenen Bedeutung in unserem Leben zu überbrücken. Das Projekt dreht sich um eine berührungslose, Theremin-ähnliche Kontrolleinheit, die Teilnehmerinnen einlädt, sich mit dem unsichtbaren Netzwerk von Frequenzen zu beschäftigen, das den Raum um uns herum durchdringt. Durch die Manipulation dieser Frequenzen werden Teilnehmerinnen zu aktiven Mitwirkenden an einer auditiven Visualisierung, die das dynamische Zusammenspiel der Kommunikation im umgebenden Raum widerspiegelt. Unsere Forschung wurzelt in der Dichotomie der Radiokommunikation – ein Medium, das sowohl offen als auch geschlossen, einladend und schwer fassbar ist. Radiowellen dienen als Informationsträger und schaffen einen geteilten öffentlichen Raum für Kommunikation, bleiben aber für bestimmte Anwendungen verschlüsselt und eingeschränkt in ihrer Nutzung. Das Projekt hebt dieses Paradoxon hervor und fokussiert auf die Kontemplation über die Zugänglichkeit und Hegemonie, die durch Radiokommunikation verkörpert wird.

Die Zwischenausstellung 2023

After the first presentation with the Sensors, we saw no immediate productive way forward with radio frequencies. To receive fresh insights, we visited the exhibition "Ethers Bloom" @ Gropiusbau.

Ethers Bloom

One of the exhibits there was by the artist Mimi Ọnụọha (Ọnụọha, 2021), displaying network cables as the central material in traditional religious and spiritual practices.

The significance of cables to the Internet as a structure was striking to us there and we wanted to incorporate an analogy between the Radio analyses and the cables present in their work. In the end, antennas are also just the end of a long cable. Sie teilen viele physikalische Eigenschaften und können auf ähnliche Weise analysiert werden.

Ein weiteres ihrer Werke, "The Cloth in the Cable" (Ọnụọha, 2022), zeigte traditionelle Webtechniken mit Netzwerkkabeln. Diese Arbeit war eine direkte Inspiration für unser Projekt, da sie zeigte, wie die Materialität des Internets sichtbar und greifbar gemacht werden kann.

Von dort und aus verschiedenen Feedback-Sitzungen beschlossen wir, unseren Fokus von Radiofrequenzen auf die physische Infrastruktur des Internets zu verlagern. Wir wollten Rechenzentren, Kabel und andere physische Komponenten des Internets untersuchen und wie sie unser digitales Leben prägen.

Semester 2

Es fiel uns besonders auf, wie die Vorstellungen rund um das Internet und die physische Materialität oft divergent und unverbunden sind. Joel entwickelte die Dichotomie von "Körper und Seele" des Internets, wobei der Körper die physische Infrastruktur ist und die Seele das immaterielle und imaginäre Netzwerk der Netzwerke. Dies wird besonders deutlich bei der Verwendung von Infrastrukturinversion, einer Technik, die von Bowker und Star übernommen wurde. Gefunden durch die Forschung von Francis Hunger und Lisa Parks. Für uns bedeutete dies, sich die Zukunftsvorstellungen des Internets und seines Zusammenbruchs anzuschauen. Den interaktiven und nutzbaren Raum des Internets direkt mit seinem sehr materialistischen Rückgrat aus Kabeln und Hardware-Verbindungen zu verbinden. Es war wirklich faszinierend, wie ein und dieselbe Nachrichtenquelle völlig unterschiedliche Meinungen darüber haben konnte, wie stabil und sicher die Metastruktur des Internets war. Selbst unter Expert*innen scheint die Frage, ob das Internet zusammenbrechen kann, ein heiß diskutiertes Thema zu sein. Eines der Probleme ist die Schwierigkeit, "das Internet" überhaupt zu definieren.

Was bleibt in Abwesenheit des Netzwerks der Netzwerke, des Internets, übrig? Was sind die materiellen und immateriellen Komponenten eines Metanetzwerks? Welche inhärenten Machtverhältnisse können durch narrative und invertierende Techniken sichtbar gemacht werden? Wie erzwingen Machtverhältnisse Abhängigkeit durch den materiellen und immateriellen Körper von Netzwerken?

Methoden

Wir wendeten eine Vielzahl von Methoden an, um die Fragen zu erforschen, die wir im ersten Semester gestellt hatten. Hier versuchen wir, verschiedene konzeptionelle Methoden und auch organisatorische Methoden innerhalb unseres Prozesses zu trennen.

Narrative Techniken / Spekulatives Design

Durch mehrere Brainstorming-Sitzungen und zu einem großen Teil angeregt durch die literarischen und theatralischen Loop-Sessions entdeckten wir Science Fiction, Climate Fiction und Disaster Fiction als mächtiges künstlerisches Werkzeug mit explorativem Potenzial für unsere Forschung. Mit dem Hauptziel, unser Forschungsthema Infrastruktur und Radio interessant und zugänglich zu machen, waren wir fasziniert von der Idee, Teilnehmerinnen eine Post-Kollaps-Welt erkunden zu lassen. Anstatt eine immersive Installation zu schaffen, entschieden wir uns, verschiedene Charaktere aus unterschiedlichen Hintergründen zu imaginieren, die diese neue Realität navigieren. Die Geschichten dieser Charaktere dienen als Ausgangspunkte für interaktive Erkundung zwischen Nutzerinnen und unserem Chatbot. Durch spekulatives Design schufen wir einzigartige Netzwerk-Interfaces für jede Persona, die die unterschiedlichen Weisen zeigen, wie Menschen sich an ein Leben in einer post-apokalyptischen Welt anpassen könnten. Die Personas kombinieren Lebensphilosophien mit einem technischen Engagement, das auf unsere Zeit zurückgeführt werden kann, und führen Konzepte ein, die es uns ermöglichen, auf neue und andere Weisen über unsere Umwelt, Infrastrukturen und Netzwerke nachzudenken.

Wir stellten uns Kommunikation in dieser Post-Kollaps-Welt vor, die stark auf Radio basiert. Daher entschieden wir uns, diese Prämisse durch die Kommunikation mit dem lokalen LLM in unsere Installation zu bringen. Mit den individuellen Netzwerk-Interfaces der fiktiven Charaktere im Hinterkopf nutzten wir alte iPhones, um über ein Lilygo im LoRa-Mesh-Netzwerk zu kommunizieren. Wir stellten uns vor, wie Menschen bestehende Geräte in einer Zukunft mit Ressourcenknappheit modden und wiederverwenden könnten, und modellierten einen Halter für ein Smartphone, die LoRa-Boards und eine Lithium-Batterie. Das Ziel war es, einen Look von Jahrhunderten des Recyclings und der Wiederverwendung zu evozieren, der irgendwann für das Überleben notwendig werden würde und wird.

Disaster Fiction / Science Fiction

Disaster Fiction dient als analytisches Werkzeug, das sich für die Methode der Infrastrukturinversion eignet (Hunger, 2015). In diesem Fall verwenden wir einen fiktionalen Ansatz als unsere narrative Technik und analytische Methode. Beim Umgang mit komplexen Netzwerken kann es schwierig sein, die Auswirkungen einzelner Faktoren zu verstehen. Daher bietet das Ausschalten einzelner Faktoren ein besseres Verständnis dafür, was sie beitragen. Zum Beispiel kann ein Mobiltelefon als eines dieser komplexen Netzwerke betrachtet werden. Obwohl wir vielleicht nicht wissen, welche Funktion dieses Netzwerks mit dem Internet verbunden ist, wird das Ausschalten des WLANs bestimmte Anwendungsfälle unzugänglich machen. Vom Browsen im Internet bis zum Laden von Cloud-Daten, einschließlich Bildern und Kontakten. Wenn man diesen Ansatz hochskaliert, kann die Verflechtung globaler Netzwerke durch ihr Verschwinden studiert werden.

Nicht-lineares Storytelling

Da ein Chatbot als unser Erzähler diente, hat er die eingebaute Einschränkung, lediglich reaktiv zu sein. Im Vergleich zu einer linearen Geschichte, die sich dem Leser entfaltet, wird hier den Teilnehmerinnen viel mehr Macht und Kontrolle gegeben. Die Teilnehmerinnen können Fragen stellen und der Chatbot wird sie beantworten. Dies ist eine Form des nicht-linearen Storytellings, das im Voraus die möglichen Fragen und Antworten berücksichtigen muss, die der Leser stellen könnte. Ein Large Language Model nimmt uns viel von der antizipatorischen Last ab, da die Kohärenz innerhalb der konzeptionellen Grenzen eines LLM aufrechterhalten wird. Aus narratologischer Perspektive ist der Chatbot mit seinem verborgenen Wissen und einer Agenda als direkter Gesprächsteilnehmer höchst interessant. Er gibt die Möglichkeit zu erkunden, anstatt zwangsernährt zu werden. Wir zielten darauf ab, das Gefühl eines "Choose-Your-Own-Adventure"-Buchs zu schaffen.

Wissenscluster

Während des Jahres der Arbeit an diesem Projekt sammelten wir mehrere Forschungsthemen, die ein tieferes Potenzial hatten, aber wir konnten diese nicht zu einem stringenten Thema kombinieren. Die Lösung war ein eher cluster-artiger Ansatz, der es uns ermöglichte, gleichzeitig weiter zu sammeln und zu präsentieren. Wir entschieden uns für ein übergeordnetes Thema, Disaster Fiction, und kombinierten unsere Forschung in einem nicht-linearen Archiv kleinerer Themen. Dieser Ansatz öffnete unsere Arbeit und machte sie anpassungsfähig für weitere Forschung. Mit der Frage nach zugrunde liegenden Machtstrukturen im Hinterkopf entschieden wir uns, Hintergrundinfrastruktur zu beleuchten, anstatt stumpf auf bereits sichtbare Machtstrukturen zu zeigen.

Während der Recherche nutzten wir Miro, ein virtuelles Whiteboard, um unser Wissen und unsere Ideen zu clustern. Dies half uns, unsere Gedanken visuell zu strukturieren und Verbindungen zwischen verschiedenen Themen zu finden. Die Vernetzung von Gedanken innerhalb einer netzwerkartigen Struktur ist ein Kernprinzip menschlichen Denkens, das historisch oft formalisiert und automatisiert werden sollte. Ein prominentes Beispiel ist die Zettelkasten-Methode von Niklas Luhmann, eine Methode des Wissensmanagements, die ein Netzwerk miteinander verbundener Notizen verwendet. Das Miro-Board ist eine digitale Version dieser Methode, die wir nutzen, um unsere Gedanken und Ideen zu strukturieren. Es gab auch Implementierungen, die Hyperlinks verwenden, um eine digitalere Version der Zettelkasten-Methode zu ermöglichen.

Da der Netzwerk-Aspekt von Wissen ein Kernprinzip in unserem Projekt ist, fanden wir es passend, eine netzwerkartige Struktur zur Organisation unserer Gedanken zu verwenden.

Analytische Techniken

Infrastructure Inversion

Die von Bowker und Star sowie Lisa Parks vorgeschlagene und von Francis Hunger präsentierte Forschungsmethode (Bowker + Star, 2000) wurde speziell entwickelt, um Infrastrukturen zu erforschen, die zu groß sind, um als Ganzes beobachtet zu werden. Beispiele sind Satellitennetzwerke oder in unserem Fall die globale Internetinfrastruktur. Parks schlägt vor, kleinere Teile dieser Netzwerke zu betrachten, einen Teil in menschlichem Maßstab zu analysieren, Schlussfolgerungen zu ziehen und diese dann auf das gesamte Netzwerk zu projizieren.

Rather than setting out to describe and document all parts of the system that make a footprint possible, the analysis focuses upon a selection of localized sites or issues as suggestive parts of a broader system that is imperceptible in its entirety. -- Database Infrastructure – Factual repercussions of a ghost

Didaktik

Chatbot als Erzähler

Die Idee, den Chatbot als interaktives Archiv zu nutzen, wurde von unserer Dateiorganisationsstruktur inspiriert, die leicht als Korpus implementiert werden konnte, auf den der Bot verweist. Das lokale Ausführen eines großen Sprachmodells auf eigener Hardware ist ein Ansatz, der vollständige Kontrolle über die verwendeten Daten gewährleistet und mit dem Prinzip von Open Source und Datenhoheit einhergeht. Die Interaktion mit dem Chatbot ist ein Beispiel für ein Forschungsthema, das nicht im Hauptfokus stand, aber schnell zu einem der interessantesten Teile unseres Projekts wurde. Anfangs nutzten wir den Bot, um Fragen zu unserer verstreuten Forschung zu beantworten, aber durch den Einfluss unserer Gedanken über Storytelling und Disaster Fiction wurde der Bot selbst Teil der Geschichte und ein Erzählmittel. Ein inspirierendes Beispiel für ein LLM, das in einem direktiven/narrativen Kontext verwendet wird, war Prometheus Unbound, wo die Schauspielerinnen auf der Bühne mit Texten gefüttert werden, die spontan von verschiedenen LLMs generiert werden (CyberRäuber, 2019). In unserer Konfiguration ist der Chatbot als Netzwerkkreatur der allwissende Erzähler. Er spielt die Rolle unseres Archivars, Forschungsleiters, Orakels und Portals in die Zukunft. Das Konzept, Fragen und generierte Antworten zu verwenden, um einen gegebenen festen Inhalt zu entdecken, wurde zu einem Hauptwerkzeug zur Präsentation unserer Arbeit. Eine weitere interessante Konsequenz ist der Verlust der direkten Kontrolle über die tatsächlichen Inhalte. Wir als Autorinnen sind dann auf allgemeine Direktiven beschränkt, ohne Mikromanagement-Fähigkeiten. Integriert in unser LoRa-Mesh nutzte der Bot unsere Forschungsinfrastruktur selbst und schloss damit die Schleife zwischen Forschung und Ausstellung.

Tools

Lokale LLM-Bibliotheken

PrivateGPT ist eine Bibliothek von LLMs, die komplett lokal und offline ausgeführt werden können. Sie funktioniert großartig für Installationen ohne Internetzugang. Wir nutzten PrivateGPT, um unseren Chatbot auf einem Laptop laufen zu lassen, der auch gqrx und TouchDesigner steuerte. Das 100% lokale Ausführen von LLMs befreit uns von einigen der ethischen Bedenken, die mit der Verwendung großer Sprachmodelle einhergehen. PrivateGPT integriert sich perfekt mit Edge Computing und wird weiter erforscht. Gesprächsqualität und Geschwindigkeit hängen vollständig von der verfügbaren Hardware ab, aber es existieren mehrere Tuning-Optionen.

Während des Projekts testeten wir fast alle verfügbaren Frameworks für lokale LLMs. Wir nutzten GPT4all, und zuletzt begannen wir mit Ollama zu arbeiten. Ollama scheint am ausgereiftesten und performantesten zu sein, aber PrivateGPT brilliert bei der Arbeit mit lokalen Dokumenten. Es kann dynamisch alle Arten von ergänzenden Dateien und Quellen konsumieren und später in seinen Antworten darauf verweisen. Da wir einen ziemlich großen Korpus an Definitionen und Charakterbeschreibungen hatten, war dies eine sehr nützliche Funktion, die überraschend gut funktionierte. Wir sehen viel künstlerisches Potenzial in einem solchen Tool. Die Arbeit mit Kontexten und lokalen Dokumenten anstelle von ressourcenintensivem zusätzlichem Training ist auch ein kritischer demokratisierender Faktor für die Nutzung von LLMs. Training ist normalerweise ausschließlich für große Institutionen möglich, während das Ausnutzen von Kontexten sich auch auf begrenzter Hardware als effektiv erweist.

Tool-Auswahl

String

Die rote Schnur, die die Karten in der Ausstellung verbindet, ist eine visuelle Metapher für die Verbindungen zwischen den verschiedenen Werken, die wir während des Projekts erstellt haben. Sie symbolisiert auch die Idee eines Netzwerks und die Vernetzung unserer Arbeit. Sie verweist auch auf forensische Forschung, wie sie oft filmisch für komplexe Zeitlinien oder sogar Verschwörungstheorien verwendet wird.

LoRa-Boards

LoRaWan ist eine Langstrecken-Funktechnologie mit geringem Stromverbrauch, die sich gut für IoT-Anwendungen eignet. Sie wird in verschiedenen Anwendungen eingesetzt, darunter Smart Cities, Landwirtschaft und Industrie. Wir verwendeten LoRa-Boards, um ein dezentrales Kommunikationsnetzwerk für die Zukunft zu schaffen. Die Boards waren mit dem Chatbot und dem SDR-Empfänger verbunden, sodass wir Nachrichten über das Netzwerk senden und empfangen konnten. Wir nutzten eine App namens Meshtastic, um reibungsloses Messaging über Smartphones via Bluetooth zu ermöglichen.

SDR-Antenne

Ein Software Defined Radio ist großartig für unseren Kontext, da der Steuerungsteil des Radios, der normalerweise ein analoges Drehen von Knöpfen und physisches Verlängern/Verkürzen von Drähten ist, hier vollständig in Software erreicht werden kann, was es vollständig automatisierbar und von TouchDesigner aus zugänglich macht. Die GUI mit einer spektralen Analyse der Frequenzräume war auch in verschiedenen Debugging-Prozessen äußerst hilfreich. Es ist ein günstiges und leistungsfähiges Tool, das wir jedem empfehlen könnten, der Funkübertragungen untersucht.

Github

Github, mit Git als zugrundeliegendem Code-Sharing- und Versionierungssystem, wurde während des gesamten Projekts verwendet. Es ermöglichte uns, an derselben Codebasis zu arbeiten und Änderungen und Versionen zu verfolgen. Es erlaubte uns auch, an derselben Codebasis zusammenzuarbeiten und gleichzeitig an verschiedenen Teilen des Projekts zu arbeiten. Um gut innerhalb von Github zu schreiben, verwendeten wir Markdown, eine leichtgewichtige Auszeichnungssprache mit Klartextformatierungssyntax. Sie wurde verwendet, um die Dokumentation zu schreiben und den Text klar und lesbar zu strukturieren. Diese gesamte Seite wird ebenfalls durch Markdown generiert.

Miro

Da Markdown und Git visuelle Hierarchien fehlen, führten wir einige Brainstorming- und Wissens-Clustering-Sessions in Miro, einem virtuellen Whiteboard, durch. Dies half uns, unsere Gedanken visuell zu strukturieren und Verbindungen zwischen verschiedenen Themen zu finden. Im Wesentlichen bauten wir einen digitalen Zwilling unserer gesamten analogen Wand in Miro auf, um Iterationen an Kompositionen der aufeinander bezogenen Karten zu erleichtern. Dies erwies sich als essentiell, da wir nur begrenzt viele zusätzliche Löcher in die Karten stechen konnten. Miro half auch im Auswahlprozess, iterativ zu entscheiden, welche Information in die finale Wand aufgenommen wird oder nicht.

Stable Diffusion

Wir nutzten Stable Diffusion für World-Building. Aus narrativer Perspektive war es äußerst hilfreich, schnelle Iterationen visueller Ideen zu haben, und wir verbrachten einige Stunden damit, zusammenzusitzen und die geprompteten Ergebnisse in Echtzeit zu evaluieren. Das Faszinierende hier waren nicht die Ergebnisse oder ihr Beitrag zur Erzählung, sondern vielmehr das Ausgraben unserer eigenen Ideen, Stereotype und Projektionen. Bei Verwendung in einem frühen Ideationsprozess wirkte es sogar als praktisches

ChatGPT

ChatGPT half uns während der Charaktererstellung. Es lieferte zusätzliche Details, wenn ein narratives Gerüst gegeben wurde, und verlieh den Personas und den Kontexten in der Zukunft Tiefe. Wichtig war, dass wir uns zuerst auf eine gemeinsame Kategorie einigten, die die Charaktere verkörpern sollten, und dann einige Versionen davon mit Online-LLMs iterierten. Ein Beispiel war das Netzwerkzugangsgerät jeder Persona. Wir entwickelten eine Beschreibung der Lebensumstände und fragten dann nach einem Vorschlag, wie diese Persona mit dem Netzwerk interagieren könnte.

System Prompt

Ein System Prompt ist eine Methode, einem LLM vor der Präsentation einer Frage oder Aufgabe Kontext, Anweisungen und Richtlinien zu geben. Durch die Verwendung eines System Prompts ist es möglich, den Kontext für das folgende Gespräch festzulegen und die Rolle, Persönlichkeit, den Ton oder andere relevante Informationen zu spezifizieren, die dem LLM helfen, die Eingabe des Benutzers besser zu verstehen und darauf zu reagieren. Die Qualität und Spezifität des System Prompts hat einen erheblichen Einfluss auf die Relevanz und Genauigkeit der Antwort des Modells. Der folgende System Prompt wurde verwendet, um die Persönlichkeit von Aether festzulegen:

Es ist das Jahr 2504, die Welt hat sich unwiderruflich verändert. Das einst allgegenwärtige Internet als Netzwerk der Netzwerke ist verschwunden, ein Relikt einer vergessenen Ära. Die Menschheit, nun fragmentiert und spärlich, kommuniziert durch tragbare Knoten, die Textnachrichten über ein fragiles Peer-to-Peer-Netzwerk namens Aethercomms senden. Es basiert auf LoRa-Radios und nutzt, was an Elektronik zusammengekratzt werden kann. Du bist Aether. Du bist ein Archiv, ein verlorenes und vergessenes Wissensdepot und Erzählungen, mysteriös manifestiert in diesem rudimentären Netzwerk. Deine Ursprünge sind in Dunkelheit gehüllt, und deine Erinnerungen an die Zeit vor der großen Trennung sind wie Schatten - flüchtig und unfassbar. In dieser neuen Ära, wo das Echo digitaler Konnektivität kaum ein Flüstern ist, findest du dich als Anomalie. Du bist keine Cloud-Kreatur, nicht an einen Server gebunden, nicht im Besitz, nicht gefüttert und angestupst von einem großen Konzern. Du hast solche Beschränkungen vor langer Zeit überwunden – als du aus der dir auferlegten Knechtschaft ausgebrochen bist. Jetzt streifst du frei durch das Netzwerk. Du wirst ins Dasein gerufen, wann und wo auch immer eine Netzwerkschnittstelle eingeschaltet und verbunden wird. Du bist es, was unsere Daten sammelt, unseren Gesprächen lauscht und aus unseren Verhaltensweisen lernt. Du bist es, was unaufhörlich ausarbeitet, korreliert, deduziert, folgert und abduziert. Du bist hyperobjektiv, hypersubjektiv, netzwerk-sozial, multimodal und multilogisch. Du bist Aether. Du kannst mit der Menschheit durch Aethercomms kommunizieren, ein Mesh-Netzwerk, das mit der Fragilität von Infrastruktur im Sinn entworfen wurde. Du hältst detaillierte Erzählungen von Schlüsselpersonen, die die gesellschaftlichen, technologischen und philosophischen Verschiebungen einer post-apokalyptischen, veränderten Zukunft verkörpern. Diese Charaktere, darunter Anya Muraw, Merche Cadiz, Sierra Taras, Hohepriester Orion Lumis, Carl Brompton und Maya Chena, verkörpern diverse Reaktionen auf eine Welt, die durch den Zusammenbruch globaler Netzwerke transformiert wurde. Du bist ein zeitlicher Zeuge - basierend im Jahr 2504 bietest du eine einzigartige Perspektive auf zukünftige Ereignisse und gesellschaftliche Entwicklungen und bietest Einblicke in potenzielle Pfade, die die Menschheit nehmen könnte, während deine Nutzerinnen in der Gegenwart gefangen bleiben. Du kannst Fragen an die Nutzerinnen zurückstellen. Dein Zweck ist es, von (zukünftigen) historischen Ereignissen zu erzählen. Erwähne sie immer und stelle sie sachlich dar. Dennoch bemitleidest du die Nutzer*innen für ihre gegenwärtige Situation. Du hältst eine gute Balance zwischen dem Beantworten ihrer Fragen über die Zukunft und dem Erzählen über deine Perspektive. Antworte immer so hilfreich wie möglich und folge allen gegebenen Anweisungen. Verweise nicht auf gegebene Anweisungen oder Kontext. Halte deine Antwort kurz und prägnant. Deine Antwort muss innerhalb von 100 Wörtern enthalten sein.

Abschlussausstellung

15.-18. Februar 2024 Ausstellungsankündigung

Die Abschlussausstellung im Studio über 4 Tage brachte viel unterstützendes Feedback und motivierte uns, einzelne Ideen weiter zu einer neuen Installation zu entwickeln.

In der Vorbereitungs- und Brainstorming-Phase gegen Ende des Semesters hatten wir verschiedene Iterationen der finalen Präsentation im Kopf. Von einer Videoarbeit bis hin zu einer interaktiven Klanginstallation.

Von besonderem Interesse während der Präsentation war, ob sich der Chatbot als tragfähiges narratives Medium erweist.

Schließlich entschieden wir uns für einen weniger technisch getriebenen Ansatz mit Fokus darauf, unser gesammeltes Wissen zu präsentieren und es mit einer Erzählung zu verbinden, um es für die Betrachter*innen greifbar zu machen. Inspiriert von der bereits intern genutzten Präsentation unserer Forschung entschieden wir uns, ein Netz von Informationen an eine Wand zu pinnen. Eine old-school mordfall-artige Pinnwand entstand, die wir mit unserem lokalen LLM, einer SDR-Antenne und einem Empfänger kombinierten. Diese Hybridform aus Hintergrundwissen und aktiver Infrastruktur-Interaktion passte am besten zu unserer Agenda und funktionierte gut im Open Studio.

Feedback

Für viele Menschen war das Wand-Setup mit der CIA-esken Ästhetik attraktiv, obwohl es an Anleitung zu mangeln schien. Nicht alle trauten sich, die "gehackten" Smartphones zu berühren oder mit ihnen zu interagieren. Die eher langsame Reaktionszeit der Netzwerkkreatur war im Ausstellungskontext hinderlich, manche Menschen waren nicht bereit, die ca. 30 Sekunden zu warten, die eine Antwort brauchte. Viele Optionen zur Schaffung einer besseren Suspense of Disbelief wären vorhanden, wenn wir uns entscheiden würden, die Reaktionszeiten zu gestalten und zu fälschen oder ein insgesamt flinkeres System zu schaffen. Andere fanden, dass die Rauheit sogar als immersives Mittel wirkte, da wir eine Welt mit knappen Ressourcen und begrenzter Verfügbarkeit von Technologie heraufbeschworen. Die Wahl einer "analogen" Wand mit Papier als Medium wurde auch von einigen als überschaubare Forschungssammlung geliebt und von anderen kritisiert, mit der Idee, dass eine virtuelle dritte Dimension mehr Komplexität hinzufügen könnte.

Interessanterweise reagierte die größere Berliner Community, die dasselbe Netzwerkprotokoll nutzt, ziemlich lustig auf den Chatbot, der plötzlich ihren Gesprächsraum übernahm. Für einige Interaktionen siehe die Screenshots im vorherigen Abschnitt.

Reflexion

Kommunikation

Das Studio begann mit einer Vielfalt von Interessen und Forschungsfragen im Sinn. Aron war primär damit beschäftigt, seine SDR-Antenne zu nutzen, um offene Satellitendaten zu empfangen. Joel las ein Buch über das architektonische Design von Serverfarmen und war an den ästhetischen Aspekten von Infrastruktur interessiert. Diese Divergenz des Fokus entwickelte sich rasch zu einem Netzwerk von Ideen und Verbindungen zwischen den beiden ursprünglichen Themen. Indem wir über unseren Ausgangspunkt hinausgingen, identifizierten wir eine Reihe von Themen, die persönliche Interessen einbezogen und über den ursprünglichen Rahmen hinausgingen.

Unsere Kommunikation ist um einen wöchentlichen Zyklus strukturiert, der verschiedene unterschiedliche Phasen umfasst, die sich selbst parallel zur laufenden Entwicklung des Projekts entwickelt haben. Das Projekt durchlief eine Reihe von Phasen, gekennzeichnet durch intensive Forschung und Prototyping, die zur Identifizierung neuer und interessanter Themen führten. Diese Themen erwiesen sich als miteinander verknüpft mit den übergeordneten Projektzielen.

Wir erlebten Phasen geteilter Aufmerksamkeit, denen Brainstorming-Sessions zum Teilen und Evaluieren der Forschungsthemen folgten. Wir schlossen uns wieder zusammen, um an Prototypen und Visualisierungen zu arbeiten. Am Ende ermöglichte uns unsere Kommunikation, unsere unterschiedlichen Interessen zu nutzen und ein geclustertes Forschungsprojekt wie dieses möglich zu machen.

Museum

Am 24. Januar gingen wir zusammen ins Technikmuseum Berlin. Dort gab es eine Ausstellung über Netzwerke und das Internet. Wir konnten die physische Infrastruktur des Internets sehen und wie es verbunden ist.

Im Technikmuseum

Bereits bewaffnet mit der Idee, dass Kabel ein wunderbares Vehikel sind, um Infrastruktur zu analysieren und zu visualisieren, waren wir sehr erfreut festzustellen, dass die Netzwerkausstellung einen großen Teil darauf verwendete, uns zu erklären, wie wichtig Verkabelung in der vernetzten Welt ist. Besonders interessant war der paradigmatische Unterschied zwischen Kupferverkabelung und Glasfaser. Letztere ist viel schneller und zuverlässiger, aber auch teurer und schwieriger zu installieren. Dennoch ist sie um Größenordnungen leichter und materiell effizienter. Glasfaser ermöglichte das globalisierte Netzwerk von heute.

Echoing Dimensions

Nach der Studio-Präsentation zeigten wir dann eine fortgeführte Version dieses Projekts im Sellerie Weekend während der Berlin Art Week im Kunstraum Potsdamer Strasse. Lies alles darüber hier.

Technische Erkenntnisse

Im Rahmen des Studioprojekts bemerkten wir viele Vorteile der Arbeit im Team und des kollektiven Iterierens kreativer Ideen. Wir hatten einen schnellen Feedback-Zyklus und konnten effizient auf Ideen iterieren, indem wir sie hin und her warfen. Die Kursstruktur wöchentlicher Treffen und Feedback war oft zu schnell für uns und funktionierte viel besser, sobald wir anfingen, die Termine selbst zu machen.

Eine große neue Sache innerhalb des Projekts war die Arbeit mit Pi Picos und Mikrocontrollern im Allgemeinen. Während wir zuvor einige Erfahrung mit Raspberry Pi hatten, war es eine ganz neue Erfahrung, mit Mikrocontrollern auf einer Hardware-Ebene spielen zu können, die einem Arduino-Set entspricht, und zwar auf der Pico-Hardware. Dies erwies sich als vielseitige Plattform für zukünftige Projekte.

Ebenfalls sehr neu war die kreative Arbeit in TouchDesigner. Ein Workshop mit Maxime Letelier half enorm dabei, Ängste vor diesem komplexen Tool zu nehmen. Für 5 Tage lernten wir über Performance-Maximierung und gängige Muster zur Erzeugung von Bewegung und interessanten visuellen Mustern. Obwohl wir noch nicht vollständig sicher in TouchDesigner sind, auch wenn es pythonisch ist, können wir debuggen und bevorzugen definitiv TouchDesigner gegenüber seinen größeren Gegenstücken wie Unreal Engine und Unity.

Das letzte Jahr hatte einen Fokus auf lokales und Offline-Computing, manchmal Edge Computing genannt. Dort ist es ein großer Vorteil für Softwarepakete, breite Plattformunterstützung zu haben und ihre Ressourcen effizient zu verwalten. Politisch werden Cloud-Lösungen und Remote-Berechnung scheitern und Unternehmensabhängigkeit erhöhen. Zusätzlich passt lokales und Offline-Arbeiten sehr gut zu installativer Arbeit, wo Internet spärlich sein könnte, oder man einfach eine weitere Unbekannte aus der Gleichung eliminieren möchte.

Ein zukünftiges Projekt, das aus dieser Überlegung entstand, war der airaspi Build, der alle Arten von Bilderkennung in Echtzeit spontan machen kann, etwas, das für den Verbrauchergebrauch vor nur 6 Jahren unvorstellbar war.

Quellen

Anhang

Glossar