tldraw präsentiert experimentelle Anwendung zur visualisierten KI-Workflow-Erstellung

tldraw erweitert seine Plattform um experimentelle "Computer"-Funktion mit Gemini 2.0

Das Startup tldraw hat eine experimentelle Anwendung namens "computer" vorgestellt, die Nutzern die Erstellung von KI-Workflows durch natürliche Sprachbefehle und visuelle Blöcke auf einer unbegrenzten Arbeitsfläche ermöglicht. "Computer" repräsentiert einen neuartigen Ansatz zur Interaktion mit generativer KI, indem es die intuitive Bedienung einer visuellen Oberfläche mit der Leistungsfähigkeit von Googles Gemini 2.0 Flash-Modell kombiniert.

Visuelle Programmierung mit natürlicher Sprache

Die Anwendung basiert auf dem Infinite Canvas SDK von tldraw und bietet eine dynamische Umgebung für die Arbeit mit KI-Modellen. Nutzer platzieren Komponenten, die verschiedene Elemente wie Textfelder, Bilder und Audioclips repräsentieren, auf einer frei skalierbaren Leinwand. Diese Komponenten werden mit Pfeilen verbunden, um den Datenfluss und die Transformationen zwischen ihnen zu visualisieren. Jede Komponente verfügt über zugehörige Prozeduren – Anweisungen, die basierend auf den Eingaben der verbundenen Komponenten ausgeführt werden.

Ein Beispiel: Gibt ein Nutzer "Schreibe einen kurzen Werbespot" in eine Anweisungskomponente ein, generiert das System in Sekundenschnelle ein wiederverwendbares JSON-Skript. Dieses Skript kann dann beliebige Kombinationen von Eingaben in ein Werbeskript umwandeln. Anschließend generiert "computer" eine zweite Anfrage an das Sprachmodell für die endgültige Ausgabe. Diese kann direkt auf der Arbeitsfläche angezeigt oder an andere Komponenten zur Generierung von Sprache oder Bildern weitergeleitet werden.

Automatisierte Workflow-Generierung

Eine besonders beeindruckende Funktion von "computer" ist die automatisierte Workflow-Generierung. Bei komplexeren Anfragen wie "Erstelle eine Marketingkampagne basierend auf dieser Produktbeschreibung" ermittelt das System selbstständig die notwendigen Schritte und Komponenten. Aus einer einfachen Anfrage wird so ein vollständiger Workflow.

Gemini 2.0 als Grundlage

Die Wahl von Google Gemini 2.0 Flash als Grundlage für "computer" begründet tldraw mit dessen Geschwindigkeit und Vielseitigkeit. Das Modell kann Text, Bilder und strukturierte Daten verarbeiten. Das standardisierte Ausgabeformat erleichtert die Integration in die Workflow-Struktur.

Ein neuer Programmieransatz

Laut tldraw-Gründer Steve Ruiz stellt "computer" einen ersten Schritt in Richtung einer Zukunft dar, in der visuelle Programmierung mit natürlicher Sprache möglich ist. Anstatt komplexe Programmiersprachen zu erlernen, können Nutzer anspruchsvolle Workflows erstellen, indem sie einfach beschreiben, was sie erreichen möchten.

Die Plattform richtet sich sowohl an erfahrene Entwickler als auch an Neueinsteiger. Eine Bibliothek mit Tutorials und Beispielprojekten deckt verschiedene Anwendungsfälle ab, von einfachen Berechnungen bis hin zur Rezeptgenerierung und Bildanalyse. Nutzer können erstellte Workflows als Vorlagen speichern und mit anderen teilen.

Experimentelle Phase und Zukunftsaussichten

"Computer" befindet sich noch in der experimentellen Phase. tldraw plant, die Anwendung basierend auf dem Feedback der Community weiterzuentwickeln. Das Projekt folgt auf das erfolgreiche KI-Experiment "Make Real" des Unternehmens, das es Entwicklern ermöglichte, Software durch Zeichnungen anstatt durch Code zu entwerfen.

Der Zeitpunkt für ein solches Tool scheint günstig. Auch andere große Technologieunternehmen arbeiten an ähnlichen Projekten im Bereich Natural Language Computing, darunter Anthropic mit Claude Computer Use, Google mit Project Mariner und Apple mit Apple Intelligence. Diese Entwicklungen deuten darauf hin, dass 2025 ein Schlüsseljahr für Natural Language Computing werden könnte.

Bibliographie: https://ai.google.dev/showcase/tldraw?hl=de https://developers.googleblog.com/en/the-next-chapter-of-the-gemini-era-for-developers/ https://blog.google/technology/google-deepmind/google-gemini-ai-update-december-2024/ https://www.threads.net/@luokai/post/DDycMbau3GR https://www.threads.net/tag/experimental https://www.instagram.com/techdemoda/reel/DDglePJSHTa/ https://www.reddit.com/r/Bard/comments/1hbwt35/tldrawcom_working_with_deepmind_to_leverage/ https://evartology.substack.com/p/latest-ai-news-roundup-flash-think-thinking https://www.therundown.ai/p/google-releases-an-openai-o1-rival https://twitter.com/tldraw/status/1867767123696922972