Künstliche Intelligenz neu definiert: Chat with RTX personalisiert Dialoge durch lokale Datenintegration

Der technologische Fortschritt im Bereich der künstlichen Intelligenz (KI) schreitet mit großen Schritten voran. Eine der neuesten Entwicklungen auf diesem Feld ist die Einführung von "Chat with RTX", einer Technologie-Demo von Nvidia, die es ermöglicht, einen Chatbot zu personalisieren, indem Benutzer eigene Dateien auf einem PC als Datensatz verknüpfen können. Diese Innovation eröffnet eine Vielzahl neuer Möglichkeiten für die lokale, schnelle und individuelle Nutzung generativer KI-Fähigkeiten.

"Chat with RTX" ist kostenlos zum Download verfügbar und ermöglicht es, Chatbots mithilfe lokaler Inhalte zu personalisieren. Diese werden durch eine lokale Nvidia GeForce RTX 30 Serie GPU oder höher mit mindestens 8GB Video Random Access Memory (VRAM) beschleunigt. Mit dieser Technologie können Nutzer rasch und unkompliziert lokale Dateien als Datensatz an ein Open-Source-Großsprachmodell wie Mistral oder Llama 2 anbinden, um schnell kontextrelevante Antworten auf Anfragen zu erhalten.

Anstatt durch Notizen oder gespeicherte Inhalte zu suchen, können Benutzer einfach Fragen eingeben. Ein Beispiel wäre: „Welches Restaurant hat mein Partner empfohlen, als wir in Las Vegas waren?“ "Chat with RTX" durchsucht dann die vom Benutzer angegebenen lokalen Dateien und liefert die Antwort im Kontext.

Das Tool unterstützt verschiedene Dateiformate, darunter .txt, .pdf, .doc/.docx und .xml. Man zeigt die Applikation einfach auf den Ordner, der diese Dateien enthält, und das Tool lädt sie in wenigen Sekunden in seine Bibliothek. Zudem können Informationen aus YouTube-Videos und -Playlists integriert werden. Wenn man die URL eines Videos zu "Chat with RTX" hinzufügt, kann man dieses Wissen in seinen Chatbot für kontextbezogene Anfragen integrieren.

Da "Chat with RTX" lokal auf Windows RTX PCs und Workstations läuft, sind die Ergebnisse schnell und die Daten des Benutzers bleiben auf dem Gerät. Statt auf cloudbasierte LLM-Dienste (Large Language Models) zurückzugreifen, ermöglicht "Chat with RTX" die Verarbeitung sensibler Daten auf einem lokalen PC, ohne sie mit Dritten teilen oder eine Internetverbindung benötigen zu müssen.

Neben einer GeForce RTX 30 Serie GPU oder höher mit mindestens 8GB VRAM benötigt "Chat with RTX" Windows 10 oder 11 und die neuesten Nvidia GPU-Treiber.

"Chat with RTX" zeigt das Potenzial der Beschleunigung von LLMs mit RTX GPUs. Die App basiert auf dem TensorRT-LLM RAG-Entwicklerreferenzprojekt, das auf GitHub verfügbar ist. Entwickler können das Referenzprojekt nutzen, um ihre eigenen RAG-basierten Anwendungen für RTX zu entwickeln und einzusetzen, beschleunigt durch TensorRT-LLM.

Diese Entwicklungen in der KI-Technologie bieten spannende neue Möglichkeiten für Unternehmen wie Mindverse, die als KI-Partner fungieren und maßgeschneiderte Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen, Wissenssysteme und vieles mehr entwickeln.

Die Kombination aus fortschrittlicher Hardware und innovativer Software schafft eine neue Ära der persönlichen und beruflichen Produktivität und Kreativität. Mit "Chat with RTX" können Benutzer die Grenzen dessen, was bisher mit KI möglich war, erweitern und sich auf eine Zukunft freuen, in der die Interaktion mit digitalen Assistenten noch intuitiver und effektiver wird.

Quellen:
- NVIDIA Blog: https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
- The Verge: https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
- YouTube NVIDIA GeForce Kanal: https://www.youtube.com/watch?v=gdsRJZT3IJw
- NVIDIA: https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/