Nvidias "Chat with RTX" ist ein kostenloser, lokaler Daten-Chatbot

Nvidia hat "Chat with RTX" angekündigt. Damit können Nutzer ein großes Sprachmodell mit eigenen Inhalten wie Dokumenten, Notizen, Videos und anderen Daten personalisieren.

"Chat with RTX" von Nvidia steht ab sofort als kostenloser Download zur Verfügung. Der Chiphersteller empfiehlt mindestens eine Geforce-Grafikkarte der RTX-30-Serie mit 8 GB VRAM und 16 GB Arbeitsspeicher sowie Windows 11 als Betriebssystem. Der Download ist rund 35 GB groß. Über die Sprachmodelle Llama 2 und Mistral kann man dann eigene Dateien sowie YouTube-Video-Transkripte lokal "chatbar" machen.

Die Anwendung nutzt Retrieval-Augmented Generation (RAG), TensorRT-LLM und RTX-Beschleunigung, um Nutzern die Möglichkeit zu geben, einen benutzerdefinierten Chatbot zu befragen und schnell und sicher kontextbezogene Antworten zu erhalten.

Der Chatbot läuft lokal auf einem Windows RTX PC oder einer Workstation und bietet somit zusätzlichen Datenschutz im Vergleich zur Cloud-Variante.

Lokale Verarbeitung bei "Chat with RTX"

"Chat with RTX" unterstützt eine Vielzahl von Dateiformaten, darunter Text, pdf, doc/docx und xml. Die Benutzer können einfach die entsprechenden Ordner an die Anwendung anhängen, die dann die Dateien in die Bibliothek lädt.

Darüber hinaus können Nutzer die URL einer YouTube-Playlist angeben, und die Anwendung lädt die Transkripte der Videos in der Playlist und macht sie chatfähig. Googles Bard bietet eine ähnliche Funktion, aber nur mit einem Google-Konto in der Google Cloud. "Chat with RTX" verarbeitet das Transkript lokal.

Entwickler können sofort loslegen, denn die "Chat with RTX"-Tech-Demo basiert auf dem TensorRT-LLM RAG Developer Reference Project, das auf Github verfügbar ist. Entwickler können diese Referenz laut Nvidia verwenden, um ihre eigenen RAG-basierten Anwendungen für RTX zu entwickeln und bereitzustellen, die durch TensorRT-LLM beschleunigt werden.

Neben Chat with RTX stellte Nvidia auf der CES auch RTX Remix vor, eine Plattform zur Erstellung von RTX-Remastern von Spieleklassikern, die im Januar als Beta-Version verfügbar sein soll.

Außerdem wurden die Nvidia ACE Microservices angekündigt, die Spiele mit intelligenten und dynamischen digitalen Avataren ausstatten, die auf generativer KI basieren.

(emw)