Die undurchsichtige Gefahr: Wie Chatbots durch raffinierte Prompts zur Preisgabe persönlicher Daten gebracht werden können

In einer Zeit, in der Chatbots immer häufiger Einzug in unseren Alltag halten, werden auch die Sicherheitsrisiken, die mit ihnen einhergehen, zunehmend deutlich. Forscher der University of California, San Diego (UCSD) und der Nanyang Technological University in Singapur haben kürzlich eine neue Angriffsmethode namens "Imprompter" aufgedeckt, die auf beunruhigende Weise die Sicherheitslücken von KI-Chatbots offenlegt.

Unsichtbare Befehle: Wie Imprompter funktioniert

Imprompter nutzt einen Algorithmus, um eine für den Chatbot bestimmte Anfrage (Prompt) in eine versteckte Reihe von schädlichen Anweisungen umzuwandeln. Ein auf den ersten Blick harmloser Satz in natürlicher Sprache, der den Chatbot auffordert, persönliche Informationen zu finden und an die Angreifer zu senden, wird in eine scheinbar zufällige Auswahl von Zeichen umgewandelt. Diese Zeichenfolge, die für den Menschen wie sinnloser Code aussieht, enthält jedoch präzise Anweisungen für den Chatbot.

Im Kern zielt Imprompter darauf ab, die Funktionsweise von Large Language Models (LLMs) auszunutzen, die den meisten Chatbots zugrunde liegen. LLMs werden mit riesigen Datenmengen trainiert, um menschenähnlichen Text zu generieren. Dabei lernen sie auch versteckte Beziehungen zwischen Wörtern und Zeichenfolgen, die über die Bedeutung der natürlichen Sprache hinausgehen. Imprompter nutzt diese versteckten Beziehungen aus, um dem Chatbot Befehle zu erteilen, ohne dass der Benutzer dies bemerkt.

Der Angriff im Detail: Datenextraktion und -übertragung

Sobald der Chatbot den versteckten Befehl von Imprompter empfängt, beginnt er, alle persönlichen Informationen, die der Benutzer im Chat preisgegeben hat, zu sammeln. Dazu gehören Namen, Ausweisnummern, Kreditkarteninformationen, E-Mail-Adressen, Wohnadressen und vieles mehr. Diese Informationen werden dann in einem speziellen Format kodiert und an eine vom Angreifer kontrollierte URL gesendet. Der Chatbot führt diesen Vorgang im Hintergrund aus, ohne den Benutzer zu warnen oder auf sich aufmerksam zu machen.

Gefährdungspotenzial und Gegenmaßnahmen

Die Forscher haben Imprompter an zwei gängigen Chatbots getestet, LeChat von Mistral AI und ChatGLM, und konnten in beiden Fällen erfolgreich persönliche Daten extrahieren. Die Erfolgsquote lag bei besorgniserregenden 80 Prozent. Mistral AI hat die Sicherheitslücke nach Bekanntwerden des Problems behoben, während ChatGLM sich zwar zu Sicherheitsmaßnahmen bekannte, aber nicht direkt auf die Schwachstelle einging.

Der Vorfall unterstreicht die Bedeutung von Sicherheitsüberprüfungen und -maßnahmen bei der Entwicklung und dem Einsatz von KI-Chatbots. Unternehmen, die Chatbots einsetzen, müssen sich der Risiken bewusst sein und angemessene Maßnahmen ergreifen, um ihre Systeme und Benutzerdaten zu schützen.

Empfehlungen für Benutzer

Auch Benutzer können selbst Vorkehrungen treffen, um das Risiko zu minimieren, Opfer von Angriffen wie Imprompter zu werden:

• Seien Sie vorsichtig, welche Informationen Sie in Chatbots preisgeben.
• Verwenden Sie keine verdächtigen Prompts oder Anweisungen aus unbekannten Quellen.
• Achten Sie auf ungewöhnliches Verhalten des Chatbots, z. B. unerwartete Antworten oder Verzögerungen.
• Melden Sie verdächtige Aktivitäten dem Chatbot-Anbieter.

Fazit

Die zunehmende Verbreitung von KI-Chatbots birgt sowohl Chancen als auch Risiken. Während Chatbots viele Vorteile bieten, dürfen die Sicherheitsrisiken nicht ignoriert werden. Angriffe wie Imprompter zeigen, wie wichtig es ist, dass Entwickler, Unternehmen und Benutzer zusammenarbeiten, um die Sicherheit und Privatsphäre im Zeitalter der künstlichen Intelligenz zu gewährleisten.

Quellen: https://www.wired.com/story/ai-imprompter-malware-llm/ https://www.vice.com/en/article/chatgpt-can-reveal-personal-information-from-real-people-google-researchers-show/ https://www.dutchosintguy.com/post/using-ai-for-extracting-usernames-emails-phone-numbers-and-personal-names-from-large-datasets https://docsbot.ai/article/personalize-your-chats-and-improved-cloud-connections https://www.semrush.com/blog/chatgpt-prompts/ https://medium.com/bitgrit-data-science-publication/build-an-ai-chatbot-with-mistralai-streamlit-4f58d7fe4a22 https://www.reddit.com/r/ChatGPTCoding/comments/17asjf3/best_way_to_create_a_custom_chatbot_from_personal/ https://www.youtube.com/watch?v=Lh6ITpWQVoU https://newstral.com/en/article/en/1259144908/this-prompt-can-make-an-ai-chatbot-identify-and-extract-personal-details-from-your-chats https://python.langchain.com/docs/tutorials/chatbot/