Salesforce Enthüllt DEI: Ein Neuer Weg zur Steigerung der Leistung von KI-Agenten

Einführung in DEI

Salesforce hat kürzlich ein neues Framework namens DEI (Diversity Empowered Intelligence) veröffentlicht, das darauf abzielt, die Leistung von KI-Softwareentwicklungsagenten zu verbessern. Dieses Framework nutzt die einzigartige Expertise der SWE-Agenten (Software Engineering) und dient als Meta-Modul, das bestehende SWE-Agenten-Frameworks verwaltet. DEI strebt an, die kollektive Problemlösungskompetenz zu verbessern und zeigt bereits vielversprechende Ergebnisse.

Funktionsweise von DEI

DEI arbeitet als eine übergeordnete Einheit, die verschiedene SWE-Agenten koordiniert. Es ist darauf ausgelegt, die Stärken einzelner Agenten zu bündeln und so die Gesamtleistung zu steigern. Experimentelle Ergebnisse zeigen, dass ein von DEI geleitetes Komitee von Agenten die Leistung des besten individuellen Agenten deutlich übertrifft. Zum Beispiel erreichte eine Gruppe von Open-Source-SWE-Agenten, die individuell eine maximale Lösungsrate von 27,3% auf dem SWE-Bench Lite hatten, mit DEI eine Lösungsrate von 34,3%, was einer Steigerung von 25% entspricht und viele geschlossene Lösungen übertrifft.

Herausforderungen und Lösungen bei der Entwicklung von DEI

Definieren der Metriken

Ein wesentlicher erster Schritt bei der Entwicklung von DEI war die Definition geeigneter Metriken. Die Entwickler mussten entscheiden, ob sie vorhandene Industriemetriken übernehmen oder neue, speziell auf ihre Bedürfnisse zugeschnittene Metriken entwickeln sollten. Dies war entscheidend, um die Qualität und Relevanz der KI-Ausgaben zu gewährleisten.

Integration

Die Integration stellte eine weitere Herausforderung dar, da eine nahtlose Koordination zwischen den verschiedenen Komponenten der umfangreichen Plattform von Salesforce erforderlich war. Diese Integration war notwendig, um ein kohärentes Framework zu schaffen, das sowohl interne Anwendungen als auch externe Benutzerbedürfnisse effektiv unterstützt.

Kundenanforderungen

Die Berücksichtigung der Bedürfnisse sowohl interner als auch externer Kunden war komplex. Das Team strebte an, eine einheitliche Plattform zu schaffen, die den unterschiedlichen Anforderungen der Benutzer gerecht wird und sich nahtlos in ihre Entwicklungspipelines integriert. Dies erforderte kontinuierliches Feedback und Anpassungen, um sicherzustellen, dass das Framework alle Benutzererwartungen erfüllte und ihre Gesamterfahrung mit den Salesforce-KI-Tools verbesserte.

Wichtige Merkmale von DEI

Benchmarking und Promptevaluation

Ein spezifisches Merkmal von DEI ist seine umfassende Benchmarking- und Promptevaluationsfähigkeiten. Diese Funktion ist entscheidend für die systematische Bewertung und Verbesserung der KI-Leistung. Durch die Verwendung einer Vielzahl von standardisierten Tests und Metriken kann DEI KI-Modelle gegen Industriestandards und Best Practices benchmarken, was hilft, Stärken und Schwächen in den Ausgaben der KI zu identifizieren.

RAG (Retrieval-Augmented Generation)

Ein weiteres kritisches Merkmal von DEI konzentriert sich auf den Retrieval-Aspekt, bekannt als Retrieval-Augmented Generation (RAG). Diese Funktion implementiert kontextbewusste Evaluationsmodelle, die die Fähigkeit der KI verbessern, kontextuell relevante Antworten in verschiedenen Bereichen und Szenarien zu generieren. Durch die Sicherstellung, dass die abgerufenen Daten für die Prompts relevant sind, werden wesentliche Herausforderungen in Bezug auf die Genauigkeit und Relevanz der von der KI erzeugten Inhalte adressiert.

Anwendungsphasen von DEI

Entwicklung

Während der Entwicklungsphase wird DEI eingesetzt, um die anfänglichen Prompts und strategischen Pläne gründlich zu testen und zu validieren. Dies umfasst die Identifizierung und Behebung potenzieller Fehler oder Ineffizienzen früh im Prozess, um sicherzustellen, dass die grundlegenden Elemente robust und effektiv sind, bevor man zu den nächsten Phasen übergeht.

Benchmarking

In der Benchmarking-Phase führt DEI eine detaillierte vergleichende Analyse verschiedener LLMs (Large Language Models) anhand von Schlüsselmerkmalen wie Genauigkeit, Vertrauenswürdigkeit, Leistungsmetriken und Kosteneffizienz durch. Diese Phase ist entscheidend, damit Entscheidungsträger das am besten geeignete LLM auswählen können, das den spezifischen CRM-Anforderungen und strategischen Zielen der Organisation entspricht.

Produktion

Sobald sich DEI in der Produktion befindet, überwacht es kontinuierlich das eingesetzte System, um sicherzustellen, dass es den in der Entwicklungsphase festgelegten Qualitätsstandards entspricht. Es erkennt Leistungsabweichungen oder -drifts und ermöglicht rechtzeitige Anpassungen an Prompts oder strategischen Plänen. Diese kontinuierliche Bewertung stellt sicher, dass das System in einer realen Betriebsumgebung effizient, zuverlässig und auf die gewünschten Ergebnisse ausgerichtet bleibt.

Kundeneinfluss auf die Entwicklung von DEI

Ein spezielles Merkmal von DEI ist seine dynamische Anpassungsfähigkeit an Kundenfeedback. Diese Funktion ist entscheidend, um KI-Ausgaben basierend auf Echtzeit-Benutzerinteraktionen zu verfeinern. Durch die direkte Einbeziehung von Feedback in den Evaluationsprozess kann DEI Prompts anpassen, um deren Relevanz, Klarheit und Effektivität zu verbessern. Dieser Feedback-Loop-Mechanismus stellt sicher, dass die KI-Anwendungen den Benutzerbedürfnissen und -erwartungen entsprechen und somit die Reaktionsfähigkeit und Anpassungsfähigkeit der auf Prompts basierenden Interaktionen erheblich verbessern. Kundenfeedback spielt eine zentrale Rolle im iterativen Entwicklungsprozess von DEI, indem es kontinuierliche Verbesserungen fördert, die die Benutzererfahrung und die Anwendungszuverlässigkeit verfeinern.

Schlussfolgerung

Die Einführung von DEI durch Salesforce markiert einen bedeutenden Fortschritt in der Verbesserung der Leistung von KI-Softwareentwicklungsagenten. Durch die Nutzung der kollektiven Expertise und die dynamische Anpassungsfähigkeit an Kundenfeedback stellt DEI sicher, dass KI-Modelle nicht nur leistungsfähiger, sondern auch relevanter und benutzerfreundlicher sind. Mit kontinuierlichen Evaluierungen und Anpassungen bleibt DEI ein Schlüsselwerkzeug zur Förderung der nächsten Generation von KI-Technologien. Bibliographie: - https://huggingface.co/papers