Anthropic hat eine Reihe von Updates für seine Claude-KI-Modelle angekündigt, darunter ein verbessertes Claude 3.5 Sonnet und das neue Claude 3.5 Haiku. Besonders hervorzuheben ist die Einführung einer neuen Funktion, die es dem Modell ermöglicht, direkt mit Computerschnittstellen zu interagieren.
Das aktualisierte Claude 3.5 Sonnet zeigt erhebliche Verbesserungen bei Programmieraufgaben. Die Leistung im SWE Bench Verified Test stieg von 33,4% auf 49,0%. Anthropic behauptet, damit alle öffentlich verfügbaren Modelle, einschließlich spezialisierter Programmiersysteme, zu übertreffen. Auch im TAU Bench, einem Test für die Nutzung von Agenten-Tools, erzielte Sonnet Fortschritte. Im Einzelhandelsbereich stieg die Leistung von 62,6% auf 69,2%, während sie im anspruchsvolleren Luftfahrtsektor von 36,0% auf 46,0% verbessert wurde.
Mit Claude 3.5 Haiku präsentiert Anthropic ein neues Modell, das trotz seiner kompakten Größe in vielen Benchmarks das vorherige Spitzenmodell Claude 3 Opus übertrifft. Dabei behält es die Geschwindigkeit und Kosten des vorherigen Claude 3 Haiku bei. Insbesondere bei Programmieraufgaben zeigt Claude 3.5 Haiku beeindruckende Fähigkeiten und erreicht im SWE-bench Verified Test 40,6%. Laut Anthropic übertrifft dies die Leistung vieler Agenten, die auf öffentlich verfügbaren State-of-the-Art-Modellen basieren, einschließlich GPT-4o.
Hinsichtlich der Wissensdatenbanken ist Sonnet 3.5 auf dem Stand von April 2024, während das neue Haiku-Modell Informationen bis Juli 2024 enthält.
Die neue Funktion "Computer Use" bezeichnet Anthropic als bedeutende Innovation. Anstatt spezifische Tools für einzelne Aufgaben zu entwickeln, verfolgt das Unternehmen einen breiteren Ansatz, indem es Claude allgemeine Computerkenntnisse vermittelt. Dies ermöglicht der KI, verschiedene Standardtools und Softwareprogramme zu verwenden, die ursprünglich für den menschlichen Gebrauch entwickelt wurden.
Über eine eigens entwickelte API kann Claude Computeroberflächen wahrnehmen und mit ihnen interagieren. Entwickler können diese API integrieren, um Anweisungen wie "Verwende Daten von meinem Computer und dem Internet, um dieses Formular auszufüllen" in konkrete Computerbefehle umzusetzen.
Das System kann den Mauszeiger bewegen, auf Bildschirmelemente klicken und Informationen über eine virtuelle Tastatur eingeben. Im OSWorld-Benchmark, der die Fähigkeit von KI-Modellen zur computergestützten Aufgabenbewältigung bewertet, erreichte Claude 3.5 Sonnet in der Kategorie "Nur Screenshots" 14,9%. Obwohl dies deutlich höher ist als das nächstbeste KI-System mit 7,8%, liegt es immer noch weit unter den menschlichen Fähigkeiten.
Anthropic räumt ein, dass Claudes derzeitige Fähigkeiten zur Computerinteraktion noch nicht perfekt sind. Aktionen wie Scrollen, Ziehen oder Zoomen, die Menschen mühelos ausführen, stellen Claude noch vor Herausforderungen. Das Unternehmen empfiehlt Entwicklern, bei der Implementierung dieser Funktion mit risikoarmen Aufgaben zu beginnen.
Die neuen Modelle und Funktionen unterstreichen Anthropics Engagement für Innovation und verantwortungsvolle KI-Entwicklung. Die stetige Verbesserung der Modelle, insbesondere im Bereich der Programmierung und der Computerinteraktion, eröffnet neue Möglichkeiten für die Anwendung von KI in verschiedenen Branchen. Gleichzeitig betont Anthropic die Bedeutung von Sicherheit und Transparenz bei der Entwicklung und Bereitstellung dieser leistungsstarken Technologien.
Bibliographie: https://www.anthropic.com/news/3-5-models-and-computer-use https://www.anthropic.com/news/claude-3-5-sonnet https://the-decoder.com/anthropic-releases-updated-smarter-claude-haiku-3-5-and-sonnet-3-5-model/ https://www.anthropic.com/claude/haiku https://aws.amazon.com/blogs/aws/upgraded-claude-3-5-sonnet-from-anthropic-available-now-computer-use-public-beta-and-claude-3-5-haiku-coming-soon-in-amazon-bedrock/ https://sdtimes.com/ai/anthropic-releases-updated-version-of-claude-3-5-sonnet-and-first-release-of-claude-3-5-haiku/ https://www.amitysolutions.com/blog/introducing-claude-35-sonnet-and-haiku-model-upgrades https://medium.com/@woyera/whats-new-with-claude-sonnet-3-5-claude-3-5-haiku-c1f62a2d2c72 https://aws.amazon.com/about-aws/whats-new/2024/10/anthropics-claude-3-5-sonnet-claude-3-haiku-models-aws-govcloud-us-west-region https://www.tomsguide.com/ai/anthropic-just-dropped-claude-haiku-3-5-and-gave-the-chatbot-a-huge-upgrade-heres-whats-new