Integration von Fireworks.ai im Hugging Face Hub eröffnet neue Möglichkeiten für KI-Entwickler
Artikel jetzt als Podcast anhören
Feuerwerk der KI: Fireworks.ai jetzt auf dem Hugging Face Hub
Der Hugging Face Hub begrüßt einen neuen Partner im Bereich der Inferenz-Bereitstellung: Fireworks.ai. Diese Integration ermöglicht Nutzern eine deutlich beschleunigte, serverlose Inferenz direkt auf den Modellseiten des Hubs. Damit wird das Experimentieren und Bereitstellen von KI-Modellen einfacher und effizienter.
Fireworks.ai bietet eine nahtlose Integration in den Hugging Face Hub und unterstützt eine Vielzahl von Modellen, darunter:
deepseek-ai/DeepSeek-R1
deepseek-ai/DeepSeek-V3
mistralai/Mistral-Small-24B-Instruct-2501
Qwen/Qwen2.5-Coder-32B-Instruct
meta-llama/Llama-3.2-90B-Vision-Instruct
Die vollständige Liste der unterstützten Modelle ist auf dem Hugging Face Hub einsehbar.
Wie funktioniert die Integration?
Die Nutzung von Fireworks.ai auf dem Hugging Face Hub gestaltet sich äußerst benutzerfreundlich. Sowohl über die Webseite als auch programmatisch via Client SDKs (Python, JavaScript) und HTTP-Anfragen kann auf die Inferenz-Dienste zugegriffen werden.
Auf der Webseite des Hubs können Nutzer direkt nach Fireworks.ai-unterstützten Modellen suchen. Innerhalb der Client SDKs wird Fireworks.ai als Inferenz-Provider festgelegt. Hierbei kann entweder ein Hugging Face Token für das automatische Routing oder ein eigener Fireworks.ai API-Schlüssel verwendet werden. Detaillierte Codebeispiele für Python und JavaScript sind auf dem Hugging Face Blog verfügbar.
Auch direkte HTTP-Anfragen an die Fireworks.ai-Endpunkte sind möglich. Die Authentifizierung erfolgt dabei über den jeweiligen API-Schlüssel.
Abrechnung und Kosten
Die Abrechnung der Fireworks.ai-Nutzung erfolgt je nach Zugriffsmethode unterschiedlich. Bei direkten Anfragen über einen Fireworks.ai API-Schlüssel wird der Verbrauch direkt über das Fireworks.ai-Konto abgerechnet. Bei gerouteten Anfragen über den Hugging Face Hub fallen die Standardgebühren von Fireworks.ai an, ohne zusätzliche Aufschläge seitens Hugging Face. Zukünftig sind Umsatzbeteiligungsmodelle mit den Partnern nicht ausgeschlossen.
Ein besonderer Vorteil für Hugging Face PRO-Nutzer: Sie erhalten monatlich Guthaben im Wert von 2 US-Dollar für Inferenz-Leistungen, welches providerübergreifend eingesetzt werden kann.
Vorteile der Fireworks.ai Integration
Die Integration von Fireworks.ai in den Hugging Face Hub bietet zahlreiche Vorteile für Entwickler und KI-Enthusiasten. Die serverlose Inferenz ermöglicht einen schnellen und einfachen Zugriff auf leistungsstarke KI-Modelle, ohne sich um die Infrastruktur kümmern zu müssen. Die flexible Nutzung über verschiedene Zugriffsmethoden (Webseite, SDKs, HTTP) erleichtert die Integration in bestehende Workflows. Die transparente Abrechnung und die Möglichkeit der Nutzung von Hugging Face PRO-Guthaben bieten zusätzliche Kostenkontrolle und Flexibilität.
Mit Fireworks.ai auf dem Hugging Face Hub steht Entwicklern ein weiteres mächtiges Werkzeug zur Verfügung, um die Potenziale der Künstlichen Intelligenz voll auszuschöpfen.
Bibliographie: - https://huggingface.co/blog/fireworks-ai - https://fireworks.ai/ - https://huggingface.co/blog - https://fireworks.ai/login - https://www.youtube.com/watch?v=0EnhjWgVG4c - https://www.linkedin.com/posts/lin-qiao-22248b4_im-super-excited-to-share-the-new-audio-activity-7272301166699413504-hWXs - https://aws.amazon.com/marketplace/pp/prodview-xjyibdnkmirz6 - https://www.youtube.com/watch?v=OCIviO2-rHU - https://app.otta.com/jobs/Bv_XSBzL - https://docs.fireworks.ai/getting-started/onboarding
