Mistral Large 2: Ein David gegen die Goliaths der Tech-Welt

Einführung

In der sich schnell entwickelnden Welt der künstlichen Intelligenz hat Mistral AI kürzlich mit der Einführung seines neuesten Modells, Mistral Large 2 (ML2), für Aufsehen gesorgt. Dieses Modell tritt gegen die Giganten der Branche wie OpenAI, Meta und Anthropic an, obwohl es nur einen Bruchteil deren Größe aufweist.

Technische Details und Vergleich

Der Zeitpunkt der Veröffentlichung von ML2 ist bemerkenswert, da sie in derselben Woche erfolgt wie Metas Einführung des gigantischen 405-Milliarden-Parameter-Modells Llama 3.1. Sowohl ML2 als auch Llama 3 verfügen über beeindruckende Fähigkeiten, darunter ein 128.000-Token-Kontextfenster für eine verbesserte "Erinnerung" und die Unterstützung mehrerer Sprachen. Mistral AI hat sich durch seinen Fokus auf Sprachvielfalt einen Namen gemacht, und ML2 setzt diese Tradition fort. Das Modell unterstützt "Dutzende" von Sprachen und mehr als 80 Programmiersprachen, was es zu einem vielseitigen Werkzeug für Entwickler und Unternehmen weltweit macht.

Benchmark-Ergebnisse

Laut den Benchmarks von Mistral schneidet ML2 im Vergleich zu erstklassigen Modellen wie OpenAI’s GPT-4o, Anthropics Claude 3.5 Sonnet und Metas Llama 3.1 405B in verschiedenen Sprach-, Programmier- und Mathematiktests wettbewerbsfähig ab. Im weithin anerkannten Massive Multitask Language Understanding (MMLU) Benchmark erzielte ML2 eine Punktzahl von 84 Prozent. Obwohl dies leicht hinter seinen Konkurrenten liegt (GPT-4o bei 88,7 %, Claude 3.5 Sonnet bei 88,3 % und Llama 3.1 405B bei 88,6 %), ist zu beachten, dass menschliche Domänenexperten auf diesem Test etwa 89,8 % erreichen.

Effizienz: Ein Schlüsselvorteil

Was ML2 auszeichnet, ist seine Fähigkeit, mit deutlich weniger Ressourcen eine hohe Leistung zu erzielen als seine Rivalen. Mit 123 Milliarden Parametern ist ML2 weniger als ein Drittel so groß wie Metas größtes Modell und ungefähr ein Vierzehntel so groß wie GPT-4. Diese Effizienz hat große Auswirkungen auf den Einsatz und kommerzielle Anwendungen. Bei voller 16-Bit-Präzision benötigt ML2 etwa 246 GB Speicher. Obwohl dies immer noch zu groß für eine einzelne GPU ist, kann es problemlos auf einem Server mit vier bis acht GPUs ohne Quantisierung eingesetzt werden – eine Leistung, die mit größeren Modellen wie GPT-4 oder Llama 3.1 405B nicht unbedingt erreichbar ist. Mistral betont, dass der kleinere Footprint von ML2 zu einem höheren Durchsatz führt, da die Leistung von großen Sprachmodellen (LLM) weitgehend von der Speicherbandbreite abhängt. In praktischen Begriffen bedeutet dies, dass ML2 auf derselben Hardware schneller Antworten generieren kann als größere Modelle.

Bewältigung zentraler Herausforderungen

Mistral hat dem Kampf gegen Halluzinationen – ein häufiges Problem, bei dem KI-Modelle überzeugende, aber ungenaue Informationen generieren – Priorität eingeräumt. Das Unternehmen behauptet, dass ML2 so fein abgestimmt wurde, dass es in seinen Antworten vorsichtiger und anspruchsvoller ist und besser erkennt, wann es nicht genügend Informationen hat, um eine Frage zu beantworten. Zusätzlich wurde ML2 so konzipiert, dass es komplexen Anweisungen, insbesondere in längeren Gesprächen, besser folgen kann. Diese Verbesserung der Prompt-Following-Fähigkeiten könnte das Modell vielseitiger und benutzerfreundlicher in verschiedenen Anwendungen machen. In Anerkennung praktischer geschäftlicher Bedenken hat Mistral ML2 optimiert, um dort, wo es angebracht ist, prägnante Antworten zu generieren. Während ausführliche Ausgaben zu höheren Benchmark-Ergebnissen führen können, resultieren sie oft in höheren Computerkosten und Betriebskosten – ein Aspekt, der ML2 für den kommerziellen Einsatz attraktiver machen könnte.

Lizenzierung und Verfügbarkeit

Während ML2 frei auf beliebten Repositories wie Hugging Face verfügbar ist, sind seine Lizenzbedingungen restriktiver als bei einigen früheren Angeboten von Mistral. Im Gegensatz zur Open-Source-Apache-2-Lizenz, die für das Mistral-NeMo-12B-Modell verwendet wird, wird ML2 unter der Mistral Research License veröffentlicht. Diese erlaubt nicht-kommerzielle und Forschungsnutzung, erfordert jedoch eine separate kommerzielle Lizenz für geschäftliche Anwendungen.

Fazit

Während das Rennen um die Vorherrschaft in der KI weiter an Fahrt gewinnt, stellt Mistrals ML2 einen bedeutenden Fortschritt in Bezug auf Leistung, Effizienz und Praktikabilität dar. Ob es tatsächlich die Dominanz der Technologiegiganten herausfordern kann, bleibt abzuwarten, aber seine Veröffentlichung ist sicherlich eine spannende Ergänzung im Bereich der großen Sprachmodelle.

Bibliographie

- https://www.artificialintelligence-news.com/news/mistral-large-2-david-to-big-tech-goliaths/ - https://www.linkedin.com/posts/alexandre-momeni_introducing-mistral-large-on-azure-in-partnership-activity-7167918822904033280-eSNC - https://www.reddit.com/r/LocalLLaMA/comments/18hwwrh/mixtral_aka_david_vs_goliath_120b/ - https://venturebeat.com/ai/nvidia-and-mistrals-new-model-mistral-nemo-brings-enterprise-grade-ai-to-desktop-computers/ - https://fortune.com/asia/2024/06/30/david-meets-goliath-japan-korea-make-startups-work-large-conglomerates-twist-silicon-valley/ - https://olivermolander.medium.com/the-113m-mistral-ai-seed-round-why-so-much-hate-c1682915bf62 - https://www.linkedin.com/posts/shaunmodi_david-goliath-we-launchedcapitol-ai-activity-7162869618531897344-NEZc - https://www.cer.eu/publications/archive/policy-brief/2023/how-europe-can-make-most-ai - https://aclanthology.org/volumes/2024.naacl-long/