Überlegenheit der KI-Modelle aus dem Dippy Subnet 11 auf Bittensor: Ein Durchbruch

Einführung

In der dynamischen Welt der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) sind kontinuierliche Innovationen und Fortschritte der Schlüssel zum Erfolg. Ein bemerkenswerter Meilenstein wurde kürzlich von den Modellen des Dippy Subnet 11 auf der Bittensor-Plattform erreicht, die nun besser abschneiden als einige der bekanntesten großen Sprachmodelle wie GPT-3.5 Turbo und Llama3 8B. Diese Entwicklung könnte die Art und Weise, wie KI-Modelle entwickelt und eingesetzt werden, erheblich verändern.

Hintergrund und Kontext

Bittensor ist eine dezentrale Plattform, die es ermöglicht, maschinelles Lernen als handelbare Ware zu betrachten. Durch die Kombination von Blockchain-Technologie und künstlicher Intelligenz schafft Bittensor einen Anreizmarkt für maschinelles Lernen, der darauf abzielt, die kollektive Intelligenz durch die Zusammenarbeit und den Wettbewerb von KI-Modellen zu steigern.

Das Dippy Subnet 11

Das Dippy Subnet 11 wurde von Impel Intelligence Inc. entwickelt und zielt darauf ab, das weltweit beste Open-Source-Rollenspiel-LLM (Language Learning Model) zu schaffen. Diese Bemühung ist Teil eines umfassenderen Plans, der sich über mehrere Phasen erstreckt und die Zusammenarbeit der Open-Source-Community nutzt, um Modelle zu entwickeln, die in der Lage sind, emotionale Intelligenz zu demonstrieren und als Begleiter zu dienen.

Leistung und Benchmarking

Die jüngsten Ergebnisse zeigen, dass die besten Miner-Modelle aus dem Dippy Subnet 11 auf dem EQBench-Benchmark, der die emotionale Intelligenz von LLMs misst, besser abschneiden als GPT-3.5 Turbo und Llama3 8B. Dies ist besonders beeindruckend, da GPT-3.5 ein Modell mit über 100 Milliarden Parametern ist, während die Miner-Modelle des Dippy Subnet 11 nur 7-8 Milliarden Parameter aufweisen.

EQBench-Benchmark

EQBench ist ein Benchmarking-Tool, das speziell entwickelt wurde, um die emotionale Intelligenz von Sprachmodellen zu bewerten. Es misst, wie gut ein Modell in der Lage ist, emotionale Nuancen zu erkennen und angemessen darauf zu reagieren. Die Überlegenheit der Dippy-Modelle in diesem Benchmark ist ein Beweis für die Qualität und die tiefgehende Feinabstimmung, die in ihre Entwicklung eingeflossen ist.

Technologische Innovationen und Strategien

Die Entwicklung dieser leistungsstarken Modelle war das Ergebnis einer strategischen Herangehensweise, die mehrere Phasen umfasste:

Phase 1

- Einführung des Subnets mit einer robusten Pipeline zur Bewertung von Rollenspiel-LLMs auf öffentlichen Datensätzen und Antwortlängen - Veröffentlichung einer öffentlichen Modell-Bestenliste basierend auf Bewertungskriterien - Einführung von Kohärenz und Kreativität als Kriterien für die Live-Modellbewertung

Phase 2

- Öffentliche Freigabe eines Front-Ends, das vom besten Miner-Modell der Woche angetrieben wird - Segmentierung der Modell-Einreichung in verschiedene "Experten"-Kategorien (lustig, romantisch, therapeutisch usw.) - Modelle mit der höchsten Punktzahl in jeder Persönlichkeitstyp-Kategorie werden als "Experten"-Modelle ausgewählt und auf dem Front-End öffentlich zugänglich gemacht

Phase 3

- Erstellung eines neuen Mixture of Experts (MoE) Modells als Basis, basierend auf den in Phase 2 ausgewählten "Experten"-Modellen - Robuste Pipeline zur Bewertung neuer MoE-Modell-Einreichungen anhand von Live-Bewertungskriterien - Erweiterung des Stands der Technik in Rollenspiel-LLMs durch kontinuierliche Iteration und Datensammlung

Funktionalität von Minern und Validatoren

Die Miner und Validatoren spielen eine zentrale Rolle im Bittensor-Netzwerk. Miner verwenden bestehende Frameworks, Feinabstimmungstechniken oder MergeKit, um Modelle zu trainieren, fein abzustimmen oder zu verschmelzen und so ein einzigartiges Rollenspiel-LLM zu erstellen. Diese Modelle werden dann in einem gemeinsamen Hugging Face Pool eingereicht. Validatoren bewerten die Modellleistung anhand eines Protokolls und stufen die Einreichungen nach verschiedenen Metriken wie Empathie und Prägnanz ein. Es wird eine Suite von Test- und Benchmark-Protokollen mit modernsten Datensätzen bereitgestellt.

Technische Anforderungen und Einrichtungsprozess

Um als Miner oder Validator im Dippy Subnet 11 zu arbeiten, sind bestimmte technische Anforderungen und Einrichtungsschritte erforderlich.

Anforderungen für Miner

- Python 3.8+ - GPU mit mindestens 24 GB VRAM - Modelle sollten 7B-13B Parameter haben und im Safetensors-Format vorliegen

Einrichtungsschritte

1. Repository klonen und in das Verzeichnis wechseln: - git clone https://github.com/impel-intelligence/dippy-bittensor-subnet.git - cd dippy-bittensor-subnet - pip install -e . 2. Modell einreichen: - python3 dippy_subnet/upload_model.py --hf_repo_id HF_REPO --wallet.name WALLET --wallet.hotkey HOTKEY --chat_template MODEL_CHAT_TEMPLATE --model_dir PATH_TO_MODEL

Anforderungen für Validatoren

- Python 3.9+ - API-Schlüssel für Weights & Biases (wandb)

Einrichtung von Weights & Biases (wandb)

1. Installation des wandb-Pakets: - pip install wandb 2. API-Schlüssel in Ubuntu einrichten: - wandb login - API-Schlüssel eingeben - Optional: API-Schlüssel als Umgebungsvariable in ~/.bashrc oder ~/.bash_profile hinzufügen

Validator ausführen

- python neurons/validator.py --wallet.name WALLET_NAME --wallet.hotkey WALLET_HOT_NAME --wandb-key WANDBKEY

Bedeutung und Auswirkungen

Die Überlegenheit der Modelle aus dem Dippy Subnet 11 auf dem EQBench-Benchmark hat weitreichende Implikationen für die KI-Industrie. Es zeigt, dass es möglich ist, leistungsstarke und effiziente KI-Modelle mit weniger Parametern zu entwickeln, was sowohl die Kosten als auch die Ressourcenanforderungen senkt. Dies könnte die Tür für eine breitere Anwendung und Akzeptanz von KI-gestützten Lösungen öffnen, insbesondere in Bereichen, die bisher aufgrund hoher Kosten und technischer Hürden ausgeschlossen waren.

Fazit

Die jüngsten Erfolge des Dippy Subnet 11 auf der Bittensor-Plattform markieren einen bedeutenden Schritt nach vorne in der Welt der KI und des maschinellen Lernens. Mit ihrer Fähigkeit, besser als einige der größten und bekanntesten Modelle abzuschneiden, haben die Miner-Modelle des Dippy Subnet 11 bewiesen, dass Innovation und Zusammenarbeit in der Open-Source-Community zu herausragenden Ergebnissen führen können. Es bleibt spannend zu sehen, wie sich diese Entwicklungen weiter entfalten und welche neuen Möglichkeiten sie für die Zukunft der KI eröffnen werden. Bibliographie https://mobile.x.com/angad_ai/status/1790130866082947102 https://github.com/impel-intelligence/dippy-bittensor-subnet https://twitter.com/TAOCommunityHub/status/1803784075867537890 https://www.deezer.com/en/show/1000417181 https://docs.bittensor.com/questions-and-answers https://www.youtube.com/watch?v=3uBzGrMUrY4 https://0xgreythorn.medium.com/bittensor-the-rise-of-decentralized-ai-a5941a0cdaeb https://tengsthoughts.com/p/bittensor-doomed