Apps & Leitfäden

Was ist neu in Qwen 3

Der globale KI-Wettlauf wird immer schneller. Forschungseinrichtungen, Privatunternehmen und sogar ganze Nationen konkurrieren jetzt um die Führung im Bereich der KI. Im Großen und Ganzen lässt sich dieser Wettlauf in mehrere Phasen unterteilen. In der ersten Phase ging es um die Entwicklung von KI im engeren Sinne. Bestehende neuronale Netzwerkmodelle wie GPT, MidJourney und AlphaFold zeigen, dass diese Phase erfolgreich abgeschlossen wurde.

Der nächste Schritt sieht die Entwicklung von KI zu AGI (Artificial General Intelligence) vor. AGI sollte der menschlichen Intelligenz bei der Lösung eines breiten Spektrums von Aufgaben ebenbürtig sein, vom Schreiben von Geschichten über wissenschaftliche Berechnungen bis hin zum Verstehen sozialer Situationen und selbstständigem Lernen. Zum Zeitpunkt der Erstellung dieses Artikels ist diese Stufe noch nicht erreicht.

Die letzte Stufe der KI-Entwicklung wird als ASI (Artificial Super Intelligence) bezeichnet. Sie würde die menschlichen Fähigkeiten in allen Bereichen weit übertreffen. Damit wäre es möglich, Technologien zu entwickeln, die wir uns heute noch nicht einmal vorstellen können, und globale Systeme mit einer Präzision zu steuern, die menschliche Fähigkeiten übersteigt. Dies könnte jedoch erst nach Jahrzehnten (oder sogar Jahrhunderten) kontinuierlicher Weiterentwicklung Realität werden.

Daher konzentrieren sich die meisten Teilnehmer des KI-Wettlaufs darauf, die AGI zu erreichen und gleichzeitig die Kontrolle über sie zu behalten. Die Entwicklung von AGI ist eng mit einer Vielzahl komplexer technischer, ethischer und rechtlicher Herausforderungen verbunden. Dennoch überwiegen die potenziellen Vorteile bei weitem die Kosten, weshalb Unternehmen wie die Alibaba Group stark in diesen Bereich investieren.

Die Veröffentlichung von Qwen 3 stellt nicht nur für die neuronalen Netze eines Unternehmens, sondern auch auf globaler Ebene einen wichtigen Meilenstein dar. Im Vergleich zu seinem Vorgänger führt das Modell mehrere wichtige Neuerungen ein.

Merkmale

Qwen 2.5 wurde mit einem Datensatz von 18 Milliarden Token trainiert, während das neue Modell diese Menge auf 36 Milliarden Token verdoppelt hat. Der größere Datensatz hat die Genauigkeit des Basismodells erheblich verbessert. Interessanterweise wurde das System zusätzlich zu den öffentlich zugänglichen Internetdaten, die durch Parsing gesammelt wurden, auch auf PDF-Dokumenten trainiert. Diese sind in der Regel gut strukturiert und weisen eine hohe Wissensdichte auf, was dem Modell hilft, genauere Antworten zu geben und komplexe Formulierungen besser zu verstehen.

Eine der vielversprechendsten Richtungen in der KI-Entwicklung ist die Entwicklung von Modellen, die zu Schlussfolgerungen fähig sind und den Aufgabenkontext in einem iterativen Prozess erweitern können. Auf der einen Seite ermöglicht dies eine umfassendere Problemlösung, auf der anderen Seite verlangsamt das schlussfolgernde Denken den Prozess aber auch erheblich. Deshalb haben die Entwickler von Qwen 3 zwei Betriebsmodi eingeführt:

Thinking mode. Das Modell baut den Kontext schrittweise auf, bevor es eine endgültige Antwort liefert. Dies ermöglicht es, komplexe Probleme zu lösen, die ein tiefes Verständnis erfordern.
Non-thinking mode. Das Modell reagiert fast sofort, kann aber auch oberflächliche Antworten ohne tiefgreifende Analyse liefern.

Diese manuelle Kontrolle über das Verhalten des Modells verbessert die Benutzererfahrung bei der Bewältigung vieler Routineaufgaben. Die Verringerung der Verwendung des Denkmodus senkt auch die GPU-Belastung erheblich, so dass mehr Token im gleichen Zeitrahmen verarbeitet werden können.

Zusätzlich zu dieser binären Auswahl gibt es auch einen Soft-Switching-Mechanismus. Dieses hybride Verhalten ermöglicht es dem Modell, sich mithilfe interner Gewichtungsmechanismen an den Kontext anzupassen. Wenn das Modell eine Aufgabe als schwierig einstuft, löst es automatisch Überlegungen oder sogar eine Selbstüberprüfung aus. Es kann auch auf Benutzerhinweise reagieren, wie z. B. "Denken wir Schritt für Schritt".

Eine weitere wichtige Verbesserung ist die erweiterte Unterstützung von Mehrsprachigkeit. Während Qwen 2.5 nur 29 Sprachen unterstützte, kann die Version 3 nun Text in 119 Sprachen und Dialekten verstehen und erzeugen. Dies hat das Verfolgen von Anweisungen und das Verständnis von Zusammenhängen erheblich verbessert. Dadurch kann Qwen 3 nun auch in nicht-englischen Umgebungen effektiv eingesetzt werden.

Darüber hinaus ist Qwen 3 jetzt wesentlich besser mit MCP-Servern integriert, was dem Modell die Möglichkeit gibt, tiefer in Problemlösungen einzutauchen und Aktionen auszuführen. Es kann nun mit externen Quellen interagieren und komplexe Prozesse direkt verwalten.

Modell-Schulung

Vorschulung

Ein solch großer Fortschritt wäre ohne ein mehrstufiges Trainingssystem nicht möglich gewesen. Zunächst wurde das Modell mit 30B Token und einer Kontextlänge von 4K trainiert, damit es allgemeines Wissen und grundlegende Sprachkenntnisse erwerben konnte.

Danach folgte eine Verfeinerungsphase mit wissenschaftlicheren und besser strukturierten Daten. In dieser Phase erlangte das Modell auch die Fähigkeit, Anwendungen in mehreren Programmiersprachen effektiv zu schreiben.

Schließlich wurde es auf einem hochwertigen Datensatz mit erweitertem Kontext trainiert. Als Ergebnis unterstützt Qwen 3 jetzt eine effektive Kontextlänge von 128K Token, was je nach Sprache etwa 350 Seiten getippten Textes entspricht. Kyrillisch basierte Sprachen haben beispielsweise aufgrund der Morphologie und der Verwendung von Präfixen, Suffixen usw. oft kürzere Token.

Reasoning-Pipeline

Die Entwicklung von schlussfolgernden Modellen ist ein faszinierender, aber arbeitsintensiver Prozess, der verschiedene bestehende Techniken zur Simulation des menschlichen Denkens kombiniert. Ausgehend von den öffentlich zugänglichen Informationen können wir davon ausgehen, dass das Argumentationstraining von Qwen 3 vier Hauptphasen umfasste:

Cold start for long chains of thought. Das Modell wird darauf trainiert, Probleme ohne vorherige Anpassung in mehrere Schritte zu zerlegen. Auf diese Weise lernt es iteratives Denken und entwickelt eine grundlegende Ebene von Denkfähigkeiten.
Reinforcement learning based on reasoning. In dieser Phase hängt die Belohnung nicht nur von der endgültigen Antwort ab, sondern auch davon, wie gut das Modell logische, interpretierbare und strukturierte Argumentationsketten konstruiert. Auch das Ausbleiben von Fehlern und Halluzinationen wird bewertet.
Merging reasoning modes. Der Mensch arbeitet in der Regel mit zwei Denkstilen: schnell (intuitiv) und langsam (analytisch). Je nach Art der Aufgabe sollte das neuronale Modell lernen, zwischen diesen beiden Stilen zu wechseln und sie zu integrieren. Dies geschieht in der Regel anhand von Beispielen, die beide Stile kombinieren, oder durch spezielle Token, die angeben, welcher Stil anzuwenden ist.
General reinforcement learning. Diese letzte Phase ähnelt einer Sandkastenumgebung, in der das Modell lernt, mit Werkzeugen zu interagieren, mehrstufige Aufgaben auszuführen und adaptives Verhalten zu entwickeln. Hier wird es auch auf die Benutzerpräferenzen eingestellt.

Fazit

Qwen 3 ist ein wichtiger Meilenstein für die Alibaba Group. Seine Trainingsqualität und -methodik machen es zu einem ernsthaften Konkurrenten für etablierte Anbieter wie OpenAI und Anthropic. Die Verbesserungen gegenüber der Vorgängerversion sind beträchtlich.

Ein zusätzlicher Vorteil ist der Open-Source-Charakter: Die Codebasis ist auf GitHub unter der Apache-2.0-Lizenz öffentlich zugänglich.

Die Weiterentwicklung der Qwen-Modellfamilie wird dazu beitragen, ihre Position in der globalen KI-Arena zu stärken und die Lücke zu kommerziellen Closed-Source-Modellen zu schließen. Und alle aktuellen Errungenschaften sind auf die eine oder andere Weise ein Schritt in Richtung Fortschritt der Menschheit bei der Entwicklung von AGI.

Siehe auch:

Veröffentlicht: 14.07.2025