Tool zur Analyse, wie oft und in welchem Kontext ein Unternehmen in ChatGPT-Antworten erwähnt wird. Es crawlt die Website und Konkurrenzseiten, analysiert Suchtrends und simuliert Nutzerabfragen, um Mentions in KI-Modellen zu tracken.
Eine Rangliste, die populäre Open-Source-Sprachmodelle nach verschiedenen Metriken vergleicht und bewertet. Bietet einen Überblick über verfügbare quelloffene LLMs und deren Leistungsmerkmale. Ermöglicht es Entwicklern, das passende Modell für ihre Anforderungen zu finden.
Tool zur Überprüfung, ob eine Person in den Trainigsdaten von Large Language Models vertreten ist. Nutzt verschiedene Abfragetechniken, um potenzielle Einträge in LLM-Gewichtungen zu identifizieren. Relevante Anwendung für Datenschutz und Transparenz im Kontext von KI-Training.
Benchmark-Tool zur Messung der Geschwindigkeit und Performance von Large Language Models. Ähnlich wie Fast.com für Internetgeschwindigkeit, bietet es einen einfachen Test für LLM-Response-Zeiten. Ermöglicht Vergleiche zwischen verschiedenen Modellen und Anbietern.
Tool zum Testen von LLM-Ausgabeverhalten durch einfaches Umschalten einer System-Prompt-Einstellung. Ermöglicht A/B-Tests, um die Auswirkungen verschiedener Prompt-Konfigurationen auf die Modellausgabe zu messen. Hilfreich für die Optimierung von LLM-Responses in Produktionsumgebungen.
Open-Weight-LLM mit 753 Milliarden Parametern und Mixture-of-Experts-Architektur von Z.ai. Nur für Text-Eingaben ausgelegt und unter MIT-Lizenz veröffentlicht. Gilt als eines der leistungsstärksten Open-Source-Sprachmodelle.
LLM-Leaderboard, das verschiedene Sprachmodelle nach Leistung und Kosten vergleicht. Nutzt Live-Preisdaten von OpenRouter und bietet Benachrichtigungen, wenn neue Modelle verfügbar sind. Hilft dabei, das beste Preis-Leistungs-Verhältnis für verschiedene Aufgaben zu finden.
Wiederherstellung des ehemaligen Yahoo-Blogs für die YUI-Bibliothek mit über 1.000 Artikeln zu Frontend Engineering, JavaScript-Patterns, Performance und Accessibility. Das Archiv dokumentiert frühe Best Practices in der Webentwicklung von einflussreichen Autoren wie Douglas Crockford und Steve Souders.
Ein Benchmark-Framework zur Evaluierung von Prompt-Injection-Angriffen in Multi-Agent-KI-Systemen. Misst die Robustheit von Agenten gegen adversariale Prompt-Manipulationen. Hilfreich für Security-Testing und Hardening von KI-Systemen.
Ein Benchmark-Tool für LLM-Tool-Calling, inspiriert vom Spiel Overcooked. Es testet die Fähigkeit von Sprachmodellen, mehrere Werkzeuge in koordinierter Weise einzusetzen und komplexe Aufgabenfolgen zu bewältigen. Das Tool simuliert kooperative Szenarien, um die Robustheit und Effizienz von Tool-Calling-Implementierungen zu evaluieren.
Framework zur systematischen Evaluierung von LLM-Outputs basierend auf Evidenz. Nutzt strukturierte Methoden, um KI-generierte Inhalte objektiv zu bewerten. AWS-Projekt für reproducible Bewertungsprozesse bei Language Models.
Kombiniert Finanzmarktdaten mit KI-gestützter Analyse ähnlich wie Bloomberg Terminal. Ermöglicht natürlichsprachige Abfragen zu Aktiendaten, Markttrends und Finanzinformationen. Zielt auf Einzelinvestoren und Finanzanalytiker ab, die schnelle datengestützte Insights benötigen.