Talk |
BASTA! Herbst 2024
| 18.09.2024
Advanced RAG: AI-basierte Retriever-Auswahl mit Turbo
Retrieval Augmented Generation (RAG) verwendet Daten aus Retrieval-Systemen wie Vector-DBs, um die relevanten Informationen zur Beantwortung einer Benutzeranfrage zu finden. In Real-World-Szenarien geht es häufig um mehrere Quellen (Retriever) mit unterschiedlichen Datenarten. Um den zur Frage passenden Retriever auszuwählen, können wir eine MultiRoute-Chain nutzen. Hierbei wählt das LLM dynamisch die semantisch am besten passende Datenquelle für die Suche. Allerdings verlängert dieser Ansatz die Antwortzeit unseres AI-Workflows und kostet Tokens - also Geld.
Geht das auch schneller und günstiger? Ja! Ein Semantic Router nutzt für die Quellenauswahl kein LLM sondern ein Embedding Modell. Dieser Ansatz liefert eine mit einem LLM vergleichbare Qualität bei der Quellenauswahl, jedoch in Millisekunden und zu einem Bruchteil der Kosten.
Mit Live-Coding implementieren wir in einem Sample unter Verwendung des LangChain-Frameworks zuerst eine MultiRoute-Chain und optimieren dann auf eine Variante mit Semantic Router. Letztendlich zeigen beide Ansätze, wie die Leistung von RAG bei der Beantwortung von Benutzeranfragen deutlich verbessert werden kann.
Principal Consultant für Generative AI bei Thinktecture mit Fokus auf effektiver Integration von AI in Geschäftsapplikationen und Prozessen.
Event
BASTA! Herbst 2024
16.09.24
- 20.09.24
@ Mainz
(DE)
Slidedeck
Weitere Artikel zu AI, Generative AI, LangChain
AI
AI-Funktionen zu Angular-Apps hinzufügen: lokal und offlinefähig
Künstliche Intelligenz (KI) ist spätestens seit der Veröffentlichung von ChatGPT in aller Munde. Wit WebLLM können Sie einen KI-Chatbot in Ihre eigenen Angular-Anwendungen integrieren. Wie das funktioniert und welche Vor- und Nachteile WebLLM hat, lesen Sie hier.
26.02.2024
AI
Integrating AI Power into Your .NET Applications with the Semantic Kernel Toolkit – an Early View
With the rise of powerful AI models and services, questions come up on how to integrate those into our applications and make reasonable use of them. While other languages like Python already have popular and feature-rich libraries like LangChain, we are missing these in .NET and C#. But there is a new kid on the block that might change this situation. Welcome Semantic Kernel by Microsoft!
03.05.2023