Talk |
MLCon 2024
| 27.11.2024
Advanced RAG: AI-driven retriever selection with turbo
Retrieval Augmented Generation (RAG) utilizes retrievers like vector databases to find relevant information for answering queries. In complex RAG scenarios, multiple data sources are often used. The selection of the appropriate retriever can be performed through a MultiRoute Chain, where a Large Language Model (LLM) dynamically selects the semantically best data source.
However, this approach is time-consuming and costly. A faster and more cost-effective alternative is the use of a Semantic Router, which uses an embedding model instead of an LLM for retriever selection. This approach offers comparable quality at significantly lower costs.
Through live coding, a MultiRoute Chain is implemented and then optimized for the Semantic Router.
Principal Consultant für Generative AI bei Thinktecture mit Fokus auf effektiver Integration von AI in Geschäftsapplikationen und Prozessen.
Event
MLCon 2024
25.11.24
- 29.11.24
@ Berlin
(DE)
Links & Materialien
Slidedeck
Weitere Artikel zu AI, Generative AI
AI
Die Llama 4-Revolution: Wie Metas neue KI-Familie den Open-Source-Markt neu definiert
Meta hat mit der Llama 4-Familie eine neue Generation von KI-Modellen vorgestellt, die durch zwei wesentliche Innovationen hervorsticht: ein 10-Millionen-Token-Kontextfenster und native Multimodalität. Die Familie besteht aus Scout (109 Milliarden Parameter), Maverick (400 Milliarden Parameter) und dem noch in Entwicklung befindlichen Behemoth (2 Billionen Parameter). Durch die Mixture-of-Experts-Architektur und Unterstützung für 200 Sprachen bieten diese Modelle europäischen Unternehmen eine attraktive Alternative zu proprietären Lösungen. Trotz hoher Hardware-Anforderungen und einiger Lizenzeinschränkungen ermöglichen sie eine souveräne KI-Strategie ohne Vendor Lock-in bei gleichzeitig wettbewerbsfähiger Leistung und Kosteneffizienz.
06.04.2025
AI
AI-Funktionen zu Angular-Apps hinzufügen: lokal und offlinefähig
Künstliche Intelligenz (KI) ist spätestens seit der Veröffentlichung von ChatGPT in aller Munde. Wit WebLLM können Sie einen KI-Chatbot in Ihre eigenen Angular-Anwendungen integrieren. Wie das funktioniert und welche Vor- und Nachteile WebLLM hat, lesen Sie hier.
26.02.2024
AI
Integrating AI Power into Your .NET Applications with the Semantic Kernel Toolkit – an Early View
With the rise of powerful AI models and services, questions come up on how to integrate those into our applications and make reasonable use of them. While other languages like Python already have popular and feature-rich libraries like LangChain, we are missing these in .NET and C#. But there is a new kid on the block that might change this situation. Welcome Semantic Kernel by Microsoft!
03.05.2023