Talk | 
INFODAYS - Generative AI für Developer
 | 27.05.2024

Transparente AI: Tracing- und Debugging-Techniken für LLM-Anwendungen

Wir tauchen tief in die Welt des Tracings und Debuggings generativer KI-Anwendungen ein, um die oft als "Black Box" wahrgenommenen Prozesse zugänglicher und transparenter zu machen. Mit Fokus auf modernen Large Language Models (LLMs) und deren Anwendungen, werden wir an praktischen Beispielen die effektive Nutzung von Werkzeugen wie LangFuse und LangSmith zur Beobachtung, Analyse und Verbesserung dieser Systeme betrachten.

Los geht es mit einer Einführung in die Herausforderungen beim Debugging generativer AI-Workflows und wie diese mit den fortschrittlichen Funktionen von LangFuse und LangSmith bewältigt werden können. Der Schwerpunkt liegt dabei auf der zunehmenden Komplexität von LLM-Anwendungen, die umfangreiche Abstraktionen wie dynamische Prompts, Antworten von Retrievern und Tools, komplexe Chains und Agents nutzen. Hier können die verschachtelten Traces in LangFuse oder LangSmith dabei helfen, das Geschehen besser zu verstehen und die Ursachen von Problemen zu ergründen. Anschließend gehen wir auf die Analyse und das Tracking von Metriken wie Kosten, Latenzzeiten und Qualität der LLMs ein.

Ziel des Talks ist es, den Teilnehmern die Werkzeuge und Kenntnisse an die Hand zu geben, um ihre generativen AI-Workflows effizienter zu gestalten und die Transparenz und Kontrolle über ihre KI-Systeme zu erhöhen.

Principal Consultant für Generative AI bei Thinktecture mit Fokus auf effektiver Integration von AI in Geschäftsapplikationen und Prozessen.

Event

INFODAYS - Generative AI für Developer
27.05.24  
- 29.05.24 
@ Bonn
 (DE)

Links & Materialien

Mehr Beiträge zu AI, Generative AI

Slidedeck

Weitere Artikel zu AI, Generative AI

Low-angle photography of metal structure
AI
cl-neu

AI-Funktionen zu Angular-Apps hinzufügen: lokal und offlinefähig

Künstliche Intelligenz (KI) ist spätestens seit der Veröffentlichung von ChatGPT in aller Munde. Wit WebLLM können Sie einen KI-Chatbot in Ihre eigenen Angular-Anwendungen integrieren. Wie das funktioniert und welche Vor- und Nachteile WebLLM hat, lesen Sie hier.
26.02.2024
AI
favicon

Integrating AI Power into Your .NET Applications with the Semantic Kernel Toolkit – an Early View

With the rise of powerful AI models and services, questions come up on how to integrate those into our applications and make reasonable use of them. While other languages like Python already have popular and feature-rich libraries like LangChain, we are missing these in .NET and C#. But there is a new kid on the block that might change this situation. Welcome Semantic Kernel by Microsoft!
03.05.2023

Unsere Webinare

Unsere Artikel

Mehr über uns