Talk | 
DWX 2024
 | 03.07.2024

Private GPT LLMs: Azure OpenAI Service sicher deployen mit Terraform

Microsoft bietet mit dem Azure OpenAI Service die Möglichkeit, vortrainierte Large Language Models (LLMs) wie GPT-4 Turbo in Anwendungen und Business-Prozesse zu integrieren. Aber jenseits der programmatischen Ansteuerung stellen sich wichtige Fragen über Deployment und Hosting: Wie rolle ich den Azure OpenAI Service und die gewünschten LLMs deklarativ mit Terraform aus? Wie kann ich den Service in meine virtuelle, private Netzwerkinfrastruktur integrieren? Wie kontrolliere und limitiere ich den Zugriff auf das LLM? Wie sieht es mit Data Residency und Data Sovereignty aus: Ist garantiert, dass die Daten in der EU/Deutschland verbleiben? Und wie kann ich Response Streaming zu meinen Frontends umsetzen? Auf all diese Fragen gehen wir in diesem Talk ein, sodass Sie am Ende entscheiden können, ob der OpenAI Service für Sie eine sinnvolle Option ist und wie Sie ihn in bestehende oder neue Cloud-Infrastrukturen integrieren können.

Kenny Pflug ist Consultant bei Thinktecture und spezialisiert auf Architektur und Design von verteilten Systemen mit ASP.NET Core.

Event

DWX 2024
01.07.24  
- 05.07.24 
@ Nürnberg
 (DE)

Links & Materialien

Event

DWX 2024
01.07.24  
- 05.07.24 
@ Nürnberg
 (DE)
DWX_LogoIcon_2024

Aufzeichnung

No data was found

Weitere Artikel zu aktuellen Schwerpunkten

Low-angle photography of metal structure
AI
cl-neu

AI-Funktionen zu Angular-Apps hinzufügen: lokal und offlinefähig

Künstliche Intelligenz (KI) ist spätestens seit der Veröffentlichung von ChatGPT in aller Munde. Wit WebLLM können Sie einen KI-Chatbot in Ihre eigenen Angular-Anwendungen integrieren. Wie das funktioniert und welche Vor- und Nachteile WebLLM hat, lesen Sie hier.
26.02.2024
Database Access with Sessions
.NET
KP-round

Data Access in .NET Native AOT with Sessions

.NET 8 brings Native AOT to ASP.NET Core, but many frameworks and libraries rely on unbound reflection internally and thus cannot support this scenario yet. This is true for ORMs, too: EF Core and Dapper will only bring full support for Native AOT in later releases. In this post, we will implement a database access layer with Sessions using the Humble Object pattern to get a similar developer experience. We will use Npgsql as a plain ADO.NET provider targeting PostgreSQL.
15.11.2023
Old computer with native code
.NET
KP-round

Native AOT with ASP.NET Core – Overview

Originally introduced in .NET 7, Native AOT can be used with ASP.NET Core in the upcoming .NET 8 release. In this post, we look at the benefits and drawbacks from a general perspective and perform measurements to quantify the improvements on different platforms.
02.11.2023
.NET
KP-round

Optimize ASP.NET Core memory with DATAS

.NET 8 introduces a new Garbage Collector feature called DATAS for Server GC mode - let's make some benchmarks and check how it fits into the big picture.
09.10.2023
Angular
SL-rund

Konfiguration von Lazy Loaded Angular Modulen

Die Konfigurierbarkeit unserer Angular-Module ist für den Aufbau einer wiederverwendbaren Architektur unerlässlich. Aber in der jüngsten Vergangenheit hat uns Angular seine neue modullose Zukunft präsentiert. Wie sieht das Ganze jetzt aus? Wie konfigurieren wir jetzt unsere Lazy-Komponenten? Lasst uns gemeinsam einen Blick darauf werfen.
03.08.2023
.NET CORE
pg

Incremental Roslyn Source Generators: High-Level API – ForAttributeWithMetadataName – Part 8

With the version 4.3.1 of Microsoft.CodeAnalysis.* Roslyn provides a new high-level API - the method "ForAttributeWithMetadataName". Although it is just 1 method, still, it addresses one of the biggest performance issue with Source Generators.
16.05.2023

Unsere Webinare

Unsere Artikel

Mehr über uns