Talk | 
DWX 2024
 | 03.07.2024

Private GPT LLMs: Azure OpenAI Service sicher deployen mit Terraform

Microsoft bietet mit dem Azure OpenAI Service die Möglichkeit, vortrainierte Large Language Models (LLMs) wie GPT-4 Turbo in Anwendungen und Business-Prozesse zu integrieren. Aber jenseits der programmatischen Ansteuerung stellen sich wichtige Fragen über Deployment und Hosting: Wie rolle ich den Azure OpenAI Service und die gewünschten LLMs deklarativ mit Terraform aus? Wie kann ich den Service in meine virtuelle, private Netzwerkinfrastruktur integrieren? Wie kontrolliere und limitiere ich den Zugriff auf das LLM? Wie sieht es mit Data Residency und Data Sovereignty aus: Ist garantiert, dass die Daten in der EU/Deutschland verbleiben? Und wie kann ich Response Streaming zu meinen Frontends umsetzen? Auf all diese Fragen gehen wir in diesem Talk ein, sodass Sie am Ende entscheiden können, ob der OpenAI Service für Sie eine sinnvolle Option ist und wie Sie ihn in bestehende oder neue Cloud-Infrastrukturen integrieren können.

Kenny Pflug ist Consultant bei Thinktecture und spezialisiert auf Architektur und Design von verteilten Systemen mit ASP.NET Core.

Event

DWX 2024
01.07.24  
- 05.07.24 
@ Nürnberg
 (DE)

Slidedeck

https://github.com/thinktecture-labs/dwx-2024-host-azure-openai-service-securely/blob/main/DWX%202024%20-%20Private%20GPT%20LLMs%20-%20Azure%20OpenAI%20Service%20sicher%20deployen%20mit%20Terraform.pdf

Weitere Artikel zu aktuellen Schwerpunkten

.NET
pg

Handling Complexity: Introducing Complex Value Objects in .NET

While simple value objects wrap single primitives, many domain concepts involve multiple related properties (e.g., a date range's start and end). This article introduces Complex Value Objects in .NET, which group these properties into a cohesive unit. This ensures internal consistency, centralizes validation, and encapsulates behavior. Discover how to implement these for clearer, safer code using the library Thinktecture.Runtime.Extensions, which minimizes boilerplate when handling such related data.
01.07.2025
.NET
pg

Smart Enums: Beyond Traditional Enumerations in .NET

Traditional C# enums often fall short when needing to associate data or behavior with constants, or ensure strong type safety. This article explores the "Smart Enum" pattern as a superior alternative. Leveraging the library Thinktecture.Runtime.Extensions and Roslyn Source Generators, developers can easily implement Smart Enums. These provide a robust, flexible, and type-safe way to represent fixed sets of related options, encapsulating both data and behavior directly within the Smart Enum. This results in more maintainable, expressive, and resilient C# code, overcoming the limitations of basic enums.
17.06.2025
.NET
pg

Value Objects: Solving Primitive Obsession in .NET

Overusing primitive types like string or int for domain concepts ("primitive obsession") causes bugs from missed validation, like invalid emails or negative monetary values. This article explores Value Objects as a .NET solution. Learn how these self-validating, immutable types prevent entire classes of errors, make code more expressive, and reduce developer overhead. We'll demonstrate creating robust domain models with minimal boilerplate, improving code quality without necessarily adopting full Domain-Driven Design, and see how Roslyn Source Generators make this practical.
03.06.2025
AI
mf

Die Llama 4-Revolution: Wie Metas neue KI-Familie den Open-Source-Markt neu definiert

Meta hat mit der Llama 4-Familie eine neue Generation von KI-Modellen vorgestellt, die durch zwei wesentliche Innovationen hervorsticht: ein 10-Millionen-Token-Kontextfenster und native Multimodalität. Die Familie besteht aus Scout (109 Milliarden Parameter), Maverick (400 Milliarden Parameter) und dem noch in Entwicklung befindlichen Behemoth (2 Billionen Parameter). Durch die Mixture-of-Experts-Architektur und Unterstützung für 200 Sprachen bieten diese Modelle europäischen Unternehmen eine attraktive Alternative zu proprietären Lösungen. Trotz hoher Hardware-Anforderungen und einiger Lizenzeinschränkungen ermöglichen sie eine souveräne KI-Strategie ohne Vendor Lock-in bei gleichzeitig wettbewerbsfähiger Leistung und Kosteneffizienz.
06.04.2025
Angular
sl_300x300

View Transition API Integration in Angular—a brave new world (Part 1)

If you previously wanted to integrate view transitions into your Angular application, this was only possible in a very cumbersome way that needed a lot of detailed knowledge about Angular internals. Now, Angular 17 introduced a feature to integrate the View Transition API with the router. In this two-part series, we will look at how to leverage the feature for route transitions and how we could use it for single-page animations.
15.04.2024
Low-angle photography of metal structure
AI
cl-neu

AI-Funktionen zu Angular-Apps hinzufügen: lokal und offlinefähig

Künstliche Intelligenz (KI) ist spätestens seit der Veröffentlichung von ChatGPT in aller Munde. Wit WebLLM können Sie einen KI-Chatbot in Ihre eigenen Angular-Anwendungen integrieren. Wie das funktioniert und welche Vor- und Nachteile WebLLM hat, lesen Sie hier.
26.02.2024

Unsere Webinare

Unsere Artikel

Mehr über uns