Talk | 
BASTA! Spring 2024
 | 13.02.2024

Private GPT LLMs: Azure OpenAI Service sicher deployen mit Terraform

Microsoft bietet mit dem Azure OpenAI Service die Möglichkeit, vortrainierte Large Language Models (LLMs) wie GPT-4 Turbo in Anwendungen und Business-Prozesse zu integrieren. Aber jenseits der programmatischen Ansteuerung stellen sich wichtige Fragen über Deployment und Hosting: Wie rolle ich den Azure OpenAI Service und die gewünschten LLMs deklarativ mit Terraform aus? Wie kann ich den Service in meine virtuelle, private Netzwerkinfrastruktur integrieren? Wie kontrolliere und limitiere ich den Zugriff auf das LLM? Wie sieht es mit Data Residency und Data Sovereignty aus: Ist garantiert, dass die Daten in der EU/Deutschland verbleiben? Und wie kann ich Response Streaming zu meinen Frontends umsetzen? Auf all diese Fragen gehen wir in diesem Talk ein, sodass Sie am Ende entscheiden können, ob der OpenAI Service für Sie eine sinnvolle Option ist und wie Sie ihn in bestehende oder neue Cloud-Infrastrukturen integrieren können.

Kenny Pflug ist Consultant bei Thinktecture und spezialisiert auf Architektur und Design von verteilten Systemen mit ASP.NET Core.

Event

BASTA! Spring 2024
12.02.24  
- 16.02.24 
@ Frankfurt
 (DE)
BASTA-19

Links & Materialien

Mehr Beiträge zu AI, Azure, Generative AI, Network, Security

Aufzeichnung

No Data Found

Weitere Artikel zu AI, Azure, Generative AI, Network, Security

AI
favicon

Integrating AI Power into Your .NET Applications with the Semantic Kernel Toolkit – an Early View

With the rise of powerful AI models and services, questions come up on how to integrate those into our applications and make reasonable use of them. While other languages like Python already have popular and feature-rich libraries like LangChain, we are missing these in .NET and C#. But there is a new kid on the block that might change this situation. Welcome Semantic Kernel by Microsoft!
03.05.2023
Cloud Native
favicon

Cloud Security: The 4C’s Of Cloud-Native Security – Part 5

In the last part of the article series on the 4C's of cloud-native security, we will look at securing the cloud environment itself. Although actual steps to harden your cloud infrastructure differ based on the cloud vendor and the services used to architecture your cloud-native application, many concepts and methodologies are quite similar.
14.04.2022
Cloud Native
favicon

Code, Container, Cluster, Cloud: The 4C’s Of Cloud-Native Security – Part 1

Containers and cloud-native design patterns gained popularity over the past years. More and more organizations use containers in production and adopt cloud-native practices and methodologies to get even more value from existing containerized applications and underlying technologies such as container orchestrators like Kubernetes.
15.02.2022
Cloud Native
favicon

Ausführen von Containern in Azure Container Instances (ACI) direkt über die Docker CLI

Vor einigen Monaten haben sowohl Microsoft als auch Docker eine nahtlose Integration von Azure Container Instances (ACI) und Docker CLI angekündigt. Als Container-Enthusiast musste ich mich natürlich mit dieser Integration befassen. Ich habe es in verschiedenen Szenarien getestet, um zu sehen, wie es mich unterstützen und meine Produktivität steigern könnte.
05.11.2021
Infrastructure as Code
favicon

Infrastructure-as-Code (IaC): Bicep und Terraform im Vergleich

Infrastructure as Code (IaC) ist eine wichtige Technik in der Automatisierung. Teams beginnen ihren Weg zu Cloud-Native oft so, dass sie alles automatisieren und die Infrastruktur ist hier keine Ausnahme. Die stetig wachsende Akzeptanz von Cloud-Diensten und die Digitalisierung sind nur einige Gründe, warum IaC-Tools wie Terraform so beliebt sind. Project Bicep ist hier ganz neu - eine neue Sprache, die erstellt wurde, um Azure Infrastruktur-Deployments als Code auszudrücken
09.09.2021
Azure
favicon

In 6 Schritten .NET Core Apps in Azure Kubernetes Service (AKS) ausführen

Kubernetes zu meistern ist hart und zeitaufwendig. Mit Kubernetes in Azure als .NET Core-Entwickler zu beginnen ist hingegen relativ einfach. Man benötigt sechs Schritte, um eine Anwendung in Azure Kubernetes Service (AKS) zu starten und zum Laufen zu bringen, beginnend mit einer einfachen .NET Core Web API. Dieser Artikel führt Sie durch den gesamten Prozess und erklärt alle Schritte im Detail, damit Sie verfolgen können, wie Ihre Anwendung in Kubernetes ausgeführt und über das Internet bereitgestellt wird.
31.08.2021

Unsere Webinare

Unsere Artikel

Mehr über uns