Private OpenAI LLMs sicher deployen in Azure mit Terraform

Microsoft bietet mit dem Azure OpenAI Service die Möglichkeit, vortrainierte Large Language Models (LLMs) wie GPT-4 Turbo in Anwendungen und Business-Prozesse zu integrieren. Aber jenseits der programmatischen Ansteuerung stellen sich wichtige Fragen über Deployment und Hosting: Wie rolle ich den Azure OpenAI Service und die gewünschten LLMs deklarativ mit Terraform aus? Wie kann ich den Service in meine virtuelle, private Netzwerkinfrastruktur integrieren? Wie kontrolliere und limitiere ich den Zugriff auf das LLM? Wie sieht es mit Data Residency und Data Sovereignty aus: Ist garantiert, dass die Daten in der EU/Deutschland verbleiben? Und wie kann ich Response Streaming zu meinen Frontends umsetzen? Auf all diese Fragen gehen wir in diesem Talk ein, sodass Sie am Ende entscheiden können, ob der OpenAI Service für Sie eine sinnvolle Option ist und wie Sie ihn in bestehende oder neue Cloud-Infrastrukturen integrieren können.