Üretken Yapay Zeka (Generative AI) ve Büyük Dil Modelleri (LLM) günümüzün teknoloji dünyasını derinden değiştirdi. Chatbotlar, copilotlar ve akıllı ajanlar gibi araçlar, sağlık, finans, hükümet ve siber güvenlik gibi sektörlerde verimliliği artırarak iş süreçlerini daha akıllı hale getirdi. Ancak, bu yapay zeka çözümlerinin benimsenmesiyle birlikte, veri güvenliği ve gizliliği de artık her zamankinden daha kritik hale geldi.

Microsoft’un AI platformu, en gelişmiş yapay zeka modellerini destekleyerek, geliştiricilere yapay zeka uygulamalarını büyük ölçeklerde dağıtma imkanı sunuyor. Ancak, AI ile çalışma sürecinde en önemli sorulardan biri güvenlik; özellikle verilerimizi koruma noktasında her birimizin kafasında soru işaretleri oluşuyor.

Bu yazıda, Microsoft’un sunduğu Azure Confidential Inferencing teknolojisinin bu sorunlara nasıl çözüm sunduğunu ve verilerin güvenliği konusunda neler sağladığını inceleyeceğim.

Microsoft’un AI Yaklaşımı

Microsoft’un AI platformunu kullananlar olarak, iş akışlarımıza entegre ettiğimiz yapay zeka hizmetlerinde güvene ihtiyacımız var. Microsoft, bu güveni sağlamak için sorumlu yapay zeka ilkelerini temel alıyor. Bu ilkeler; adalet, güvenilirlik, güvenlik, gizlilik, kapsayıcılık, şeffaflık ve hesap verebilirlik üzerine inşa edilmiş durumda. Azure AI, bu ilkeleri sadece söylemde bırakmıyor; verilerinizi katı gizlilik ve güvenlik politikaları ile koruyor.

Kullandığınız veriler, örneğin Microsoft 365 Copilot ya da bir Copilot+PC üzerinden işlenirken, Microsoft’un sorumlu yapay zeka ilkelerine sadık kalacağını bilmek büyük bir rahatlık sağlıyor. Sizin verileriniz asla başka müşterilerle paylaşılmaz veya temel modelleri eğitmek için kullanılmaz. Bu, veri gizliliği konusundaki endişelerimizi ortadan kaldıran büyük bir artı. GitHub Copilot Enterprise sürümünnü anlatırkende bu konuya çok ele almıştım. Çünkü düşünce her zaman benim projem yada yaptığım işler copilot gelişimi için bir unsur mu sorusunu getiriyor. Bu konuda ilgili özel hizmetler bu konuda verinizi düşünülenin aksine tamamen güvende tutarak gelişimin bir parçası olmuyor.

Confidential Computing ile Verilerinizi Korumak

Azure Fundamentals eğitimlerinde çok sık anlattığım bir konuyu aklıma getirdi. Confidential VMler. Microsoft Azure her zaman veri güvenliği konusunda çözümler sunuyor. Confidential computing, verilerinizi kullanımdayken bile koruyan donanım tabanlı teknolojileri içeriyor. Bu teknolojiler, verilerinizi işleyen iş yüklerini diğer yazılımlardan ve sistemde çalışan tüm diğer bileşenlerden izole ederek koruma altına alıyor. Bu, sadece verilerin diskte veya ağda taşınırken değil, aktif olarak işlendiği anda bile gizli kalmasını sağlıyor. Trusted Execution Environments (TEEs) adı verilen bu izole ortamlar, kullanıcıların verilerinin sadece belirli amaçlar için işlendiğinden emin olmasını sağlıyor.

Azure Confidential Cloud vizyonu sayesinde, müşteriler tüm iş yükleri için en yüksek gizlilik ve güvenlik seviyelerine ulaşabilecekler. Microsoft, Intel, AMD, NVIDIA gibi donanım devleri ile uzun yıllar boyunca çalışarak confidential computing’i tüm modern donanımlara entegre etti. Bu güvenlik katmanları, altyapıdan konteynerlere ve hizmetlere kadar her noktada verilerinizi koruma altına alıyor.

Azure Confidential Inferencing ile Yapay Zeka ve Güvenlik Bir Arada

Microsoft’un yeni duyurduğu Azure Confidential Inferencing, confidential computing’in yapay zeka dünyasına entegre edilmesinin bir örneği. Geliştiriciler, Confidential GPU VM’ler kullanarak güvenli çıkarım hizmetleri oluşturabiliyor. Bu hizmetler, verilerin güvenliğini ve gizliliğini artırmak için şu özellikleri sağlıyor:

  • Uçtan uca prompt koruması: İstemcilerin gönderdiği veriler yalnızca güvenli ortamlarda çözülüyor, bu sayede veriler Microsoft dahil kimse tarafından görüntülenemiyor.
  • Durumsuz işleme: Promptlar sadece çıkarım için kullanılıyor, kaydedilmiyor ve başka bir amaç için kullanılmıyor.
  • Kullanıcı anonimliği: Kullanıcılar, yapay zeka modelleri ile etkileşimde bulunurken anonim kalabiliyor.
  • Uzaktan doğrulanabilirlik: Kullanıcılar, verilerinin sadece belirtilen amaçlar için işlendiğini donanım tabanlı kanıtlarla doğrulayabiliyor.
  • Şeffaflık: Tüm işlemler, dış denetçiler tarafından incelenebilir olan bir şeffaflık defterine kaydediliyor.

Bu özellikler, yapay zekanın sağladığı kullanım kolaylığını ve ölçeklenebilirliği, verilerinizin güvenliğini ve gizliliğini tehlikeye atmadan sunuyor. Confidential inferencing sayesinde, geliştiriciler yapay zeka uygulamaları oluştururken veri güvenliği ve gizliliği konusunda endişe etmiyorlar.

Confidential Inferencing Nasıl Çalışıyor?

Azure Confidential Inferencing mimarisi, uçtan uca güvenli çıkarım hizmetleri sağlıyor. Azure Confidential GPU VMs, veri işleme sürecinde güvenliği artırmak için NVIDIA H100 Tensor Core GPU’lar ve AMD EPYC işlemcilerin SEV-SNP yeteneklerini bir araya getiriyor. Tüm kod ve veri, CPU ve GPU arasında şifreli bir şekilde aktarılıyor, bu sayede veriler her türlü güvenlik riskine karşı korunuyor.

Oblivious HTTP (OHTTP) protokolü ile istemciden gelen veriler, güvenilmeyen ön yüzler, yük dengeleyiciler gibi ara hizmetlerden geçerken bile şifrelenmiş kalıyor. Bu, verilerin Microsoft’un bile erişemeyeceği şekilde korunmasını sağlıyor. Ayrıca, KMS (Key Management Service) tarafından periyodik olarak döndürülen anahtarlar sayesinde bu güvenlik daha da güçlendiriliyor.

Gelecek Planları

Microsoft, confidential inferencing ile veri güvenliğini en üst düzeye çıkarmayı hedefliyor. Bu hizmet, sadece bugünün yapay zeka uygulamalarını değil, aynı zamanda gelecekteki Retrieval-Augmented Generation (RAG), model ince ayarı ve model ön eğitimi gibi diğer yapay zeka senaryolarını da destekleyecek şekilde genişletiliyor.

Confidential computing ve yapay zekanın bu güçlü kombinasyonu, veri gizliliğine önem veren kurumlar ve geliştiriciler için devrim niteliğinde bir adım. Microsoft, donanım ortaklarıyla birlikte confidential computing’in tam potansiyelini açığa çıkarmaya devam edecek ve bu teknoloji ile daha fazla gizlilik ve güvenlik sağlayan çözümler sunmaya devam edecek.