Microsoft Azure Synapse Analytics Nedir?

Uçtan Uca Veri Analitiği Projeleri için  Synapse

Microsoft’un Azure Analitik servisleri içerisinde en son hizmete sunulmuş olan kapsamlı servisidir.

• Limitsiz olarak ölçeklenebilir olması, 
• Veriyi taşımadan sorgulamamızı sağlıyor olması, 
• Analitikle ilgili tüm döngüyü uçtan uca yönetebiliyor olmasıyla 

yeni nesil bir veri analitiği platformu olarak tanıtılıyor. 

Peki bu servisin oluşmasını ne sağladı?

Yapılan araştırmalara göre Analytics ve Artificial Intelligence (AI), her sektörde bir numaralı yatırım alanlarından bir tanesi. Ee, dijitalleşmeye gidiyoruz dediğimizdeyse bu araçlara yatırım yapmanın önemli olduğunu konuşuyoruz hepimiz. Ancak gerçeklere baktığımızda, şirketlerin büyük bir çoğunluğu veriyi henüz efektif bir şekilde kullanmaktan epeyce uzaklar maalesef. Oysa yapılacak her Raporlama, Makina Öğrenimi ve AI projesinde verilerin entegrasyonu oldukça önem kazanıyor.

Veri Analitiği dünyasında geçmişten gelen ilişkisel verilerin olduğu, ETL’ lerle beslenen, geçmiş soruların cevaplarını bulmak için kullandığımız veri ambarlarımız var. Buradaki sistemi, altyapıyı, ihtiyaçları ve nasıl yapılması gerektiğini artık çok iyi biliyoruz. 

Tahmin ve ileri analitik senaryolarda ise verilerin Structured (yapılandırılmış) olmadığı, Data Lake’lerin, Hadoop’ların devreye girdiği Büyük Veri dünyası var. IOT cihazlarından, sosyal medya platformlarından akan veriler bildiğimiz en yaygın örneklerdir.

Synapse Analytics servisinde ise bu iki dünyanın bir araya getirilmesi, tüm verilerin depolanabileceği ve bunların üzerinden analitik işlemlerin gerçekleştirilebileceği bir dünya hedefleniyor.

Birleştirilmesindeki önemli avantajlardan biri farklı servislerin güvenliğini sağlamak yerine tek bir servisin güvenliğini sağlayabilmek, bir diğeri ise know how farklılıklarını aynı platform üzerinden konsolide edebilmektir. Yani Python ve Spark gibi farklı teknik yetkinliklere sahip iki know how, yeni dünyada aynı platformda çalışabilir ve tek platform kullanılabilir olmalı. Bununla beraber Data Lake’ler üzerinden de tecrübeleri konsolide edilebilmeli.

Önemli noktalardan biri de bugün Veri Mühendisi ve Veri Bilimci olarak çalışan ekip arkadaşlarının tek bir platform üzerinde versiyonlarla çalışabilir hale gelmesini sağlıyor.

Özetle, Azure Synapse Analytics bu iki dünyanın teknolojik anlamda, know how anlamında, güvenlik ve performans anlamında tek bir noktadan sunulan servisi diyebiliriz.

Ne dedik, Synapse kurumsal veri ambarı için, Spark’ın Büyük Veri Analitiği yeteneklerini ve veri entegrasyon teknolojilerini bir araya getiriyor dedik ve bütünüyle birleşik bir ortam sağlıyor.

Böylelikle Synapse dediğimiz çatı, İş Zekası projeleri ya da Makine Öğrenimi projeleri için verileri kolayca alabileceğimiz, yönetebileceğimiz ve sunabileceğimiz, uçtan uca tek bir servis olarak kullanılabiliyor.

Synapse aslında eskinin Azure SQL Data Warehouse servisinin yerine gelen çok daha gelişmiş ve kapsamlı bir servisidir. Azure SQL DW’nin özelliklerini de kullanarak, Synapse, gelen verileri sütun bazlı depolama ile ilişkisel tablolarda depoluyor. Bu format bize ne sağlıyor? Veri depolama maliyetlerini önemli ölçüde azaltıyor ve en önemlisi sorgu performansını epeyce iyileştiriyor.

SQL Pool’lar içerisinde, yukarıda gördüğümüz Form Factors (Billing) kısmında bulunan iki seçenek var. Burada Provisioned olarak bahsedilen seçenek Dedicated SQL Pool, On-Demand (PerQuery) olarak bahsedilen ise Serverless anlamına geliyor. 

Serverless’ın klasik kullanılan Dedicated servisten farkı nedir?

Normalde bize bir kaynak aloke edildiği için sürekli bir ücretlendirme olur. Ancak Serverless için bize bir kaynak dedike edilmez ve ayrılan kaynaklar için bir ücret alınmaz. Sadece Veri Gölümüze erişim için çalıştıracağınız sorgular için işlenen veri kadar ücretlendirilirsiniz. Yani gerçek bir kullanım başına ücretlendirme modelidir.

Synapse, SQL ve Spark Pool altyapılarını , Data Factory yeteneklerini ve Power BI ile görselleştirme yetkinliklerini bir araya getiriyor.

Servislerin hepsine tek bir platformdan eriştiğimiz ve son kullanıcı gibi kullandığımız arayüz olan Synapse Studio’da ise, geliştirmelerimizi tamamen bu arayüz üzerinden yapabiliyoruz.

Studio üzerinden aynı zamanda Apache Spark bağlantımızı da oluşturabiliyoruz. Veri hazırlığı, temizlemesi, zenginleştirilmesi gibi işlemleri seçilebilir diller arasından istediğimiz kodu yazarak yapabiliyoruz.