CIO lar için teknolojik trendleri takip etmek büyük önem taşır. Şu bir gerçektir ki bir dönemin en önemli inovatif çözümü bir adım sonrası dönemin değiştirilmesi gereken sorunu haline gelebilir. Teknolojinin ilerlemesinin bir sonucudur bu. Dolayısı ile mevcut teknolojik yatırımlarınız ile ilgili yol haritalarını yakından takip etmeli, yaşam döngüsünü tamamlayan teknolojiler ile zamanında vedalaşmalı ve yatırım yapılması gerekli yeni teknolojileri doğru seçebilmelisiniz.

Yatırım yapılacak yeni teknolojilerin seçiminde kavram ispat çalışmaları ile çözüm sağlayıcı firmanın ürün için planladığı gelecek yatırımları önemlidir ama daha etkili olan başka firmaların örnek projeleri ve olumlu referanslarıdır.

Bu görüşten hareket ederek, Virtual CIO şapkası altında, beğendiğim teknolojileri detaylı inceleyip sizlere aktarmaya çalışacağım.

Bu makalede sizlere MicroFocus firmasının "Vertica" ürününden bahsetmek istiyorum.

Yurt dışında Zynga Games, Facebook, Uer, Twitter gibi büyük firmalarca tercih edilen teknolojiye yurt içinde vizyoner diye niteleyebileceğim Bilgi Teknolojileri ve İletişim Kurumu (BTK), İstanbul Büyükşehir Belediyesi, Sahibinden.com ve FinansBank firmaları yatırım yapmış.

Vertica'nın yaratıcısı ilişkisel veri modelleri konusunda ilk çalışmaları yapan Michael Stonebraker'den başkası değil. Dahil olduğu pek çok projede farklı sorunlara çözüm olabilecek veritabanları geliştirmiş (Ingres, Postgres, Mariposa, Vertica, Morpheus vb.) bir bilim adamı Stonebraker.

Vertica, yapısal ya da yapısal olmayan büyük veriyi hızlı işleyebilmek ve saklama alanı ihtiyacını minimuma indirmek amacıyla tasarlanmış.

Gelin Vertica'nın özelliklerine birlikte göz atalım :

• Sütun Tabanlı bir veritabanı olması sorgu performansını diğer sıra bazlı veri okuması yapan ilişkisel veritabanlarına oranla 10x - 50x arasında artırıyor.
• Büyük veri işleme kapasitesi TB düzeyinde değil PetaByte ölçeğindeki veri büyüklüğünü hızlı bir şekilde işleyebiliyor. Bunu yaparken özel bir donanıma ihtiyaç duymaması da maliyet avantajı yaratması açısından dikkate alınması gereken bir özellik.
• Veriyi paralel işleme kapasitesini artırmak için istediğiniz kadar yeni "veri işleme noktası - node" ekleyebiliyorsunuz. Bu yapı yüksek kullanılabilirlik ve yedeklilik sağlayarak veri işlemenin kesintisiz yapılabilmesine olanak sağlıyor.
• Büyük Veri dediğimizde aklımıza ilk gelen teknoloji doğal olarak Hadoop teknolojisi olacaktır. 2008'li yıllarda "Hadoop diye yeni bir teknoloji hayatımıza giriyor" söyleminden 2018'li yıllarda "Hadoop teknolojisi beklentileri karşılayamıyor mu?" tartışmalarını yaşadığımızı hatırlarsınız. Bu negatif değişimin ana gerekçeleri olarak Hadoop kullanımının zor olmasını, teknolojiye hakim ve yetkin kaynağa ulaşmadaki zorlukları, standard SQL'i desteklememesini sayabiliriz.
• Vertica burada da üstün bir teknolojik yetkinlik geliştirmiş. Veri Ambarı olarak bağımsız kullanılabilmesi yanında Hadoop üzerine de kurulumu yapılıp veri gölü üzerinden standard SQL (Ansi SQL) kullanarak çok kolay sorgulama yapabiliyorsunuz. Bunun için iki platform arasında veri taşıma işlemi yapmanıza da gerek olmuyor. ACID ilkelerine de %100 uyumu garanti ediyor.

• Bir diğer beğendiğim özelliği açık mimari yaklaşımını benimsemesi. Ekosistem içerisinde yer alan diğer sistemler ile kolay entegre olabiliyor. ETL ve İş Zekası araçları, Spark ve Kafka entegrasyonu, Amazon S3, Hadoop ile kolay entegre olması ve veri işlemeyi taşıma ihtiyacı olmaksızın yerinde yapabilmesi teknolojik açıdan üstün özellikleri diyebilirim.

• Vertica'yı Amazon, Google ve Azure bulut ortamlarında servis olarak kullanmak da mümkün.
• Özellikle veri güvenliği açısından FPE (Format Preserve Encryption) teknolojisine sahip Voltage Secure Data uygulamasını Vertica ile birlikte kullanabiliyorsunuz. Kişisel Verilerin Korunması Kanunu kapsamında Türkiye'de de oldukça fazla müşteriye ulaşan bu güvenlik ürünü yanında, veriye erişim izinlerini düzenlemek için Apache Sentry uygulaması ile de entegrasyon sağlanabiliyor.
• Sütun tabanlı olmasının getirdiği en büyük avantajlardan biri de yüksek oranda veri sıkıştırma yapılabilmesi diyebilirim. Detayına girmeyeceğim ama bilenler için RLE, Delta, LZO, GZIP ve ZSTANDARD sıkıştırma algoritmalarını kullanma yeteneğine sahip.
• Index yapısı Vertica'da desteklenmiyor. Sorgu performanslarını iyileştirmek için projeksiyonlar tanımlayabiliyorsunuz.

Gelelim aslında makalenin başlığında belirttiğim konuya.

Yapay Zeka çözümleri geliştirmek için bir takım ön koşulları tamamlamalısınız:

• Öncelikle büyük veriye sahip olmalısınız ki algoritmalardan istediğiniz faydaları sağlayabilin. Tabi bu faydayı sağlayabilmek için verinin temiz olması gerekli. Bugün yapılan makine öğrenim çalışmalarının %80-%90 süresi veri temizliği çalışmalarına harcanıyor diyebiliriz.
• Veri bilimi konusunda uzman kişileri yetiştirmeli ya da işe almalısınız.
• Tabi teknolojiye ciddi bir yatırım yapmalı ya da bulut bilişimin sağladığı servislerden faydalanmalısınız

Yani zorlu bir süreç sizi bekliyor. İşte bu zorlukların genel çözümü olarak teknoloji sağlayıcıları anahtar teslim yapay zeka platformlarını geliştirmeye başladı.

Vertica'yı da, genel çözümün bir parçası olarak sunduğu, veri tabanı içinde yerleşik makine öğrenim algoritmaları ile anahtar teslim yapay zeka platformu sınıflandırması içinde gösterebiliriz.

Büyük veriyi işlemek ayrı bir yetkinlik gerektiriyor. Diğer teknolojileri incelediğimizde büyük veriden küçük örneklemler alarak bir sonuca varmaya çalışıyorsunuz aksi takdirde zamanınız analizlerinizin sonuçlanmasını beklemekle geçiyor. Vertica burada büyük bir fark yaratıyor ve tüm veri üzerinden analiz sonuçlarına kısa sürede ulaşabiliyorsunuz.

Bunu bir karşılaştırma çalışması ile göstermeye çalışayım. 59 adet sorgunun Orc dosyaları üzerinden Tez teknolojisi, Vertica'nın Hadoop üzerine kurulu versiyonu ve bağımsız kurumsal versiyonu ile yapılmış sonuçları aşağıdaki grafikte yer alıyor.

Sorgu performansları arasındaki fark dikkat çekici.

Makine öğrenim algoritmalarını bugün sibergüvenlik tehditlerinden, dolandırıcılık tespit çalışmalarına, müşteri analitiğinden önleyici sağlık teşhislerine kadar pek çok alanda kullanıyoruz ve bu kullanım giderek yaygınlaşacak. Veriden daha fazla içgörü elde edebilen bankalar kredi kullandırmada daha az riske maruz kalacaklar, kişilere özel hizmetleri sunabilir hale gelecekler, yatırım ve portföy şirketlerinde algoritmaya dayalı, yüksek frekanslı ve kantitatif alım/satım işlemleri hacmi giderek artacak.

Dolayısı ile doğru teknolojiyi seçmek ve yatırım yapmak firmalar açısından yüksek öneme sahip diyebiliriz. Stratejileriniz arasında veri ambarınızı modernize etmek, büyük veriyi işleyerek değer yaratmak, yapay zekanın getireceği faydalara ulaşmak var ise Vertica'yı değerlendirmenizi tavsiye ederim.

Vertica'yı daha detaylı dinlemek isterseniz ve hatta kavram ispat çalışması yapmak isterseniz bana ulaşabilirsiniz.

Evde kalın, Sağlıklı kalın !