C# ve MongoDB ile MapReduce Kullanımı

MapReduce, kısaca Google’ın veri işleme, indexleme gibi işlemlerinin arka planında yer alan algoritmasıdır. Çok sayıda makina barındıran kümelerle oluşturulan dağıtık mimari ile verilerin toplanması ve analiz edilmesi sağlanır.

Dağıtık mimari dediğimiz yapıda tüm veriyi alan ana düğüm (master node), alt düğümlere (worker node) veri toplama işini dağıtır. Toplanan veriler birleştirilerek ana düğüme tekrar gönderilir. Reduce aşamasında ise veri analiz edilir. İlişkisel veritabanları mantığı ile düşünürsek; map, select ifadesini, reduce ise count, having, avg gibi ‘data-aggreagation- işlemlerine karşılık geliyor. NoSQL sistemlerinde bu işlemlerin biraz daha karmaşık olması sebebiyle MapReduce işimizi gerçekten kolaylaştırıyor. MongoDB’nin dökümantasyonundan aldığım aşağıdaki görsel durumu daha açıklayıcı hale getirebilir.

map-reduce

MapReduce yapısının Google’ın bir algoritması olduğunu söylemiştik. C# ile MapReduce yapısını kullanmak istiorsanız MongoDB üzerinde entegre olarak geliyor. MongoDB C# driver ı her versiyonda biraz farklılaşıyor. Aşağıdaki örnekte 1.9.2 sürümünü kullandığımı belirteyim. Siz de projede kullanmak için Package Manager Console üzerinden dahil edebilirsiniz.

PM> Install-Package mongocsharpdriver -Version 1.9.2

Örnek senaryomuzda Products adında basit bir koleksiyon üzerinde bazı işlemler yapacağız. Aşağıdaki sınıfla veritabanından çekeceğimiz veri için model oluşturuyoruz.

class Product
    {
        public string name { get; set; }
        public string category { get; set; }
        public double price { get; set; }
        public DateTime enterTime { get; set; }
    }

Oluşturduğumuz koleksiyon içine ürün eklemek için MongoCollection sınıfından bir liste oluşturup Insert ya da  InsertBatch metodunu kullanabiliriz. InsertBatch() birden fazla verinin eklenmesini sağlar. AddProducts() içinde localhost‘a bağlanmak için gereken işlemlere de yer verdim. Uri‘ye veritabanı isminizi (bu örnekte test) verdikten sonra koleksiyonlarınıza GetCollection() metodu ile ulaşabilirsiniz.

static void AddProducts()
        {
            const string uri = "mongodb://localhost/test";
            var client = new MongoClient(uri);
            var db = client.GetServer().GetDatabase(new MongoUrl(uri).DatabaseName);

            var collection = db.GetCollection<Product>("Products");

            var products = new List<Product>{
                new Product {   name = "potato", 
                                category = "vegetables",
                                price = 5.32, 
                                enterTime = new DateTime(2015, 09, 14) },

                new Product {   name = "eggplant", 
                                category = "vegetables", 
                                price = 3, 
                                enterTime = new DateTime(2015, 09, 14) },
            };

            collection.InsertBatch(products);
        }

Bu kısımdan sonra asıl işlemlere yani map – reduce – finalize fonksiyonlarına geçebiliriz. Bu fonksiyonların MongoDB için Javascript ile yazıldığını hatırlatalım. Verilerin analizini price değeri üzerinden yapmayı seçersek fonksiyonlarımız aşağıdaki gibi şekillenecektir.

string map = @"
               function() {
               var product = this;
               emit(product.category, { count: 1, price: product.price });
                            }";

map işleminde, emit fonksiyonu kendisine gelen parametreleri key - value şeklinde toplamaktadır. Burada key, veriyi neye göre gruplayacağımıza karar verdiğimiz değerken (bu örnekte product) diğer parametre olan value, ürünün fiyatı ve sayısı (1 olmak durumunda) olmaktadır. Farklı düğümler üzerinde topladığımız veriyi ana düğüme aktardıktan sonra reduce fonksiyonuna geçebiliriz.

string reduce = @"        
                            function(key, values) {
                                var result = {count: 0, price: 0 };

                                values.forEach(function(value){               
                                    result.count += value.count;
                                    result.price += value.price;
                                });

                                return result;
                            }";

Map işleminden sonra bir bütün halinde gönderilen veri analiz edilerek tekrar toplanarak result adında tek bir veri haline getiriliyor. Burada her ürünün fiyatları toplanıyor. Buraya kadar yaptığımız işlemleri daha görsel bir örnekle açıklamaya çalışalım.

apple 3.25
orange 5
melon 2
—————

cucumber 2
eggplant 3
potato 5,32
—————

PC 4000
TV 3400

Yukarıda kategorilerine göre (fruits, vegetables, electronics..) key – value şeklinde sıralanmış veriler görüyoruz. Bu veri yapısı aynı zamanda toplanmış verinin reduce işlemine hazır olduğu anlamına geliyor. Reduce işlemi sonrası ise şöyle bir yapı ile karşılaşıyoruz;

reduce
Görüldüğü gibi ürünler kategorilerine göre gruplanmış ve fiyatlarının toplamı da alınmış bir şekilde gözüküyor. count, price değerlerinin yanısıra average değeri de gözünüze çarpmış olabilir.

string finalize = @"
                                function(key, value){
      
                                  value.average = value.price / value.count;
                                  return value;

                                }";

finalize fonksiyonu isteğe bağlı kullanılan ve reduce işleminden geçen veri üzerinde başka işlemler yapılmak istendiğinde kullanılabilir. Burada her kategorinin fiyat ortalamasını almış oluyoruz. Map, reduce ve finalize fonksiyonlarını yazarak verilerin nasıl toplanacağını ve analiz edeceğini belirtmiş olduk. Ancak neye göre gruplanacağı sorusuna henüz cevap vermedik. Örneğin toplanan fiyat değerinin 100’den büyük olduğu verileri, sadece fruits kategorisindeki verileri ya da giriş tarihi (bu örnekte enterTime) geçen ay ve bugüne kadar olan ürünleri listelemek istediğimizde ne yapacağız?

var mapReduceQuery = Query.GT("price", 100);

var options = new MapReduceOptionsBuilder();
options.SetFinalize(finalize);
options.SetOutput(MapReduceOutput.Inline);
options.SetQuery(mapReduceQuery);
var results = collection.MapReduce(map, reduce, options);


foreach (var result in results.GetResults())
{
    Console.WriteLine(result.ToJson()+"\n");
}

mapReduceQuery nesnesi ile çok çeşitli kombinasyonlar yapıp sonuçları değerlendirebilirsiniz. Bu basit uygulama dışında MapReduce işlemlerinin kullanıldığı örneklere Facebook’un kullanıcı davranışı analizlerinde, Amazon’un sunduğu web servis hizmetlerinden Amazon Elastic MapReduceu ve Linkedin, Twitter, Yahoo gibi çok büyük verilerle uğraşan şirketlerin yoğun olarak kullandığını verebiliriz. Daha fazla bilgi için MapReduce algoritmasını kullanan açık kaynak kodlu Hadoop platformunu inceleyebilirsiniz.

Online Check-in ve Overbooking Üzerine

Türkiye’de sivil havacılık sektörünün son yıllarda inanılmaz yol kat etmesiyle birlikte havayolu şirketlerinin günlük yolcu taşıma kapasitesinde de büyük artış oldu. Rakamlarla konuşursak Atatürk Havalimanı’ndan (AHL) 2005 yılında uçan yolcu sayısı 19.3 milyonken, 2015 yılında bu sayı 61.3 milyona yükselmiştir. AHL, bugün günde 1300’den fazla uçağa ve 160 binden fazla yolcuya hizmet vermektedir.

Karlılık rekorları kıran havayolu şirketlerinin kaynaklarında yolcu ve uçuş sayılarının yanısıra az bilinen overbooking kuralı da yer alıyor. IATA standartlarına göre yasal hak olan overbooking, bazı uçuşlarda koltuk kapasitesinin üzerinde bilet satma anlamına geliyor. Uçuş dolu olsa bile no-show olarak belirtilen bazı yolcuların uçuşa gelmemesini göz önüne alınarak overbook satışlar yapılabiliyor.

Havalimanlarında büyük stres yaşayan overbook olmuş yolcuların tartışmaları nadir görülen bir olay değil üstelik. Özellikle bayram, hac, tatil gibi yoğun dönemlerde sık rastlanan bu durumda yolcu mutlaka uçuş yapmak isterse, diğer yolculara danışılıyor. Uçamayan yolcu için, iç hat uçuşlarında 100 Euro, dış hat uçuşlarında ise uzaklığa bağlı olarak 250 – 600 Euro tazminat ödenerek bir adet ücretsiz uçuş sağlanıyor. Farklı bir saat/gün seçiminde ise otel ve CIP salonu imkanı sunuluyor.

Havayolu firmaları, mağduriyeti gidermek adına güzel imkanlar sunsa da bu aksiliği yaşamamanızın yolu online check-inden geçiyor. Aşağıda belirtilen süre aralıklarında online check-in yaparak hem overbook olma riskini kaldırır hem de havalimanında uzun kuyruklar beklemezsiniz. Üstelik bazı firmalar, online check-in yapan yolcularına bazı kampanyalar düzenliyor.

Havayolu En erken En geç
THY 24 sa önce 90 dk önce
Anadolujet 24 sa önce 90 dk önce
Atlasglobal 48 sa önce 90 dk önce
Pegasus 72 sa önce 45 dk önce
Borajet 24 sa önce 2 sa önce

Windows 8 ve Windows Server 2012’de ASP.NET 4.5 Kullanımı

Windows’un önceki versiyonlarında Default Web Site altındaki bir uygulamanın framework değerini komut satırından aspnet_regiis.exe ve gerekli parametreleriyle uygun hale getirmek mümkündü. Siz de Windows 8 ve üzeri bir versiyona geçtiyseniz ve örneğin uygulamanız .NET 4.5 kullanıyorsa küçük bir işlem yapmalısınız. Bunun sebebi aspnet_regiis.exe’nin Windows 8 sonrasında install ve uninstall işlemleri için emekliye ayrılması diyebiliriz, en azından .NET 4.5 için. Yapılması gereken, Denetim masasından Windows özellikleri aç veya kapat seçeneğinde bulunan Internet Information Services altındaki ASP.NET 4.5 seçeneğini işaretlemek.

blog

Eğer Windows Server 2012 kullanıyorsanız, Server Manager altında bulunan şu yolu takip edebilirsiniz;
“Web Server (IIS) -> Web Server ->Application Development -> ASP.NET 4.5”.

SQL Server’da Bulunan Stored Procedure ve View İçinde Arama Yapma

Stored procedure, view ve tabloların sayısı arttıkça hangi tablonun nerede kullanıldığını incelemek zorlaşabiliyor. Örneğin bir tablo üzerinde yapılan değişikliği kullanıldığı her noktayı bulmak ve değişikliği işlemek isteyebiliriz. MS SQL Server için konuşursak bunun aşağıdaki gibi bir yolu bulunmaktadır. Tablo adınızı yazdığınızda aşağıdaki sorgu hangi stored procedure’lerde yer aldığını listeler.

SELECT o.name,o.create_date,o.modify_date
FROM sys.sql_modules sm
INNER JOIN sys.objects o ON o.object_id = sm.object_id
WHERE o.type = 'P' AND sm.definition LIKE '%tablo_adi%'
ORDER BY o.name

Aşağıdaki sorgu da view’lerin içinde arama yapmamızı sağlar.

SELECT o.name, o.create_date, o.modify_date
FROM sys.objects o
WHERE o.type IN ('V') AND 
OBJECT_DEFINITION(object_id) LIKE '%tablo_adi%'
ORDER BY o.name

LINQ Sorgularında Left/Right Join İşlemleri

Bu yazıda outer join işlemlerini Linq sorgularıyla nasıl gerçekleştirebileceğimize bakacağız. Inner join işleminde birden fazla tablonun sadece istenen kolonlarının eşleştiği bilgileri getirilmesi sağlanır. Ancak bazı durumlarda tabloların alınacak kesişim kümesini biz belirlemek isteyebiliriz. Bunu iki basit veri tipi ile açıklayalım. Kitap ve SatisTipi adlı iki sınıf olsun.

public class Kitap
    {
        public int KitapNo { get; set; }
        public string KitapAdi { get; set; }
    }
    public class SatisDetay
    {
        public int SatisNo { get; set; }
        public int KitapNo { get; set; }
        public string SatisTipi { get; set; }
    }

 

Örnek verilerimiz de aşağıdaki gibi olsun.

List<Kitap> ktpListe = new List<Kitap>
                {
                    new Kitap{KitapNo=1, KitapAdi="Kaiken"},
                    new Kitap{KitapNo=2, KitapAdi="Satori"},
                    new Kitap{KitapNo=3, KitapAdi="Şibumi"},
                    new Kitap{KitapNo=4, KitapAdi="Kişisel Bir Sorun"},
                    new Kitap{KitapNo=5, KitapAdi="Kappa"}
                };

            List<SatisDetay> stsListe = new List<SatisDetay>
                {
                    new SatisDetay{SatisNo=1, KitapNo=1, SatisTipi="Internet"},
                    new SatisDetay{SatisNo=2, KitapNo=2, SatisTipi="Magaza"},
                    new SatisDetay{SatisNo=3, KitapNo=3, SatisTipi="Internet"},
                    new SatisDetay{SatisNo=4, KitapNo=3, SatisTipi="Internet"}
                };

 

Eğer satışı gerçekleşen kitapların adını listelemek isteseydik inner join işlemini şu şekilde kullanabiliriz.

var kitaplar = (from k in ktpListe
                            join s in stsListe on k.KitapNo equals s.KitapNo
                            select k.KitapAdi
                                    ).Distinct();

 

Ancak satışı gerçekleşmeyen kitapları da aynı liste de görüntülemek isteseydik bu kez left join işlemi yapmamız gerekir. Satışı gerçekleşmeyen kitaplar için satış tipi NULL gelecektir. Burada DefaultIfEmpty() metodu dikkatinizi çekmiştir. a olarak ifade ettiğimiz tablodan b olarak ifade ettiğimiz SatisDetay tablosunda karşılığı boş olan kolonları da getirmesini sağladık.

var kitaplar = (from k in ktpListe
                            join s in stsListe on k.KitapNo equals s.KitapNo
                            into a from b in a.DefaultIfEmpty(new SatisDetay())
                            select k.KitapAdi
                                    ).Distinct();

 

Eğer mevcut tüm satış tiplerini getirmek istersek right join işlemi yapabiliriz.

var satisTipleri = (from s in stsListe
                            join k in ktpListe on s.KitapNo equals k.KitapNo
                            into a from b in a.DefaultIfEmpty(new Kitap())
                            select s.SatisTipi
                                   ).Distinct();

 

 

 

VQ5XP

LINQ Sorgularında If Kontrolü

Bazı durumlarda LINQ sorgularını çalıştırırken if durumu ile kontrol gerekebilir. Örneğimizde DataModel adlı bir model sınıftan LINQ ile OrnekData tablosundan 3 adet bilgi çekelim.

IQueryable<DataModel> q = (from od in OrnekData
                        where od.FirmaId != null
						select new DataModel
                               {
                                CalisanAdi = od.CalisanAdi,
                                Id = od.Id,
                                KullaniciAdi = od.KullaniciAdi.HasValue ? od.KullaniciAdi : null,
                                Sifre = od.Sifre.HasValue ? od.Sifre : 0
                                });

public class DataModel
        {
            public string CalisanAdi { get; set; }
            public int? Sifre { get; set; }
            public string KullaniciAdi { get; set; }
        }

 

Kullanıcının kullanıcı adı ve şifresinin olup olmadığını HasValue özelliğiyle kontrol ettik eğer yoksa null ve 0 değerlerinin kullanılmasını sağladık.

ASP.NET MVC’de Bir View İçinde Birden Çok Model Kullanımı

View’ler içinde model kullanmak istediğimizde bir modele bağlı kalmak istemediğimiz durumlar olabilir. Örneğin aşağıdaki gibi bir tanımlama yaparsak View, en son tanımlanan Model’i geçerli sayar.

@model StuPerformance.Models.Exam
@model StuPerformance.Models.Student

 

Bunun yerine kullanmak istenen Model’lerin bir araya toplandığı bir üst sınıf olarak düşünülebilecek Model sınıfı kullanabiliriz.

Örneğin Class ve Lecture adında iki modelimiz olsun. Buradaki verileri iki adet DropDownList aracılığıyla View içerisinde göstermeye çalışalım. İlk olarak Models klasörümüze bu iki modeli içeren ayrı bir class oluşturuyoruz.

namespace StuPerformance.Models
{
    public partial class ModelLists
    {
        public Class ClassM { get; set; }
        public Lecture LectureM { get; set; }
    }
}

 

ModelLists adını verdiğimiz bu modeli ilgili view içinde tanımlayarak hem Class, hem Lecture modellerini kullanabiliriz.

@model StuPerformance.Models.ModelLists

@using (Html.BeginForm())
{
    @Html.AntiForgeryToken()
<div class="form-group">
    @Html.LabelFor(model => model.StudentExamM, "Class", new { @class = "control-label col-md-2" })
    <div class="col-md-10">
        @Html.DropDownList("ClassId", String.Empty)
        @Html.ValidationMessageFor(model => model.ClassM.ClassId)
    </div>
    </div>
<div class="form-group">
    @Html.LabelFor(model => model.StudentExamM, "Lecture", new { @class = "control-label col-md-2" })
    <div class="col-md-10">
        @Html.DropDownList("LectureID", String.Empty)
        @Html.ValidationMessageFor(model => model.LectureM.LectureID)
    </div>
</div>
} 

 

Burada ilk DropDownList için model.ClassM.ClassId, diğer DropDownList için model.LectureM.LectureID kullanılmıştır.