Çevrimiçi analitik işleme sistemlerinde performans analizi ve bir öneri sistemi

Abstract

Veri kayıtları için dijital ortamın kolaylığı ve güvenliği sebebi ile kullanım oranı her geçen gün daha da artmaktadır. Özellikle ticari kuruluşlarda ürünler, müşteriler, konum, satış zamanı gibi verilerin saklanması organizasyonların ileriye yönelik kararları için çok önemlidir. Ürün çeşitliliği ve müşteri bilgilerinin çeşitliliği verilerin işlenmesini güç hale getirmektedir. Bu yüzden bir organizasyonun büyük miktarlardaki verileri yönetebilmek, analiz edebilmek ve karar verme süreçlerinde hazır hale getirebilmek için bir sisteme ihtiyaç duyarlar. Bu durumda veri ambarları, hem analitik veritabanları ile hem de Çevrim-içi Analitik İşleme (OnLine Analytical Processing, OLAP) araçları ile organizasyonlara karar destek sürecinde büyük kolaylık sağlarlar. Bu yüzden veriye dayalı sistemlerde OLAP birçok firmanın kullandığı ve desteklediği bir karar mekanizmasıdır. Her gün daha da hızlı artan veri miktarı ve çeşitlilik analiz yapma konusunda OLAP sistemleri kullanımına daha çok ihtiyaç duyulmasına sebep olmuştur. Bu çalışma kapsamında OLAP sistemleri üzerinde iki farklı çalışma yapılmıştır: OLAP yaklaşımlarının performans analizi ve OLAP sistemlerinde bir öneri sistemi tasarımı. Farklı OLAP motorlarının performansı, sorgu süresi bakımından ve hangi durumlarda daha verimli olacakları hakkında örnek bir veri ambarı üzerinde analizleri yapılmıştır. Bu karşılaştırmalar sonucunda karışık hesaplamalarda en iyi performansı MOLAP, büyük miktardaki verileri işlemede özellikle büyük veride ROLAP öne çıkmıştır. İkinci çalışma birçok alanda farklı metotlar ile film, müzik, haber, kitap, arama sonuçları, e-ticaret gibi ögeler üzerindeki kullanıcıların önceden yapmış olduğu eylemleri üzerinden öneriler hazırlayan öneri sistemlerini OLAP üzerine uygulamak. Organizasyonların geçmiş verilerinden beslenen ve veri bilimi alanında yaygın kullanılan veri ambarı sistemlerinde kullanılacak öneri sistemlerine yönetici ve analistler tarafından ihtiyaç duyulmaktadır. Bu çalışma ile tasarlanan sistem ikili birliktelik, işbirlikçi filtreleme ve kategorik öge algoritmalarıyla kullanıcılara öneri listesi sunmaktadır. Sistem Microsoft tarafından herkesin kullanımına açık olarak sunulan AdventureWorksDW veri ambarı üzerinde test edilmiştir.

Due to the ease and safety of digital media for data recordings, the usage rate is increasing day by day. The storage of data such as products, customers, location, sales time is especially important for the future decisions of the organizations. Variety of products and customer information make it difficult to process data. Therefore, an organization needs a system to manage, analyze and make large amounts of data available in decision-making processes. In this case, data warehouses can be used with analytical databases and on-line analytical processing (OnLine Analytical Processing, OLAP) tools to facilitate organizations in decision making process. Therefore, OLAP is a decision mechanism that many companies use and support in data-based systems. The increasing amount of data and the diversity of data every day have led to the need for more OLAP systems. Within the scope of this study, two different studies were conducted on OLAP systems: Performance analysis of OLAP approaches and design of a recommendation system in OLAP systems. Analyzes were made on a sample data warehouse about the performance of different OLAP engines, the duration of the query and in what situations they would be more efficient. As a result of these comparisons, MOLAP has the best performance in complex calculations, ROLAP is especially important in processing large amounts of data. The second study is to apply the recommendation systems on the OLAP, which prepare suggestions through various methods in many areas, such as films, music, news, books, search results, e-commerce, and the actions of the users on previous actions. Recommendation systems to be used in data warehousing systems, which are fed from historical data of organizations and are widely used in data science, are needed by managers and analysts. Designed with this study, the system offers a list of suggestions to the users through the combination of binary, collaborative filtering and categorical element algorithms. The system has been tested on the AdventureWorksDW data warehouse, which is available to everyone by Microsoft.