Gerçek zamanlı veri işleme platformu tasarımı (TweetCASP)
Yükleniyor...
Dosyalar
Tarih
2022
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
İnönü Üniversitesi
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
Gelişen teknoloji ile birlikte sürekli gelişip değişen internet, yazılım ve donanım
teknolojilerinin olduğu bir çağda yaşamaktayız. Toplum, bu gelişmelere hızlıca adapte olup
gelişen teknolojinin bir parçası olmakta ve Büyük Veri’yi beslemektedir. Mobil
uygulamalar, web sayfaları, e-mail, IoT ve daha birçok alanda üretilen ve kullanılan veriler
büyük verinin oluşmasına katkı sağlamaktadır. Çeşitli kaynaklardan elde edilen farklı hız,
boyut ve formattaki verilerin kaybedilmeden toplanması, istenilen formlara dönüştürülmesi,
ihtiyaç anında erişilebilir olması, uygun veritabanı teknolojileri ve veri modelleri yardımıyla
ölçeklenebilir bir biçimde depolanması ve gerektiğinde analiz edilip faydalı çıkarımların
elde edilebilmesi ve günümüzde çok çeşitli ihtiyaçlara cevap verilebilmesi için önem arz
etmektedir. Bu tez çalışmasında, Twitter üzerinden gerçek zamanlı olarak istenilen anahtar
kelimelere göre veri toplanmasını, toplanan verinin gerçek zamanlı olarak işlenmesini ve
ölçeklenebilir bir biçimde verinin NoSQL veri depolama teknolojilerinden Apache
Cassandra kullanılarak depolanmasını ve elde edilen verinin işlenmesi için gerçek zamanlı
veri işleme platformu(TweetCASP) geliştirilmiştir. Bu platform yardımıyla Twitter’da anlık
oluşturulan tweetleri belirlenen kelimelere göre toplayıp, elde edilen tweetler içerisinde
farklı kelimelere göre analiz yapılabilmektedir. Böylelikle geliştirilen platform farklı
amaçlar için veri toplanması ve analizine imkan sağlamaktadır. Ayrıca, geliştirilen platform
gerçek zamanlı veri işlemede kullanılabilecek teknolojilerin bir temsilini sunmaktadır.
We live in an age where internet, software and hardware technologies are constantly developing and changing with the developing technology. The society quickly adapts to these developments and becomes a part of the developing technology and feeds Big Data. The data produced and used in mobile applications, web pages, e-mail, IoT and many other fields contribute to the formation of big data. In order to collect data in different speeds, sizes and formats obtained from various sources without losing, converting them into desired forms, making them accessible when needed, storing them in a scalable manner with the help of appropriate database technologies and data models, analyzing when necessary and obtaining useful inferences, and meeting a wide variety of needs today. In this thesis, a realtime data processing platform(TweetCASP) has been developed to collect data on Twitter in real time according to the desired keywords, to process the collected data in real time and to store the data in a scalable manner using Apache Cassandra, one of the NoSQL data storage technologies, and to process the obtained data. With the help of this platform, tweets created instantly on Twitter can be collected according to the determined words, and analysis can be made according to different words in the tweets obtained. Thus, the developed platform enables data collection and analysis for different purposes. In addition, the developed platform offers a representation of technologies that can be used in real-time data processing
We live in an age where internet, software and hardware technologies are constantly developing and changing with the developing technology. The society quickly adapts to these developments and becomes a part of the developing technology and feeds Big Data. The data produced and used in mobile applications, web pages, e-mail, IoT and many other fields contribute to the formation of big data. In order to collect data in different speeds, sizes and formats obtained from various sources without losing, converting them into desired forms, making them accessible when needed, storing them in a scalable manner with the help of appropriate database technologies and data models, analyzing when necessary and obtaining useful inferences, and meeting a wide variety of needs today. In this thesis, a realtime data processing platform(TweetCASP) has been developed to collect data on Twitter in real time according to the desired keywords, to process the collected data in real time and to store the data in a scalable manner using Apache Cassandra, one of the NoSQL data storage technologies, and to process the obtained data. With the help of this platform, tweets created instantly on Twitter can be collected according to the determined words, and analysis can be made according to different words in the tweets obtained. Thus, the developed platform enables data collection and analysis for different purposes. In addition, the developed platform offers a representation of technologies that can be used in real-time data processing
Açıklama
Anahtar Kelimeler
Büyük Veri, Akan Veri, Twitter, Veri Analitiği
Kaynak
WoS Q Değeri
Scopus Q Değeri
Cilt
Sayı
Künye
Doğuç, T. B. (2022). Gerçek zamanlı veri işleme platformu tasarımı (TweetCASP). Yayınlanmış Yüksek Lisans Tezi. İnönü Üniversitesi, Malatya.
