Άρθρα

Δείτε τη λίστα με τις διαθέσιμες πτυχιακές εργασίες του ερευνητικού εργαστηρίου DBISLab για το ακαδημαϊκό έτος 2015 - 2016

ΠΤΥΧΙΑΚΕΣ: DI – DBISLAB 2015-2016:

Ανάπτυξη Συστήματος Λογισμικού Ταξινόμησης (Classification) Μεγάλου όγκου Δεδομένων σε Πραγματικό Χρόνο στο Περιβάλλον Spark (Lightning-fast cluster computing)

Στόχος: Στα πλαίσια της διπλωματικής αυτής ζητούνται:

  • H μελέτη του περιβάλλοντος Spark [3], [4], [5] σε γλώσσα προγραμματισμού JAVA, Scala ή Python.
  • Η ανάπτυξη μιας πρότυπης εφαρμογής που θα υλοποιεί αποδοτικά kNN classifiers στο περιβάλλον αυτό.
  • Πειραματική Σύγκριση με τον kNN classifier [6] που υλοποιήθηκε σε pure HDFS (hadoop) [1], [2].

Αντικείμενο:

Ο σχεδιασμός και υλοποίηση συστημάτων λογισμικού για εξόρυξη γνώσης από μεγάλο όγκο δεδομένων είναι μια ιδιαίτερα σύνθετη και επίπονη διαδικασία. Βασικά χαρακτηριστικά είναι η αποδοτική επεξεργασία μεγάλου όγκου δεδομένων και η κλιμάκωση του συστήματος έτσι ώστε με την προσθήκη νέων πόρων να μπορεί να ανταπεξέλθει σε μεγαλύτερο φόρτο. Το περιβάλλον ανάπτυξης εφαρμογώνSpark [1],[2],[3] αποτελεί την πιο γρήγορη προσέγγιση στο μοντέλο Map/Reduce σε κύρια (για πρώτη φορά) και δευτερεύουσα μνήμη και προσφέρει ιδιαίτερα καινοτόμες διαδικασίες και μεθόδους που επιτρέπουν την ανάπτυξη εφαρμογών διαχείρισης μεγάλου όγκου δεδομένων με εξαιρετική κλιμάκωση και ταχύτητα επεξεργασίας.

Προαπαιτούμενες Γνώσεις:

Κατανεμημένες Δομές Δεδομένων, Βάσεις Δεδομένων, Αλγόριθμοι και Πολυπλοκότητα, Τεχνολογίες Διαδικτύου, Αντικειμενοστραφής Προγραμματισμός.

Παραπομπές:

1. Welcome to Appache Hadoop http://hadoop.apache.org/

2. Hadoop: The Definite Guide, Tom White, O’ REILLY

3. http://spark.apache.org/

4. http://simin.me/projects/spatialspark/

5.  http://spark-summit.org/east

6. N. Nodarakis, E. Pitoura, S. Sioutas, Y. Tzimas, A. Tsakalidis and D. Tsoumakos “kdANN+: A Rapid AkNN Classifier for Big Data”, Springer Transactions on Large Distributed and Knowledge-based Systems (TLDKS), Springer (to appear).

Όροι αναζήτησης: Indexing Strategies, Spark, Spatial Spark, Map-Reduce, Hadoop

Επιβλέποντες: Σ. Σιούτας, Δ. Τσουμάκος

 Συνημμένο Αρχείο

Βρίσκεστε εδώ: Home