Seminar Big Data Tools

  • Type: Proseminar / Seminar (PS/S)
  • Chair: Fakultät für Informatik
  • Semester: WS 13/14
  • Time: 21.10.2013
    15:45 - 17:15 wöchentlich
    314 (20.21)


    28.10.2013
    15:45 - 17:15 wöchentlich
    314 (20.21)

    04.11.2013
    15:45 - 17:15 wöchentlich
    314 (20.21)

    11.11.2013
    15:45 - 17:15 wöchentlich
    314 (20.21)

    18.11.2013
    15:45 - 17:15 wöchentlich
    314 (20.21)

    25.11.2013
    15:45 - 17:15 wöchentlich
    314 (20.21)

    02.12.2013
    15:45 - 17:15 wöchentlich
    314 (20.21)

    09.12.2013
    15:45 - 17:15 wöchentlich
    314 (20.21)

    16.12.2013
    15:45 - 17:15 wöchentlich
    314 (20.21)

    23.12.2013
    15:45 - 17:15 wöchentlich
    314 (20.21)

    13.01.2014
    15:45 - 17:15 wöchentlich
    314 (20.21)

    20.01.2014
    15:45 - 17:15 wöchentlich
    314 (20.21)

    27.01.2014
    15:45 - 17:15 wöchentlich
    314 (20.21)

    03.02.2014
    15:45 - 17:15 wöchentlich
    314 (20.21)

    10.02.2014
    15:45 - 17:15 wöchentlich
    314 (20.21)


  • Lecturer: Prof. Dr. Achim Streit
    Parinaz Ameri
  • SWS: 2
  • Lv-No.: 2400031
Bemerkungen Falls Sie sich für ein bestimmtes Thema interessieren, können Sie sich bei mir (parinaz.ameri@kit.edu) melden, um das Thema zu reservieren.

Wenn Sie sich noch nicht sicher sind, können Sie einfach bis zur ersten Sitzung warten. Mehr Informationen zu den Themen werden bei der Einführungsveranstaltung am 21.10.2013 um 15:45 gegeben.

Sie sollten in jedem Fall an der ersten Sitzung teilnehmen, da hier die finale Themen-Einteilung vorgenommen wird.

Vortragsspracheunbekannt
Beschreibung Alle reden von „Big Data“. Tatsächlich könnte das explosionsartige Wachstum großer Datenmengen das nächste Phänomen seit der Erfindung des Internets sein. In der heutigen Zeit kann man jederzeit und überall auf Informationen zugreifen und diese verarbeiten. Dabei produziert jeder von uns eine Vielzahl digitaler Daten wie Videos, Audio, Fotos, etc. Pro Minute werden beispielsweise 48 Stunden Videomaterial auf YouTube hochgeladen. Auch als Nutzer dieser digitalen Produkte stellen wir erhebliche Anforderungen: Wir setzen die Verfügbarkeit der Daten, schnelle und effiziente Analysen sowie eine schnelle Suche in großen Datenmengen voraus.

Der Begriff Big Data wird dabei durch die sogenannten vier „V“s geprägt. Jedes dieser „V“s drückt einen entscheidenden Aspekt großer Datenmengen aus, die die heutige Infrastruktur an ihre Grenzen bringt:

  • Volume: Das Speichern, Verteilen und Analysieren von Petabyte- oder sogar Zettabyteweise Daten
  • Variety: Das Verarbeiten einer Vielzahl unstrukturierter Daten unterschiedlichster Datenformate
  • Velocity: Der dramatische Anstieg der erzeugten Datenmenge
  • Veracity: Das Verarbeiten unbestimmter oder unpräziser Daten, z. B. Daten sozialer Medien

Die Herausforderungen, die im Umfeld großer Datenmengen entstehen, bieten die besten Möglichkeiten für Einzelpersonen, Forschungseinrichtungen sowie Unternehmen der Technologiebranche, sich zu engagieren, Lösungen zu entwickeln und die Welt zu verändern.

Im Seminar „Big Data Tools“ werden effiziente Methoden und Werkzeuge vorgestellt und diskutiert, die für den Umgang mit großen Datenmengen notwendig sind. Zu diesen gehören beispielsweise die folgenden:

  1. Hadoop: verteilte Dateisysteme
  2. MapReduce: Programmiermodell für die Datenverarbeitung in großen Clustern
  3. Evaluation der Performance des Streamings von Hadoop
  4. Parallele Dateisysteme
  5. CernVM-FS: Verteilung wissenschaftlicher Software auf global verteilte Rechnerressourcen
  6. dCache: ein hochtransparentes, fehlertolerantes Datenmanagementsystem
  7. Verteilter Datenzugriff mit niedrigen Latenzzeiten mit xrootd
  8. Analyse großer Datenmengen des Experimentes ALICE vom LHC
  9. Ceph: ein durch Software definiertes Speichersystem
  10. Zuverlässigkeit langfristiger Speicherung
  11. Auswirkungen direkt adressierbarer Massenspeicher auf das Datenbankdesign
  12. In-Memory Datenbank: Hana
  13. MongoDB: dokumentenbasierte NoSQL Datenbanken
  14. Die Nutzung von BOINC für verteilte Systeme
  15. OpenStack Swift: objektbasierte Speichersysteme für unstrukturierte Daten in der Cloud

Bei Bedarf, können die Vorträge und Diskussionen auch in Englisch abgehalten werden.