[МФТИ] Hadoop Distributed File System (HDFS) 2021 (Олег Ивченко)

Oсвойте основные операции с файловой системой HDFS. Какие перспективы открывают навыки работы с HDFS: 1. На интенсиве вы узнаете о среде для работы с большими данными - Apache Hadoop, а также научитесь работать с основополагающим компонентом фреймворка Apache Hadoop: HDFS. 2. Hadoop Distributed File System (HDFS) – распределённая файловая система, позволяющая хранить информацию практически неограниченного объёма. HDFS является неотъемлемой частью экосистемы Hadoop, куда входят фреймворки Spark, Hive, HBase и другие. Hadoop Distributed File System активно используют и другие направления Big Data, включая подготовку и анализ данных, а также аналитические системы на базе алгоритмов машинного обучения (Machine Learning). Кому будет полезен интенсив: 1. Тем, кто начинает погружаться в сферу BigData 2. Тем, кто хочет глубже узнать внутреннее устройство распределенной файловой системы HDFS После интенсива вы будете: 1. Понимать, зачем нужны большие данные (Big Data) 2. Разбираться, как устроена HDFS, ее составляющие 3. Знать преимущества и недостатки HDFS 4. Уметь записывать и читать данные в/из HDFS 5. Исследовать файловую систему HDFS с точки зрения системного администратора Содержание: 1. Зачем нужны большие данные 2. Распределённые файловые системы. Файловые системы HDFS. Их составляющие. Их достоинства, недостатки и сфера применения 3. Чтение и запись в HDFS 4. HDFS APIs: Web API, shell, Python API. 5. Форма закрепления знаний - тестирование и выполнение домашней работы