Главная : Технологии : Application Developer Days :

Apache Hadoop (Владимир Климонтович на ADD-2010)

Владимир Климонтович поделился своим опытом обработки ОЧЕНЬ БОЛЬШИХ объемов данных, и использование для этого NOSQL-подходов, в частности Apache Hadoop.


История вопроса.

* Почему проблема обработки большего объема данных становится все более актуальной (пример роста количества данных в разных областях).
* Статья от компании Google про парадигму MapReduce. Краткое описание парадигмы.
* Краткое описание смежных областей (distributed file system, bigtable-like storage).
* История и краткое описание платформы Apache Hadoop.

Примеры использования.

* Использование платформы hadoop в трех отдельно взятых областях: в last.fm (построение charts), в online-advertising'e (построение статистики), в Yahoo (построение поискового индекса).
* Описание традиционного подхода (SQL базы данных) и подхода с использованием Hadoop для каждой из вышеобозначенных проблем. Достоинства и недостатки SQL/Hadoop подхода
* Общий принцип трансляции некоторого подтипа SQL запросов в MapReduce job'ы.

Платформы, построенные поверх Hadoop.

* Краткое описание ETL-framework'а Hive and Pig, построенных на базе Hadoop.
* Примеры использования (на примере facebook.com и Yahoo); сравнение со стандартным SQL подходом

Проблемы с real-time доступом к данным при использовании Apache Hadoop.

* Описания случаев, когда real-time нужен, а когда нет.
* Описание решения простых проблем с realtime: кэширование в памяти (memcached), симбиоз со SQL
* Симбиоз с bigtable-like БД на примере HBase. Краткое описание HBase.

Hadoop как тренд.

* Краткий обзор технических и бизнес проблем, возникающих при использовании Hadoop
* Шумиха вокруг Hadoop и NoSQL подхода. Описание случаев, когда SQL оказывается удобным.

СКАЧАТЬ ВЫПУСК   50:34, 34.7 Мб
добавлен 23.12.10 21:57

Музыка для абонента
Провод для разговора Выпуск 3.1
СКАЧАТЬ ВЫПУСК   18:49, 12.9 Мб
добавлен 20.05.16 13:55
Люди и роботы
Провод для разговора Выпуск 2.2
СКАЧАТЬ ВЫПУСК   17:43, 12.2 Мб
добавлен 25.11.15 10:55
Перезагрузка
Провод для разговора Выпуск 2.1
СКАЧАТЬ ВЫПУСК   22:32, 15.5 Мб
добавлен 25.09.15 13:51
Все поумнели
Провод для разговора Выпуск 10
СКАЧАТЬ ВЫПУСК   21:55, 15.1 Мб
добавлен 04.08.15 18:40
Мир без медленного интернета
Провод для разговора Выпуск 9
СКАЧАТЬ ВЫПУСК   15:34, 10.7 Мб
добавлен 13.07.15 13:17
Архив выпусков рубрики

На главную
О проекте
Программы
Контакты

Полная версия
Вход