четверг, 19 ноября 2009 г.

Масштабирование в Web - опыт Ebay

ebay — масштабирование, архитектура


Ebay — один из самых больших интернет проектов сегодня во всех смыслах, в том числе и по техническим показателям. Рэнди Шуп, архитектор проекта, делится опытом в вопросах масштабирования. Он подготовил отличную презентацию, в которой касается не только практических вопросов, но и общих принципов “того, как нужно думать при построении крупных масштабируемых систем”.



Статистика Ebay


Для начала, некоторые поразительные показатели проекта:



  • Более 89 миллионов активных пользователей

  • 190 миллионов товаров в 50 тыс. категорий

  • Более 8 миллиардов URL запросов в день

  • Большая динамика развития — сотни новых функциональных улучшений каждые 3 месяца

  • 39 стран, 9 языков, 24 часа в сутки, 7 дней в неделю, круглый год

  • 70 миллиардов операций чтения/записи в день

  • Обработка 50 Тб данных в день

  • Анализ 50 Пб данных каждый день


10 главных уроков из опыта Ebay



  1. Партиционируйте все, что только можно. Если Вы не сможете что-то делить, Вы не сможете это масштабировать. Делите все на управляемые функциональный и информационные сектора.

  2. Асинхронность везде. Пользуйтесь очередями для отработки асинхронных задач.

  3. Автоматизируйте все. Все компоненты системы должны самообучаться и подстраиваться под нужды.

  4. Следите за провалами и узкими местами. Нужно мониторить все.

  5. Думайте о том, как обеспечить доступность, даже если некоторые компоненты системы не работают

  6. Эволюция (и даже революция) не обратима. Изменения — это постоянный процесс, планируйте расширение и последовательное внедрение изменений

  7. Зависимости важны. Минимизируйте и контролируйте их, используйте абстракцию и виртуализацию.

  8. Определяйте важность компонент и данных. Зная это, устанавливайте приоритеты задач.

  9. Сохраняйте как можно больше данных, это важно для анализа и прогнозирования.

  10. Максимизируйте утилизацию всех ресурсов системы, не давайте простаивать ресурсам.


Презентация


Самое интересное — это презентация, которая содержит в себе все выше перечисленные моменты с детальными комментариями. Скачать презентацию:


ebay-presentation



Google Bookmarks Digg I.ua Ru-marks Ruspace Zakladok.net Reddit delicious Technorati Yahoo My Web News2.ru БобрДобр.ru Memori.ru rucity.com



Related posts:

  1. Масштабирование и производительность — еще раз о главном
  2. Масштабирование — худшие практики

Комментариев нет:

Отправить комментарий