23 Мая 2018 08:08 
Навигация
 +  - 
Скачать игры
Сейчас на сайте
23.05.2018
ribik
06:07:33
offline
22.05.2018
Warhangel
10:50:06
offline
21.05.2018
kucejlb
1 день
offline
19.05.2018
d_sergi...
4 дней
offline
16.05.2018
Virusergey
6 дней
offline
Последние фото
Game of Blocks : WesterosCraft and Game of Thrones
Game of Blocks : Wes...
Альбом: Скриншоты

Вынос трёх пати куполом
Вынос трёх пати куполом
Альбом: Скриншоты



Альбом: Флора

Последние видео
Видео ТРИ СУДЬБЫ - Короткометражный фэнтези-боевик : Короткометражный CGI-фильм, посвященный игре The Elder Scrolls Online.

Игрофильмы:  ТРИ СУДЬБЫ - Короткометражный фэнтези-боевик

Видео Rhine Falls : Rhine Falls Live Camera streeeam

Онлайн камеры:  Rhine Falls

Видео Live Cam, Central Memorial Park, Calgary, Alberta : Central Memorial Park is a park located in central Calgary\

Онлайн камеры:  Live Cam, Central Memorial Park, Calgary, Alberta

Наша кнопочка
FAQ7.ru
Код:
RSS каналы
Новости
Комменты
Форум
Статьи
Фото
Файлы
Ссылки
Объявления
Реклама
Регистрация сайта в каталогах, раскрутка и оптимизация сайта, контекстная реклама
Автор темы: Warhangel
ID темы: 508
Информация о теме:
Имеются 1 сообщений по данной теме, которая была просмотрена 2799 раз.
Реклама
livecoin Обменник
Просмотр темы
Логин:
Пароль:  
Форум » Тематические » Интернет » Социальные сети
Просмотр темы
Текущий рейтинг: (Всего: 0 голосов)  
Ответить
Иконка 
Facebook: how we scaled to 500 000 000 users by Robert Johnson
Наверх Распечатать сообщение #1
Опубликовано 05-01-2011 22:52
Аватар пользователя

Супер Администратор



Сообщений: 2107
Вас поблагодарили: 18
раз(а) в 18 сообщениях

Зарегистрирован: 24.03.10
Со дня регистрации: 2982
Откуда: Россия
Пол: Мужской

Скрыть награды


Пожаловаться на это сообщение 

Буквально только что вернулся после насыщенного дня, большую часть которого я провел на RIW2010 (о котором я надеюсь успеть полноценно написать в воскресенье), а вечером я очень рад что собрался таки съездить на выступления Robert Johnson под названием «Facebook: how we scaled to 500 000 000 users» в ГУ-ВШЭ (где я собственно на данный момент и учусь в магистратуре). Сейчас же я хотел бы сосредоточиться именно на последнем мероприятии, благо оно мало того что было существенно более качественным, чем остальные выступления, на которых я был последнее время, так еще и очень сильно коррелирует как в целом с общей нитью данного блога, так и с последним постом в частности.Прежде чем читать дальше, настоятельно рекомендую ознакомиться с архитектурой Facebook (которую я обновил немного), здесь я постараюсь особо не повторяться и рассказать лишь об общих впечатлениях и новых фактах, которые мне удалось услышать и выяснить.

Само выступление длилось всего пол часа, было абсолютно без технических подробностей — немного понтов о своих достижениях в плане аудитории и нагрузки (собственно говоря первым слайдом был график роста аудитории по годам), а затем базовые вещи оb построении высоконагруженных систем в духе мол, что масштабироваться надо горизонтально, внимательно следить за SPOF, быстро двигаться вперед с использованием небольших итераций в разработке и.т.п. Аудитория слушала с очень напряженными лицами — для многих определенно было много незнакомых слов и вообще довольно суровое скороговорочное американское произношение мало кому давалось легко на слух.

Технических вопросов было довольно мало (что впрочем не удивительно, т.к. мероприятие проходило в гуманитарном ВУЗе) — превалировали вопросы в духе «что вы делаете с профилями умерших людей» (есть процедура когда друзья/родственники сообщают и если оказывается правдой то специальным образом перенастраивают аккаунт, чуть ли не несколько миллионов таких случаев было), «как работает фича Х» (из интересных фич — скрытие фоток твоих бывших boy/girl friend***ов через face recognition), «как выглядит типичный день разработчика в Facebook» (2/3 пишут код, остальное — всякие остальные виды деятельности), «какие планы развития в России и мире» или «что думаете о конкурентах» (их позиция — делать лучший продукт на рынке и аудитория сама подтянется), еще спрашивали снимался ли он в фильме, о котором последнее время в рунете слухи ходят. Недавно еще у них открылся небольшой венчурный фонд для инвестиций в социальные проекты. Вообще сессия публичных ответов-вопросов длилась около часа и потом еще где-то с полчаса он активно общался с людьми лично, тоже с ним поговорил немного. Под конец общение почти превратилось в фотосессию, я тоже вот решил за компанию сфотографироваться:

[img]http://www.insight-it.ru/wp-content/uploads /2010/10/Robert-Johnson-and-Ivan-Blinkov.jpg[/img] is not a valid Image.

Пожалуй хватит воды, перейдем к делу, собственно что же нового для себя я узнал на мероприятии:

* С примерно первой половины года их официальная активная аудитория повысилась с 400 до 500 миллионов человек
* Штат инженеров (т.е. по-нашему разработчиков и сис. администраторов) увеличился до ~500 человек, примерно стало понятно как они распределены:
o Основной принцип: много небольших узкоспециализированных команд, которым даны полномочия принимать решения и проводить полностью продукт от стадии идеи до стадии реализации
o Около половины работают в «продуктовых» командах, до 5-10 человек в каждой (фотографии, поиск, личные сообщения, и.т.п.)
o Ряд команд, занимающихся общими вопросами (например 4 человека работают над оптимизацией MySQL, еще есть команды по безопасности, приватности, производительности)
o Нестрогий менеджмент, 2 уровня управления
* Используются аппаратные балансировщики нагрузки от F5 + некое опенсорсное решение, сказал что возможно nginx, но он не уверен
* Виртуализация совсем не используется — на таком масштабе она не актуальна
* MySQL-сервера используют подключенные напрямую массивы дисков (direct attached storage)
* По вопросам мониторинга кое-где используются nagios и ganglia, но большая часть данной подсистемы написано самостоятельно
* Десятки тысяч серверов и десятки гигабит трафика, более точных цифр, к сожалению, не дали
* Коммерческого программное обеспечение практически не используется, по большей части собственные разработки и в ключевых местах opensource
* Сам спросил про датацентры:
o Santa Clara, California — master (названия мест плохо расслышал, поправьте если ошибаюсь)
o Ashburn, Virginia — read-only slave
o За пределами США присутствие очень небольшое, по паре стоек в нескольких странах — если я правильно понял, то для кэширования статики, т.е. своя CDN
* Помимо этого мне было интересно про репликацию между ними:
o Используется модифицированный механизм встроенной репликации MySQL
o Основные доработки: передача помимо собственно данных списка идентификаторов объектов, которые следует инвалидировать из-за текущего обновления + какая-то хитрая система расстоновки флагов о текущем состоянии процесса репликации
* DDoS их особо не волнует — сколько-либо серьезных попыток они не встречали, защита аппаратная на уровне ДЦ, как я понял
* Намного больше внимания уделяется модерации контента и борьбе со спамом
* Развертывание делается максимально плавно, как в плане обновления софта, так и в плане выкатывания новых версий кода сайта (упоминал в статье про архитектуру)
* Их позиция касательно opensource:
o Активно использовать и возвращать взамен с улучшениями
o Facebook выгодно возвращать вносимые изменения в популярные opensource проекты, так как они не считают их конкурентным преимуществом (ну и лицензии никто не отменял)
o Если это не делается, то чаще всего т.к. либо используются «грязные хаки и костыли», которые никому кроме них не нужны, либо так как разработчикам не хватает времени привести патч в удобоваримый вид
o Свои проекта также активно публикуются, так как организации вроде Apache Software Foundation берут на себя многие вопросы по поддержке и развитию кода
* Apache Hadoop как уже многие писали используется как хранилище и оффлайновый обработчик данных вроде логов, Hive родился как надстройка для упрощения доступа
* Хоть сотрудники Facebook и реализовали проект Cassandra, про который активно спрашивали в комментариях как тут, так и на хабре, но они его практически не используют у себя. Как известно он опубликован в opensource и поддерживается ASF. В Facebook он используется(использовался?) только как хранилище для поиска по внутренним сообщениям, мотивация: очень быстрая запись, недостаточная производительность операций случайного чтения
* На вопрос про основной дистрибутив линукс и вендоров оборудования он был не особо уверен, но сказал что скорее всего использутся CentOS и они работают с несколькими основными вендорами серверов (HP, IBM, Dell) — свое оборудование (как Google) они не изобретают, так как не считают целесообразным
* Используется довольно сильно модифицированное ядро ОС, особенно по части сетевого стека

автор: Иван Блинков
insight-it.ru
 Offline
 
Посетить сайт автора
Цитировать
Ответить
Здесь присутствуют: 1 (пользователей: 0, гостей: 1)

« Предыдущая тема | Следующая тема »
 RSS Перейти на форум:
Розыгрыши 728х90

Последние объявления
ФотоЗаголовокГородРазмещено
АО «КОНАР» реализует неликвиды
• Хозяйство - Сырье и материалы Цена: 1 1
Челябинск05.05.2018
(на 1 месяц)
ПАО «Михайловский ГОК» реализует трансформатор
• Хозяйство - Оборудование Цена: 1 1
Курск28.04.2018
(на 1 месяц)
Неликвиды АО «ЕВРАЗ КГОК»
• Хозяйство - Оборудование Цена: 1 1
Екатеринбург27.04.2018
(на 1 месяц)
Купим автоматическую систему газового пожаротушения
• Хозяйство - Оборудование Цена: 1 1
Красноярск24.04.2018
(на 6 месяцев)
Интернет-магазин velobum.com.ua
• Транспорт - Велотранспорт Цена: 1 1
Белгород22.03.2018
(на 6 месяцев)
Облако тегов тем форума
Моя Ужасная Няня / Няня Макфи / Nanny McPhee (2005), Serious Sam HD: The First Encounter, Люди в черном 3, Minitroopers, flash браузерка от создателей "My brute", Помощь студентам от РАЗДВАТРИ, 1503 А.D.: Тhe New Wоrld, Отслеживание цели, Угостить человеческим мясом обещают в Берлине, В космосе обнаружено огромное спиртовое облако, Perfect World Баг с квестами на время, По окончании E3 разработчики продемонстрируют пресс-демо игровому коммьюнити, Полезные микроволны, CSS размер текта и блоков, Тера мувик, Задумайтесь...
Главная Статьи Файлы Форум Ссылки Новости Фотогалерея Объявления Видео Файлобменник Гороскоп Поиск по торрентам Радио Видеочат
Яндекс.Метрика
Powered by PHP-Fusion copyright © 2002 - 2018 by Nick Jones. Released as free software without warranties under GNU Affero GPL v3.