13 Декабря 2017 19:35 
Навигация
 +  - 
Скачать игры
Сейчас на сайте
13.12.2017
111222333
07:09:53
offline
13.12.2017
Warhangel
09:19:34
offline
11.12.2017
Aleksan...
2 дней
offline
10.12.2017
mrslis
3 дней
offline
06.12.2017
Splus
6 дней
offline
Последние фото
Game of Blocks : WesterosCraft and Game of Thrones
Game of Blocks : Wes...
Альбом: Скриншоты

Вынос трёх пати куполом
Вынос трёх пати куполом
Альбом: Скриншоты



Альбом: Флора

Последние видео
Видео Rhine Falls : Rhine Falls Live Camera streeeam

Онлайн камеры:  Rhine Falls

Видео Live Cam, Central Memorial Park, Calgary, Alberta : Central Memorial Park is a park located in central Calgary\

Онлайн камеры:  Live Cam, Central Memorial Park, Calgary, Alberta

Видео The University of Tampa Live Webcam : The University of Tampa

Онлайн камеры:  The University of Tampa Live Webcam

Наша кнопочка
FAQ7.ru
Код:
RSS каналы
Новости
Комменты
Форум
Статьи
Фото
Файлы
Ссылки
Объявления
Реклама
Регистрация сайта в каталогах, раскрутка и оптимизация сайта, контекстная реклама
Автор темы: Warhangel
ID темы: 508
Информация о теме:
Имеются 1 сообщений по данной теме, которая была просмотрена 2652 раз.
Реклама
livecoin Обменник
Просмотр темы
Логин:
Пароль:  
Форум » Тематические » Интернет » Социальные сети
Просмотр темы
Текущий рейтинг: (Всего: 0 голосов)  
Ответить
Иконка 
Facebook: how we scaled to 500 000 000 users by Robert Johnson
Наверх Распечатать сообщение #1
Опубликовано 05-01-2011 22:52
Аватар пользователя

Супер Администратор



Сообщений: 2092
Вас поблагодарили: 17
раз(а) в 17 сообщениях

Зарегистрирован: 24.03.10
Со дня регистрации: 2821
Откуда: Россия
Пол: Мужской

Скрыть награды


Пожаловаться на это сообщение 

Буквально только что вернулся после насыщенного дня, большую часть которого я провел на RIW2010 (о котором я надеюсь успеть полноценно написать в воскресенье), а вечером я очень рад что собрался таки съездить на выступления Robert Johnson под названием «Facebook: how we scaled to 500 000 000 users» в ГУ-ВШЭ (где я собственно на данный момент и учусь в магистратуре). Сейчас же я хотел бы сосредоточиться именно на последнем мероприятии, благо оно мало того что было существенно более качественным, чем остальные выступления, на которых я был последнее время, так еще и очень сильно коррелирует как в целом с общей нитью данного блога, так и с последним постом в частности.Прежде чем читать дальше, настоятельно рекомендую ознакомиться с архитектурой Facebook (которую я обновил немного), здесь я постараюсь особо не повторяться и рассказать лишь об общих впечатлениях и новых фактах, которые мне удалось услышать и выяснить.

Само выступление длилось всего пол часа, было абсолютно без технических подробностей — немного понтов о своих достижениях в плане аудитории и нагрузки (собственно говоря первым слайдом был график роста аудитории по годам), а затем базовые вещи оb построении высоконагруженных систем в духе мол, что масштабироваться надо горизонтально, внимательно следить за SPOF, быстро двигаться вперед с использованием небольших итераций в разработке и.т.п. Аудитория слушала с очень напряженными лицами — для многих определенно было много незнакомых слов и вообще довольно суровое скороговорочное американское произношение мало кому давалось легко на слух.

Технических вопросов было довольно мало (что впрочем не удивительно, т.к. мероприятие проходило в гуманитарном ВУЗе) — превалировали вопросы в духе «что вы делаете с профилями умерших людей» (есть процедура когда друзья/родственники сообщают и если оказывается правдой то специальным образом перенастраивают аккаунт, чуть ли не несколько миллионов таких случаев было), «как работает фича Х» (из интересных фич — скрытие фоток твоих бывших boy/girl friend***ов через face recognition), «как выглядит типичный день разработчика в Facebook» (2/3 пишут код, остальное — всякие остальные виды деятельности), «какие планы развития в России и мире» или «что думаете о конкурентах» (их позиция — делать лучший продукт на рынке и аудитория сама подтянется), еще спрашивали снимался ли он в фильме, о котором последнее время в рунете слухи ходят. Недавно еще у них открылся небольшой венчурный фонд для инвестиций в социальные проекты. Вообще сессия публичных ответов-вопросов длилась около часа и потом еще где-то с полчаса он активно общался с людьми лично, тоже с ним поговорил немного. Под конец общение почти превратилось в фотосессию, я тоже вот решил за компанию сфотографироваться:

[img]http://www.insight-it.ru/wp-content/uploads /2010/10/Robert-Johnson-and-Ivan-Blinkov.jpg[/img] is not a valid Image.

Пожалуй хватит воды, перейдем к делу, собственно что же нового для себя я узнал на мероприятии:

* С примерно первой половины года их официальная активная аудитория повысилась с 400 до 500 миллионов человек
* Штат инженеров (т.е. по-нашему разработчиков и сис. администраторов) увеличился до ~500 человек, примерно стало понятно как они распределены:
o Основной принцип: много небольших узкоспециализированных команд, которым даны полномочия принимать решения и проводить полностью продукт от стадии идеи до стадии реализации
o Около половины работают в «продуктовых» командах, до 5-10 человек в каждой (фотографии, поиск, личные сообщения, и.т.п.)
o Ряд команд, занимающихся общими вопросами (например 4 человека работают над оптимизацией MySQL, еще есть команды по безопасности, приватности, производительности)
o Нестрогий менеджмент, 2 уровня управления
* Используются аппаратные балансировщики нагрузки от F5 + некое опенсорсное решение, сказал что возможно nginx, но он не уверен
* Виртуализация совсем не используется — на таком масштабе она не актуальна
* MySQL-сервера используют подключенные напрямую массивы дисков (direct attached storage)
* По вопросам мониторинга кое-где используются nagios и ganglia, но большая часть данной подсистемы написано самостоятельно
* Десятки тысяч серверов и десятки гигабит трафика, более точных цифр, к сожалению, не дали
* Коммерческого программное обеспечение практически не используется, по большей части собственные разработки и в ключевых местах opensource
* Сам спросил про датацентры:
o Santa Clara, California — master (названия мест плохо расслышал, поправьте если ошибаюсь)
o Ashburn, Virginia — read-only slave
o За пределами США присутствие очень небольшое, по паре стоек в нескольких странах — если я правильно понял, то для кэширования статики, т.е. своя CDN
* Помимо этого мне было интересно про репликацию между ними:
o Используется модифицированный механизм встроенной репликации MySQL
o Основные доработки: передача помимо собственно данных списка идентификаторов объектов, которые следует инвалидировать из-за текущего обновления + какая-то хитрая система расстоновки флагов о текущем состоянии процесса репликации
* DDoS их особо не волнует — сколько-либо серьезных попыток они не встречали, защита аппаратная на уровне ДЦ, как я понял
* Намного больше внимания уделяется модерации контента и борьбе со спамом
* Развертывание делается максимально плавно, как в плане обновления софта, так и в плане выкатывания новых версий кода сайта (упоминал в статье про архитектуру)
* Их позиция касательно opensource:
o Активно использовать и возвращать взамен с улучшениями
o Facebook выгодно возвращать вносимые изменения в популярные opensource проекты, так как они не считают их конкурентным преимуществом (ну и лицензии никто не отменял)
o Если это не делается, то чаще всего т.к. либо используются «грязные хаки и костыли», которые никому кроме них не нужны, либо так как разработчикам не хватает времени привести патч в удобоваримый вид
o Свои проекта также активно публикуются, так как организации вроде Apache Software Foundation берут на себя многие вопросы по поддержке и развитию кода
* Apache Hadoop как уже многие писали используется как хранилище и оффлайновый обработчик данных вроде логов, Hive родился как надстройка для упрощения доступа
* Хоть сотрудники Facebook и реализовали проект Cassandra, про который активно спрашивали в комментариях как тут, так и на хабре, но они его практически не используют у себя. Как известно он опубликован в opensource и поддерживается ASF. В Facebook он используется(использовался?) только как хранилище для поиска по внутренним сообщениям, мотивация: очень быстрая запись, недостаточная производительность операций случайного чтения
* На вопрос про основной дистрибутив линукс и вендоров оборудования он был не особо уверен, но сказал что скорее всего использутся CentOS и они работают с несколькими основными вендорами серверов (HP, IBM, Dell) — свое оборудование (как Google) они не изобретают, так как не считают целесообразным
* Используется довольно сильно модифицированное ядро ОС, особенно по части сетевого стека

автор: Иван Блинков
insight-it.ru
 Offline
 
Посетить сайт автора
Цитировать
Ответить
Здесь присутствуют: 1 (пользователей: 0, гостей: 1)

« Предыдущая тема | Следующая тема »
 RSS Перейти на форум:
Розыгрыши 728х90

Последние объявления
ФотоЗаголовокГородРазмещено
ПАО «Казаньоргсинтез» реализует неликвиды
• Хозяйство - Оборудование Цена: 1 1
Казань28.11.2017
(на 1 месяц)
ПАО «Северсталь» продает неликвиды
• Хозяйство - Оборудование Цена: 1 1
Другой28.11.2017
(на 1 месяц)
Универсальный гипермаркет Gecsa
• Развлечения - Туризм Цена: 1 1
Казань06.11.2017
(на 24 месяца)
Компания "УралМеталлЭнерго" реализует складские остатки труб
• Хозяйство - Сырье и материалы Цена: 1 1
Челябинск24.10.2017
(на 12 месяцев)
Продажа опрессовочного оборудования для РВД
• Хозяйство - Оборудование Цена: 1 1
Москва18.10.2017
(на 24 месяца)
Облако тегов тем форума
Легковой полноприводный автомобиль РАТИБОР, Адреналин: скрипт академика 1 - 40 лвл, Коды к игре Serious Sam 3: BFE, Молитва о сексе, Zotac GeForce GTX 580 AMP2! Edition: мощная видеокарта с заводским разгоном, «Иннова» вернула «Летний пакет» игрокам Aion!, Можно ли вылечить кисту медикаментозно?, Как загладить вину, Новый вирус поразил банкоматы, Квест на Bishop, Как узнать IP-адрес сервера?, Десять шагов к себе интересному, Perfect World - Запущен новый сервер «Лисичка», TERA - межсерверные бои, Установка паков текстур в MineCraft
Главная Статьи Файлы Форум Ссылки Новости Фотогалерея Объявления Видео Файлобменник Гороскоп Поиск в сети Радио Пробки
Яндекс.Метрика
Powered by PHP-Fusion copyright © 2002 - 2017 by Nick Jones. Released as free software without warranties under GNU Affero GPL v3.