14 Августа 2018 17:09 
Навигация
 +  - 
Скачать игры
Сейчас на сайте
13.08.2018
Warhangel
17:13:54
offline
13.08.2018
littledie
1 день
offline
10.08.2018
krit131
4 дней
offline
09.08.2018
inomn
5 дней
offline
09.08.2018
qwertyq...
5 дней
offline
Последние фото
Game of Blocks : WesterosCraft and Game of Thrones
Game of Blocks : Wes...
Альбом: Скриншоты

Вынос трёх пати куполом
Вынос трёх пати куполом
Альбом: Скриншоты



Альбом: Флора

Последние видео
Видео ТРИ СУДЬБЫ - Короткометражный фэнтези-боевик : Короткометражный CGI-фильм, посвященный игре The Elder Scrolls Online.

Игрофильмы:  ТРИ СУДЬБЫ - Короткометражный фэнтези-боевик

Видео Rhine Falls : Rhine Falls Live Camera streeeam

Онлайн камеры:  Rhine Falls

Видео Live Cam, Central Memorial Park, Calgary, Alberta : Central Memorial Park is a park located in central Calgary\

Онлайн камеры:  Live Cam, Central Memorial Park, Calgary, Alberta

Наша кнопочка
FAQ7.ru
Код:
RSS каналы
Новости
Комменты
Форум
Статьи
Фото
Файлы
Ссылки
Объявления
Реклама
Регистрация сайта в каталогах, раскрутка и оптимизация сайта, контекстная реклама
Автор темы: Warhangel
ID темы: 508
Информация о теме:
Имеются 1 сообщений по данной теме, которая была просмотрена 2868 раз.
Реклама
livecoin Обменник
Просмотр темы
Логин:
Пароль:  
Форум » Тематические » Интернет » Социальные сети
Просмотр темы
Текущий рейтинг: (Всего: 0 голосов)  
Ответить
Иконка 
Facebook: how we scaled to 500 000 000 users by Robert Johnson
Наверх Распечатать сообщение #1
Опубликовано 05-01-2011 22:52
Аватар пользователя

Супер Администратор



Сообщений: 2121
Вас поблагодарили: 18
раз(а) в 18 сообщениях

Зарегистрирован: 24.03.10
Со дня регистрации: 3065
Откуда: Россия
Пол: Мужской

Скрыть награды


Пожаловаться на это сообщение 

Буквально только что вернулся после насыщенного дня, большую часть которого я провел на RIW2010 (о котором я надеюсь успеть полноценно написать в воскресенье), а вечером я очень рад что собрался таки съездить на выступления Robert Johnson под названием «Facebook: how we scaled to 500 000 000 users» в ГУ-ВШЭ (где я собственно на данный момент и учусь в магистратуре). Сейчас же я хотел бы сосредоточиться именно на последнем мероприятии, благо оно мало того что было существенно более качественным, чем остальные выступления, на которых я был последнее время, так еще и очень сильно коррелирует как в целом с общей нитью данного блога, так и с последним постом в частности.Прежде чем читать дальше, настоятельно рекомендую ознакомиться с архитектурой Facebook (которую я обновил немного), здесь я постараюсь особо не повторяться и рассказать лишь об общих впечатлениях и новых фактах, которые мне удалось услышать и выяснить.

Само выступление длилось всего пол часа, было абсолютно без технических подробностей — немного понтов о своих достижениях в плане аудитории и нагрузки (собственно говоря первым слайдом был график роста аудитории по годам), а затем базовые вещи оb построении высоконагруженных систем в духе мол, что масштабироваться надо горизонтально, внимательно следить за SPOF, быстро двигаться вперед с использованием небольших итераций в разработке и.т.п. Аудитория слушала с очень напряженными лицами — для многих определенно было много незнакомых слов и вообще довольно суровое скороговорочное американское произношение мало кому давалось легко на слух.

Технических вопросов было довольно мало (что впрочем не удивительно, т.к. мероприятие проходило в гуманитарном ВУЗе) — превалировали вопросы в духе «что вы делаете с профилями умерших людей» (есть процедура когда друзья/родственники сообщают и если оказывается правдой то специальным образом перенастраивают аккаунт, чуть ли не несколько миллионов таких случаев было), «как работает фича Х» (из интересных фич — скрытие фоток твоих бывших boy/girl friend***ов через face recognition), «как выглядит типичный день разработчика в Facebook» (2/3 пишут код, остальное — всякие остальные виды деятельности), «какие планы развития в России и мире» или «что думаете о конкурентах» (их позиция — делать лучший продукт на рынке и аудитория сама подтянется), еще спрашивали снимался ли он в фильме, о котором последнее время в рунете слухи ходят. Недавно еще у них открылся небольшой венчурный фонд для инвестиций в социальные проекты. Вообще сессия публичных ответов-вопросов длилась около часа и потом еще где-то с полчаса он активно общался с людьми лично, тоже с ним поговорил немного. Под конец общение почти превратилось в фотосессию, я тоже вот решил за компанию сфотографироваться:

[img]http://www.insight-it.ru/wp-content/uploads /2010/10/Robert-Johnson-and-Ivan-Blinkov.jpg[/img] is not a valid Image.

Пожалуй хватит воды, перейдем к делу, собственно что же нового для себя я узнал на мероприятии:

* С примерно первой половины года их официальная активная аудитория повысилась с 400 до 500 миллионов человек
* Штат инженеров (т.е. по-нашему разработчиков и сис. администраторов) увеличился до ~500 человек, примерно стало понятно как они распределены:
o Основной принцип: много небольших узкоспециализированных команд, которым даны полномочия принимать решения и проводить полностью продукт от стадии идеи до стадии реализации
o Около половины работают в «продуктовых» командах, до 5-10 человек в каждой (фотографии, поиск, личные сообщения, и.т.п.)
o Ряд команд, занимающихся общими вопросами (например 4 человека работают над оптимизацией MySQL, еще есть команды по безопасности, приватности, производительности)
o Нестрогий менеджмент, 2 уровня управления
* Используются аппаратные балансировщики нагрузки от F5 + некое опенсорсное решение, сказал что возможно nginx, но он не уверен
* Виртуализация совсем не используется — на таком масштабе она не актуальна
* MySQL-сервера используют подключенные напрямую массивы дисков (direct attached storage)
* По вопросам мониторинга кое-где используются nagios и ganglia, но большая часть данной подсистемы написано самостоятельно
* Десятки тысяч серверов и десятки гигабит трафика, более точных цифр, к сожалению, не дали
* Коммерческого программное обеспечение практически не используется, по большей части собственные разработки и в ключевых местах opensource
* Сам спросил про датацентры:
o Santa Clara, California — master (названия мест плохо расслышал, поправьте если ошибаюсь)
o Ashburn, Virginia — read-only slave
o За пределами США присутствие очень небольшое, по паре стоек в нескольких странах — если я правильно понял, то для кэширования статики, т.е. своя CDN
* Помимо этого мне было интересно про репликацию между ними:
o Используется модифицированный механизм встроенной репликации MySQL
o Основные доработки: передача помимо собственно данных списка идентификаторов объектов, которые следует инвалидировать из-за текущего обновления + какая-то хитрая система расстоновки флагов о текущем состоянии процесса репликации
* DDoS их особо не волнует — сколько-либо серьезных попыток они не встречали, защита аппаратная на уровне ДЦ, как я понял
* Намного больше внимания уделяется модерации контента и борьбе со спамом
* Развертывание делается максимально плавно, как в плане обновления софта, так и в плане выкатывания новых версий кода сайта (упоминал в статье про архитектуру)
* Их позиция касательно opensource:
o Активно использовать и возвращать взамен с улучшениями
o Facebook выгодно возвращать вносимые изменения в популярные opensource проекты, так как они не считают их конкурентным преимуществом (ну и лицензии никто не отменял)
o Если это не делается, то чаще всего т.к. либо используются «грязные хаки и костыли», которые никому кроме них не нужны, либо так как разработчикам не хватает времени привести патч в удобоваримый вид
o Свои проекта также активно публикуются, так как организации вроде Apache Software Foundation берут на себя многие вопросы по поддержке и развитию кода
* Apache Hadoop как уже многие писали используется как хранилище и оффлайновый обработчик данных вроде логов, Hive родился как надстройка для упрощения доступа
* Хоть сотрудники Facebook и реализовали проект Cassandra, про который активно спрашивали в комментариях как тут, так и на хабре, но они его практически не используют у себя. Как известно он опубликован в opensource и поддерживается ASF. В Facebook он используется(использовался?) только как хранилище для поиска по внутренним сообщениям, мотивация: очень быстрая запись, недостаточная производительность операций случайного чтения
* На вопрос про основной дистрибутив линукс и вендоров оборудования он был не особо уверен, но сказал что скорее всего использутся CentOS и они работают с несколькими основными вендорами серверов (HP, IBM, Dell) — свое оборудование (как Google) они не изобретают, так как не считают целесообразным
* Используется довольно сильно модифицированное ядро ОС, особенно по части сетевого стека

автор: Иван Блинков
insight-it.ru
 Offline
 
Посетить сайт автора
Цитировать
Ответить
Здесь присутствуют: 1 (пользователей: 0, гостей: 1)

« Предыдущая тема | Следующая тема »
 RSS Перейти на форум:
Розыгрыши 728х90

Последние объявления
ФотоЗаголовокГородРазмещено
ООО «Ставролен» продает неликвиды
• Хозяйство - Оборудование Цена: 1 1
Ставрополь11.08.2018
(на 1 месяц)
Группа «Илим» реализует неликвиды своих предприятий
• Хозяйство - Оборудование Цена: 1 1
Санкт-Петербург23.07.2018
(на 1 месяц)
Купим автоматическую систему газового пожаротушения
• Хозяйство - Оборудование Цена: 1 1
Красноярск24.04.2018
(на 6 месяцев)
Интернет-магазин velobum.com.ua
• Транспорт - Велотранспорт Цена: 1 1
Белгород22.03.2018
(на 6 месяцев)
Универсальный гипермаркет Gecsa
• Развлечения - Туризм Цена: 1 1
Казань06.11.2017
(на 24 месяца)
Облако тегов тем форума
В американской версии Lineage 2 стало доступно обновление Infinite Odyssey, Руководство по системе глифов, NVIDIA официально представила GeForce GTX 570, Квест на Doomcryer, Чит для Rust 2018, Группа Ласковый май, Сбор Звездных Камней, Diablo III выйдет на PlayStation 3 и PlayStation 4, Найден способ бесконечно увеличивать фото на iPhone, Как определить кармическую задачу текущего воплощения, Самая популярная эро-манга 2011, Первые шаги в EVE, Советы новичкам, ПВП бонусы, Квест на Orc Monk, Игрушки нового поколения для детей и взрослых
Главная Статьи Файлы Форум Ссылки Новости Фотогалерея Объявления Видео Файлобменник Гороскоп Поиск по торрентам Радио Видеочат
Яндекс.Метрика
Powered by PHP-Fusion copyright © 2002 - 2018 by Nick Jones. Released as free software without warranties under GNU Affero GPL v3.