SAS 3 и новая платформа от Supermicro

Долгое время параллельные интерфейсы SCSI и PATA были практически единственным вариантом интерфейса подключения жестких дисков и их массивов в настольных и серверных системах. Главными недостатками этих интерфейсов являлись следующие особенности:

• Отсутствие совместимости между SCSI и PATA.
• Сложность кабельной продукции интерфейса SCSI.
• Ограниченные возможности применения параллельных интерфейсов в компактных системах.
• Ограниченные возможности по количеству операций «ввод/вывод» на фоне стабильного роста производительности центрального процессора.

Все это привело к началу разработок интерфейсов, которые был призваны заменить морально устаревшие SCSI и PATA.

Первые «живые» слухи с эскизами разъемов и кабельной продукции последовательных интерфейсов начали распространяться в конце 90х начале 2000х годов, а в 2003 году уже была выпущена спецификация SATA 1.0, которая, в последствии, и стала плацдармом для последующей экспансии интерфейсов  SATA и SAS.

Интерфейс SATA быстро завоевал симпатию интеграторов и конечных пользователей в бытовом и околобытовом секторах, и в 2004 году была представлена спецификация SAS, a в 2005 начались первые поставки жестких дисков с данным интерфейсом. SAS имеет очень интересную особенность, которая изначально конструктивно заложена в нем – обратная совместимость с интерфейсом SATA.  Т.е. кабельные системы SAS предусматривают возможность подключения к ним дисков SATA (но не наоборот!), а контроллеры SAS содержат в себе набор команд SATA.  В самом начале продвижения SAS/SATA возникли вопросы по поводу большой скорости интерфейса и планами его последующего масштабирования.  Все дело в том, что один порт SAS позволяет подключить до 16256 устройств, и конструкторы предусмотрели возможность масштабирования систем пользователями.

Так как SAS и SATA односторонне совместимы, возникает резонный вопрос: какая сфера лучше подойдет для дисков SATA, а какая для SAS? В данном случае важно понимать, что обладая совместимым интерфейсом, физически диски имеют довольно значительные отличия. Накопители SAS, будучи преемниками SCSI, производятся для систем промышленного и корпоративного классов,  требования к которым предусматривают обеспечение высокой надежности и солидный показатель Mean-Time-Between-Failure, (MTBF или средняя наработка на отказ). Диски SAS подразумевают их эксплуатацию в режиме 24/7 и 52 недели в году.  Высокая скорость вращения шпинделя у дисков SAS подразумевает очень малое время поиска, что  позволяет добиться высокой производительности даже при множественных одновременных запросах к диску. Кроме того, качество используемых материалов и система производственного контроля гарантируют высокую надежность диска.

Кроме того, с появлением интерфейса SAS все более широкое распространение стали получать диски SAS в форм-факторе 2,5 дюйма. Емкость их со временем все больше и больше приближается к емкости аналогов в форм-факторе 3,5 дюйма, а плотность расположения  в rackmount-системах у них намного выше.  К примеру, в одноюнитовом сервере можно разместить до 10 дисков 2,5 дюйма, в то время как количество дисков 3,5 дюйма в аналогичной системе ограничено 4 штуками.  Немаловажную роль играет и электропотребление дисков форм-фактора 2,5 дюймов – оно значительно меньше, чем у их 3,5 дюймовых собратьев. А если к этому всему прибавить экономию места в серверной стойке – выбор становится очевидным.

Обычная область применения дисков SATA - настольные и мобильные системы, и ключевую роль в данном случае играет цена. У таких дисков MTBF значительно ниже, чем у SAS-дисков, и подразумевается, что  они будут работать при меньших нагрузках. Скорость вращения у большинства современных дисков SATA составляет 7200 об./мин, (в исключительных случаях до 10000 об./мин). Как итог – все эти показатели приводят к более низкой цене, соответственно – если главное – это объем и стоимость – SATA ваш выбор.

Но, не стоит забывать, что выбор в сторону SATA, по сути своей, не является действительно окончательным. Следует помнить, что SAS и SATA односторонне совместимы и в любой момент можно произвести модернизацию системы.

Наибольшую выгоду от данной совместимости получают те пользователи и интеграторы, у которых предусматривается рост нагрузки на дисковую подсистему сервера или рабочей станции, и, как следствие, ее последующая модернизация. По большому счету, все будет сведено всего лишь к замене дисков, в том случае, если при первоначальном проектировании был учтен SAS контроллер с соответствующими кабелями и бекплейнами. Более того, современные контроллеры позволяют провести миграцию массива с разнотипными дисками (SAS-SATA и наоборот).

С момента выхода SAS и SATA на рынок прошло более 10 лет, и технологии шагнули вперед. Сейчас уже не найдется на складах у поставщиков ни дисков с параллельными интерфейсами, ни винчестеров SAS и SATA  версии 1.0. Какие же технологии являются актуальными сейчас?

И если в случае с протоколом SATA с точки зрения архитектуры всё осталось в прежнем виде, то у SAS ситуация значительно интереснее.  Рассмотрим их поподробнее.

 Для SATA в данный момент является основным стандарт SATA III (версия 3.x) интерфейс, официально известный как SATA 6 Гбит / с,  который является третьим поколением интерфейсов SATA.  Пропускная способность которая поддерживаемая интерфейсом -  600 МБ/с. Данный интерфейс обратно совместим с интерфейсом SATA 3 Гбит / с.

 SATA III интерфейс обратно совместим и поддерживается на SATA I и SATA II портах. Однако максимальная скорость данной связки будет ограничена наиболее медленным устройством в конкретно взятом случае.

Для SAS – по-прежнему актуальным является 2 поколение, со скоростью 6 Gb/s и привычной для многих кабельной организацией. При этом уже доступны к заказу, как носители, так и контроллеры с бекплейнами со скоростью до 12 Gb/s, основное отличие которых – это несколько иная архитектура, обладающая, как следствие, иной кабельной организацией и позволяющая помимо прочего увеличить максимальную длину кабеля как внутренних, так и внешних дисковых систем. Основная причина непропорционального роста скорости шины к скорости его чтения/записи – рост больших, сильно разветвленных датацентров с обширным применением экспандеров, а так же всё более активное использование в серверах твердотельных дисков.

Новые типы соединений, которые используются в SAS 3.0 – SFF-8644 и SFF-8643 обладают следующими принципиальными особенностями:

• Малый форм-фактор – возможность разместить до 4 внешних портов даже на LP-контроллерах.
• Улучшенное соотношение сигнал/шум.
• Тип соединения останется прежним и для следующего поколения (24 Гб/с)
• Одинаковый тип подключения для активных и пассивных схем.

Кроме того, увеличение шины привело к тому, что при использовании SAS 3.0 со скоростями до 12 Гб/с полностью перекрывается пропускная способность шины PCIe 3.0.  Таким образом, для следующего поколения потребуется уже следующая ревизия PCI-e.

Весьма положительно расширение пропускной способности сказалось на возможности использования экспандеров – теоретически, SAS 1.0 мог поддерживать до 5 жестких дисков на одном канале, без падения производительности каждого отдельного диска. В современной ревизии протокола этой проблемы практически нет, и канал «контроллер»-«экспандер» более не является «бутылочным горлышком» дисковой подсистемы.

Если обратиться к «дорожной карте» поколений SAS, то можно заметить, насколько много изменений произошло в новой ревизии. Увеличилась максимально возможная длина активных медных кабелей (до 20 м) и появилась поддержка «оптики». Протяженность последней может достигать 100 м. Таким образом, можно создавать целые SAS-сети внутри одного датацентра со всеми плюсами и достоинствами данного протокола передачи данных.

Рассматривая электронную сторону вопроса, то можно увидеть следующее - с появлением интерфейса PCIe 3.0, потребность в более высокой производительности интерфейса системы хранения является критически важным.  Архитектура SAS 3.0 со скоростями до 12 Гб/с  обеспечивает лучшее использование пропускных возможностей системной шины PCIe 3.0. График показывает, что получить 100% производительности  можно достигнуть путем перехода к системе PCIe 3.0 совместно с использованием  12Гб/с SAS 3.0

Даже те пользователи, у которых сейчас имеются системы хранения на базе SAS ревизий 1.0, 2.0 и 2.1 могут произвести модернизацию своих систем достаточно просто и без серьезных финансовых вложений.  Рассмотрим следующий пример:

 Предположим, имеется сервер, в который установлен HBA или RAID контроллер, к которому подключен DAS с бекплейном и экспандером SAS предыдущего поколения. В DAS находится некоторый набор дисков (SATA, SAS 3 Гб/с, SAS 6 Гб/с и SSD), который объединен в набор массивов, либо являющихся отдельными томами. Узкое место данной конфигурации – это канал между сервером, и системой хранения, который можно легко устранить, поставив более современный контроллер и бекплейн. Пропускная способность системы хранения в данном случае резко возрастет, а при использовании при модернизации контроллера того же вендора перенос массивов данных не составит особого труда.

В данной статье мы рассмотрим еще одно новое и давно ожидаемое явление – это твердотельные диски с интерфейсом SAS. Какие объективные отличительные черты есть у этих дисков, и какими особенностями обладают массивы на основе этих дисков мы рассмотрим ниже.

Итак, отличительные черты архитектуры:

• Интерфейс SAS 12 Гбит/с вдвое увеличивает пропускную способность и имеет обратную совместимость с интерфейсами SAS 3 Гбит/с и 6 Гбит/с)
• Возможности многопутевого ввода-вывода помогают обеспечить высокую доступность данных с переключением на резервный ресурс в случае отказа, а также отсутствие единой точки отказа
• Благодаря высокой целостности сигнала (низкий шум) повышается безопасность использования кабелей увеличенной длины
• Масштабируемость — интерфейс SAS поддерживает более 65 000 дисковых отсеков (при использовании расширителей)
• Усовершенствованные возможности исправления ошибок на уровне диска интерфейса SAS помогают гарантировать целостность данных в процессе хранения
• Проверенные технологии управления носителями помогают предотвратить преждевременный износ в системах с интенсивной записью, что позволит избежать простоя и затрат, связанных с преждевременными отказами
• Защита данных в случае отключения питания и сквозная защита данных
• Многоуровневая технология восстановления после ошибок с усовершенствованным кодированием обнаружения и исправления ошибок, оптимизированными для флэш-памяти NAND.

Гораздо интереснее получаются выводы о поведении SSD дисков в массиве, некоторые – вполне очевидны, и характерны для традиционных жестких дисков, а некоторые могут быть интересны многим интеграторам

• Увеличение количества устройств приводит к улучшению как операций записи, так и операций чтения.
• Использование RAID 10 у классических дисков приводит к увеличению скорости операций записи/чтения, но тот же тип RAID, созданный из SSD таким же значительным приростом похвастаться не может.
• В случае, когда идет речь о линейном чтении - любой крупный массив будет показывать хорошие результаты.
• Наилучшие показатели произвольного чтения и записи получаются на RAID массиве с отдельным hardware-контроллером.
• Ожидаемо, самые лучшие показатели показали системы с высокочастотными процессорами и RAID массивами с большим количеством SSD дисков.

Рассмотрим один из образцов системы, в котором можно применить данные  выводы.

Основной специализацией компании «ТЕХНО-ОКТА» является продукция Supermicro. В данном обзоре мы рассмотрим типовую конфигурацию с подсистемой SAS 3, которая доступна для заказа уже сейчас. Это платформа SuperStorage Server 2027R-AR24NV.

 Она относится к системам хранения высшего класса и построена вокруг протокола передачи данных SAS 3. Система является сбалансированной с точки зрения пропускной способности шины данных (SAS 3 и PCIe 3.0) и позволяет реализовать весь передовой потенциал этих обоих протоколов. Платформа состоит из трех основных составляющих – корпуса SC216A-R920LPB 2U 24-bay, двухпроцессорной материнской платы X9DRH-iF-NV, с семью слотами PCIe 3.0 и 24-портовым бекплейном SAS 3, кроме всего прочего, оптимизированным так же для работы и с твердотельными накопителями.

Supermicro является одним из признанных лидеров в области внедрения новых технологий, и платформа SuperStorage Server 2027R-AR24NV для ресурсоемких приложений не является исключением. Данный сервер станет отличным решением для задач по работе с большими базами данных, критически важными приложениями и «тяжелыми» вычислениями.  По большому счету, связка «контроллер 12Гб/с + шина PCIe 3.0 + современный быстрый жесткий диск» является ответом на взрывной рост облачных центров хранения и обработки данных.

Данная платформа так же поддерживает память стандарта NVDIMM (Nonvolatile DIMM), NVDIMM - это гибридные модули оперативной памяти, в которых используется  оперативная память DRAM и флеш-память NAND. Внешне такие модули памяти очень похожи на обычные, но к плате подключён экстренный источник питания (суперконденсатор).

В обычных условиях эксплуатации память работает как обычный высокопроизводительный DRAM-модуль. В ситуации, когда случается перебой с электропитанием, или же некий сбой системы,  данные из DRAM быстро переносятся энергонезависимую часть модуля (флеш-память), где хранятся вплоть до следующего обращения к ним, независимо от времени перебоя. После удачного старта сервера, информация снова копируется в оперативную память. Таким образом, вероятность потери важных данных стремится к нулю, и сокращается время обслуживания для восстановления системы.

Шасси Supermicro  SC216  демонстрирует максимальную плотность размещения жестких дисков в форм-факторе 2U, помещая в себя до двадцати четырех 2,5" SAS/SATA носителей c возможностью горячей замены.  В конструкции SC216 также оптимизировано внутреннее пространство с увеличением размещаемых дополнительных устройств (до 7 слотов расширения) без ущерба для охлаждения. Кроме того, в корпусе используется высокоэффективная отказоустойчивая схема питания стандарта 80 plus platinum. 

• Вероятные сферы использования: Облачные сервисы, Сервер для виртуальных машин, Сервер для приложений чувствительных к дисковой системы и скорости операций ввода/вывода.

• До двух процессоров Intel® Xeon® processor E5-2600 or future E5-2600 v2 family; Socket R (LGA 2011)
• 24x 2.5" диска с возможностью горячей замены (SAS3/SATA3) и бекплейн с прямым подлючением

• 3 SAS3 Контроллера LSI 3008 24x SAS3 (12Gbps) порта.
• 16x DIMM,  до 512GB DDR3 1600MHz ECC RDIMMs с поддержкой NV-DIMM 
• 1x PCI-E 3.0 x16 slot, 6x PCI-E 3.0 x8 slots (порты 1, 2, & 3 заняты контроллерами)
• I/O ports: Dual 1GbE via Intel® i350, 1 dedicated LAN for System Management (IPMI 2.0,
   KVM/media over LAN), 1 VGA, 2 COM/Serial, 4 USB 2.0
• Оптимизированная система охлаждения 3x 80x38mm вентилятора с возможностью горячей замены; опционально доступный 5x60mm вентилятор
• Два блока питания 920W Platinum Level с возможностью горячей замены.