В этой статье мы заглянем в будущее интерфейса SCSI и рассмотрим некоторые преимущества и недостатки интерфейсов SCSI, SAS и SATA.

На самом деле, вопрос является немного более сложным, чем простая замена SCSI на SATA и SAS. Традиционный параллельный SCSI является испытанным и проверенным интерфейсом, используемым давно. В настоящее время, SCSI предлагает очень быструю скорость передачи данных в 320 Мегабайт в секунду (Mб/сек), используя современный интерфейс Ultra320 SCSI. Кроме того, SCSI предлагает большой выбор возможностей, среди которых Command-Tag Queuing (метод оптимизирования I/O команд для увеличения производительности). Жесткие диски SCSI отличаются надежностью; на коротком расстоянии можно создать последовательную цепь из 15 устройств, подключенную к каналу SCSI. Эти особенности делают SCSI замечательным выбором для производительных десктопов и рабочих станций, вплоть до серверов предприятий, по настоящее время.

Жесткие диски SAS используют набор команд SCSI и обладают схожей надежностью и производительностью, как и SCSI диски, однако используют последовательную версию интерфейса SCSI, со скоростью 300 Mб/сек. И хотя это немного медленнее, чем SCSI с 320 Mб/сек, интерфейс SAS способен поддерживать до 128 устройств на бОльших расстояниях, чем Ultra320, и может расширяться до 16000 устройств на канал. Жесткие диски SAS предлагают такую же надежность и скорости вращения (10000-15000), как и диски SCSI.

Диски SATA являются немного другими. Там, где SCSI и SAS диски уделяют внимание производительности и надежности, диски SATA жертвуют ими в пользу существенного увеличения емкости и снижения стоимости. К примеру, диск SATA в настоящий момент достиг емкости в 1 терабайт (ТБ). SATA используется там, где нужна максимальная емкость, например, для резервного копирования данных или архивирования. Сейчас SATA предлагает соединения точка-точка со скоростью до 300 Mб/сек, и легко опережает традиционный параллельный интерфейс АТА, со скоростью 150 Mб/сек.

Итак, что же случится с SCSI? Работает он прекрасно. Проблема с традиционным SCSI заключается в том, что просто подходит к окончанию его срок эксплуатации. Параллельный интерфейс SCSI, обладающий скоростью в 320 Mб/сек, не сможет работать значительно быстрее на существующих в настоящий момент длинах SCSI кабелей. Для сравнения, диски SАТА достигнут скорости в 600 Mб/сек в ближайшем будущем, SAS имеют планы для достижению 1200 Mб/сек. Диски SАТА могут, кроме того, работать с интерфейсом SAS, таким образом эти диски могут использоваться одновременно в некоторых системах хранения. Потенциал к увеличению расширяемости и производительности передачи данных гораздо превышает имеющийся у SCSI. Но SCSI не уйдет со сцены в ближайшее время. Мы будем видеть SCSI в малых и средних серверах еще несколько лет. Так как аппаратные средства обновляются, SCSI будет систематически заменяться дисками SAS/SATA, для получения большей скорости и удобства соединения.

Почему SAS?

Интерфейс Serial Attached SCSI - это не просто последовательная реализация протокола SCSI. В нём реализовано намного больше, чем простой перенос функций SCSI, таких как TCQ (Tagged Command Queuing, тэгированная очередь команд), через новый разъём. Если бы нам была нужна наибольшая простота, то тогда мы бы использовали интерфейс Serial ATA (SATA), являющийся простым соединением "точка-точка" между хостом и конечным устройством, таким как жёсткий диск.

Но SAS базируется на объектной модели, определяющей "домен SAS” - систему доставки данных, которая может включать в себя опциональные экспандеры (expander) и конечные устройства SAS, такие как жёсткие диски и host-адаптеры (host bus adapters, HBA). В отличие от SATA, устройства SAS могут иметь несколько портов, каждый из которых может использовать несколько физических соединений, чтобы обеспечивать более скоростные (широкие) подключения SAS. Кроме того, к любой определённой цели могут обращаться несколько инициаторов, а длина кабеля может составлять до восьми метров (для первого поколения SAS) против одного метра у SATA. Вполне понятно, что это обеспечивает немало возможностей для создания высокопроизводительных или избыточных решений хранения данных. Кроме того, SAS поддерживает протокол SATA Tunneling Protocol (STP), позволяющий подключать к SAS-контроллеру устройства SATA.

Стандарт SAS второго поколения увеличивает скорость соединения с 3 до 6 Гбит/с. Данный прирост скорости очень важен для сложных окружений, где требуется высокая производительность из-за высокоскоростных хранилищ. Новая версия SAS также призвана снизить сложность прокладки кабелей, а также число соединений на Гбит/с пропускной способности, увеличивая возможную длину кабелей и улучшая работу экспандеров (разбиение на зоны и автоматическое обнаружение). Чуть ниже мы поговорим об этих изменениях в деталях.

Увеличение скорости SAS до 6 Гбит/с

Чтобы донести преимущества SAS до более широкой аудитории, SCSI Trade Association (SCSI TA) представила учебник по технологии SAS на конференции Storage Networking World Conference, которая прошла чуть раньше в этом году в Орландо (США, Флорида). Так называемый SAS Plugfest, где демонстрировалась работа SAS на 6 Гбит/с, совместимость и функции, прошёл ещё раньше в ноябре 2008 года. LSI и Seagate стали первыми на рынке, кто представил "железо", совместимое с SAS на 6 Гбит/с, но остальные производители тоже должны вскоре подтянуться. В нашей статье мы рассмотрим текущее состояние технологий SAS и некоторые новые устройства.

Функции и основы SAS

Фундаментальные основы SAS

В отличие от SATA, интерфейс SAS работает на основе полного дуплекса, предоставляя полную пропускную способность в обоих направлениях. Как уже упоминалось ранее, соединения SAS всегда устанавливаются через физические подключения, используя уникальные адреса устройств. Напротив, SATA может адресовать только номера портов.

Каждый адрес SAS может содержать несколько интерфейсов физического уровня (PHY), что позволяет создавать более широкие подключения через InfiniBand (SFF-8470) или кабели mini-SAS (SFF-8087 и -8088). Обычно четыре интерфейса SAS с одним PHY на каждом объединяются в один широкий интерфейс SAS, который уже подключается к SAS-устройству. Связь может осуществляться и через экспандеры, которые работают больше как коммутаторы, нежели как устройства SAS.

Такие функции, как разбиение по зонам (zoning) теперь позволяют администраторам привязывать конкретные устройства SAS к инициаторами. Именно здесь будет полезна увеличенная пропускная способность SAS 6 Гбит/с, поскольку у четырёхканального соединения теперь будет в два раза большая скорость. Наконец, устройства SAS могут даже иметь несколько адресов SAS. Поскольку накопители SAS могут использовать два порта, с одним PHY на каждом, то накопитель может иметь два адреса SAS.

Соединения и интерфейсы

Нажмите на картинку для увеличения.

Адресация соединений SAS происходит через порты SAS, используя SSP (Serial SCSI Protocol), но связь на нижнем уровне от PHY до PHY осуществляется, используя одно или несколько физических соединений по причинам увеличения пропускной способности. SAS использует кодирование 8/10 бит, чтобы преобразовывать 8 бит данных в 10-символьные передачи в целях восстановления синхронизации, баланса DC и определения ошибок. В итоге мы получаем эффективную пропускную способность 300 Мбайт/с для режима передачи 3 Гбит/с и 600 Мбайт/с для подключений 6 Гбит/с. Технологии Fibre Channel, Gigabit Ethernet, FireWire и другие работают по схожей схеме кодирования.

Интерфейсы питания и данных SAS и SATA очень похожи друг на друга. Но если у SAS интерфейсы данных и питания объединены в один физический интерфейс (SFF-8482 на стороне устройства), то SATA требует двух раздельных кабелей. Зазор между контактами питания и данных (см. иллюстрацию выше) в случае SAS закрыт, что не позволяет подключать устройство SAS к контроллеру SATA.

С другой стороны, устройства SATA могут прекрасно работать на инфраструктуре SAS благодаря STP или в "родном" режиме, если не используются экспандеры. STP добавляет дополнительную задержку при прохождении через экспандеры, поскольку им нужно устанавливать соединение, что происходит медленнее, нежели прямая связь SATA. Впрочем, задержки всё равно очень малы.

Домены, экспандеры

Домены SAS можно представить в виде древовидных структур наподобие сложных сетей Ethernet. Экспандеры SAS могут работать с большим количеством SAS-устройств, но они используют принцип коммутации каналов, а не более распространённую коммутацию пакетов. Некоторые экспандеры содержат в себе устройства SAS, другие - нет.

SAS 1.1 распознаёт граничные экспандеры (edge expander), которые позволяют инициатору SAS связываться с до 128 дополнительными адресами SAS. В домене SAS 1.1 можно использовать только два граничных экспандера. Впрочем, один экспандер расширения (fanout expander) может подключать до 128 граничных экспандеров, что существенно увеличивает возможности инфраструктуры вашего решения SAS.

Нажмите на картинку для увеличения.

По сравнению с SATA интерфейс SAS может показаться сложным: разные инициаторы обращаются к целевым устройствам через экспандеры, что подразумевает прокладку соответствующих маршрутов. SAS 2.0 упрощает и улучшает прокладку маршрутов.

Следует помнить, что SAS запрещает петли или множественные пути. Все соединения должны быть "точка-точка" и эксклюзивными, но сама по себе архитектура подключений хорошо масштабируется.

Новые функции SAS 2.0: экспандеры, производительность

Зоны экспандера и автоматическая конфигурация

Граничные (edge) и расширяющие (fanout) экспандеры практически остались в истории. Это часто связывают с обновлениями в SAS 2.0, но причина на самом деле кроется в зонах SAS, появившихся в 2.0, которые позволяют убрать разделение между граничными и расширяющими экспандерами. Конечно, зоны обычно реализуются специфически для каждого производителя, а не как единый индустриальный стандарт.

По сути, теперь на одной инфраструктуре доставки информации можно располагать несколько зон. Это значит, что к целям (накопителям) в хранилище могут обращаться разные инициаторы через один и тот же экспандер SAS. Сегментация домена выполняется через зоны, доступ осуществляется эксклюзивным образом.

Высокопроизводительные серверные накопители для решения ответственных задач редко попадают в поле зрения IT-изданий. Ничего удивительного, ведь мы в большей степени ориентируемся на массового покупателя, чем на системных администраторов и поставщиков серверного оборудования. Между тем проводить тесты серверных HDD даже важнее, чем тесты десктопных, - по нескольким причинам. Во-первых, из-за более высокой стоимости накопителей и более высокой чувствительности серверных задач к производительности. После массового распространения твердотельных накопителей различия между десктопными дисками перестали иметь большое значение, а в сервере замена HDD на SSD еще далеко не всегда целесообразна. Следующее обстоятельство вытекает из первого: HDD для десктопа или домашнего NAS вполне можно выбирать по базовым техническим характеристикам (объем, скорость вращения шпинделя, емкость пластин). В случае с серверным HDD многое зависит от оптимизации микропрограммы, которая проявляет себя в сложной нагрузке и, соответственно, требует специальных тестов, чтобы уловить эти особенности. Наконец, при больших масштабах вступает в игру такой параметр, как отношение производительности к энергопотреблению накопителя.

За последние несколько лет выбор жестких дисков корпоративного назначения, определенно, стал проще. Перестали производиться модели с интерфейсами Fibre Channel и SCSI. Накопители разделились на два класса: модели в форм-факторе 3,5 дюйма ограничиваются скоростью вращения 7200 об/мин, обладают интерфейсом SAS или SATA - на выбор и предназначены для хранения «холодных» данных (nearline storage). Диски со скоростью 10 000-15 000 об/мин пользуются интерфейсом SAS и в большинстве своем перешли в форм-фактор 2,5 дюйма (SFF - Small Form Factor), который позволяет увеличить количество шпинделей на юнит в стойке. Только у HGST еще остались накопители класса 15К в форм-факторе 3,5 дюйма и с портами Fibre Channel.

Nearline-дискам в конфигурации SATA мы уже постоянно уделяем внимание, а вот тест SAS/SCSI-накопителей впервые публикуется на 3DNews.

⇡ Участники тестирования

В сравнении приняли участие следующие устройства:

• HGST Ultrastar C10K1800 1,8 Тбайт (HUC101818CS4200);
• HGST Ultrastar C15K600 600 Гбайт (HUC156060CSS200);
• Seagate Savvio 10K.6 900 Гбайт (ST900MP0006);
• Seagate Enterprise Performance 10K HDD v7 1,2 Тбайт (ST1200MM0017);
• Seagate Enterprise Performance 15K HDD v5 600 Гбайт (ST600MP0035);
• Toshiba AL13SEB 900 Гбайт (AL13SEB900);
• Toshiba AL13SXB 600 Гбайт (AL13SXB600N);
• WD VelociRaptor 1 Тбайт (WD1000DHTZ).

В противоположность жесктим дискам для настольных ПК и NAS, SAS-накопители не так сильно отличаются друг от друга. Все участники:

а) выпускаются в форм-факторе 2,5 дюйма с толщиной 15 мм;

б) обладают двумя портами SAS для повышения отказоустойчивости;

в) подготовлены для работы в режиме 24/7 в условиях телекоммуникационной стойки;

г) позволяют пользователю конфигурировать размер сектора для записи дополнительных метаданных;

д) характеризуются одинаковыми показателями надежности (MTBF, число циклов парковки головок);

е) продаются с пятилетней гарантией производителя.

Для тестирования были выбраны модели максимального объема в соответствующих линейках. Представлена продукция всех компаний, которые сегодня выпускают HDD, за одним исключением. Мы исчерпали все возможности получить на тест диск WD Xe (кроме как просто купить его за немалые деньги), а недавно эта марка и вовсе пропала с корпоративного сайта Western Digital - видимо, снимается с производства. В итоге из всех дисков со скоростью вращения шпинделя 10-15 тыс. об/мин у WD остался только VelociRaptor - по сути, производная от WD Xe, но с интерфейсом SATA. Чтобы WD хоть как-то была представлена в обзоре, мы включили VelociRaptor в число участников. Конечно, 100-процентной заменой SAS-накопителям его считать нельзя, однако масса серверов работает на SATA-накопителях, так что и VelociRaptor можно пустить в дело. Кроме того, если посмотреть с другой стороны, любой из дисков для SAS можно использовать в рабочей станции с соответствующим HBA (Host Bus Adapter) вместо VelociRaptor, что также оправдывает участие этого диска в сегодняшнем тесте.

⇡ Описание участников тестирования

HGST Ultrastar C10K1800 1,8 Тбайт (HUC101818CS4200)

Это самый емкий диск в новейшей линейке десятитысячников HGST. Серия Ultrastar C10K1800 примечательна в нескольких отношениях. В моделях, наименование которых заканчивается на S420x, благодаря высокой плотности записи с применением форматирования секторами по 4 Кбайт (нативным или с эмуляцией 512-байтовых секторов) достигнута емкость 450 Гбайт на пластину. Поэтому диск вмещает до 1,8 Тбайт, а скорость последовательного чтения/записи вышла на уровень HDD класса 15 тыс. об/мин.

Остальная часть линейки состоит из дисков с разметкой по 512-528 байт, обладающих менее выдающимся быстродействием и объемом вплоть до 1,2 Тбайт.

Все модели в линейке C10K1800 имеют так называемый media cache. В нескольких местах на поверхности пластин выделены области, служащие энергонезависмым кешем. Вместо того чтобы нести данные к запрошенному сектору, записывающая головка диска сбрасывает их в ближайшую кеширующую область, а в простое диска они перемещаются на нужное место.

Между прочим, это самый дорогой диск в тесте, просто фантастически дорогой - в среднем 161 тыс. рублей в московских интернет-магазинах. А в Америке, кстати, намного дешевле - $800 на newegg.com .

HGST Ultrastar C15K600 600 Гбайт (HUC156060CSS200)

Единственная линейка 2,5-дюймовых дисков со скоростью вращения шпинделя 15 тыс. об/мин в ассортименте HGST. Диски Ultrastar C15K600 одновременно обладают предельной на текущий момент скоростью последовательного чтения/записи и низкой латентностью. Физическое форматирование пластин выполняется секторами по 512-528 либо 4096-4224 байт (с нативным доступом или эмуляцией 512 байт). В тестировании участвует самая емкая модель в линейке - 600 Гбайт с секторами по 4 Кбайт.

Seagate Savvio 10K.6 900 Гбайт (ST900MP0006)

Это довольно-таки старые диски - позапрошлого поколения по сравнению с актуальной линейкой Enterprise Performance 10K от Seagate. Поэтому производительность Savvio 10K.6 уже не передовая в данном классе. Форматирование пластин выполнено секторами по 512-528 байт. Впрочем, эти диски все еще есть в продаже, имеют неплохой объем (вплоть до 900 Гбайт) и относительно недороги.

Seagate Enterprise Performance 10K HDD v7 1,2 Тбайт (ST1200MM0017)

Эта серия тоже успела формально устареть к моменту выхода теста, уступив место Enterprise Performance 10K HDD v8. От Savvio 10K.6 данные диски отличаются только повышенным до 1,2 Тбайт объемом, но это достигнуто путем увеличения числа пластин, а не плотности записи, поэтому в отношении заявленной производительности с предыдущим поколением разницы нет. Участвующая в тестировании модель ST1200MM0017 обладает встроенным шифрованием.

Seagate Enterprise Performance 15K HDD v5 600 Гбайт (ST600MP0035)

Это актуальная линейка дисков Seagate со скоростью вращения шпинделя 15 тыс. об/мин. Диски обладают разметкой секторов по 512-528 либо 4096-4224 байт (нативно или с эмуляцией 512 байт). Протестирован максимальный по объему (600 Гбайт) накопитель с 4-килобайтными секторами.

Toshiba AL13SEB 900 Гбайт (AL13SEB900)

По основным характеристикам это аналог Seagate Savvio 10K.6: 10 000 об/мин, объем вплоть до 900 Гбайт, форматирование секторами 512-528 байт. В этой серии Toshiba не предлагает дисков с встроенным шифрованием.

Toshiba AL13SXB 600 Гбайт (AL13SXB600N)

В этой серии дисков со скоростью вращения шпинделя 15 000 об/мин модели с наименованиям вида AL13SXB**0N отформатированы с размером сектора 512-528 байт. Старшую из них мы взяли на тестирование. Модели с наименованиями вида AL13SXB**E* пользуются 4-килобайтными секторами, а кроме того, поддерживают интерфейс SAS 12 Гбит/с. Встроенное шифрование во всей серии AL13SXB отсутствует.

WD VelociRaptor 1 Тбайт (WD1000CHTZ/WD1000DHTZ)

По физическим данным VelociRaptor мало отличается от своего прообраза - WD Xe: те же 10 000 об/мин и практически такая же линейная производительность. VelociRaptor пользуется разметкой с Advanced Format (секторы по 4 Кбайт), а доступный пользователю объем выше, чем у аналогичных WD Xe (1 Тбайт в случае старшей модели).

Поскольку это диск с интерфейсом SATA, функционально он не является полным аналогом SAS-накопителей. В частности, о двухпортовом подключении, конфигурации размера сектора и встроенном шифровании можно забыть. Кроме того, SAS-диски обычно делают более надежными, что заметно при сравнении их показателя заявленного MTBF с оным у VelociRaptor. И все же с позиции производительности этот диск можно рассматривать как серверный десятитысячник для бедных. Существуют разновидности «ящера» с радиатором-переходником на форм-фактор 3,5 дюйма (DHTZ), равно как «голые» варианты размером 2,5 дюйма (СHTZ).

⇡ Методика тестирования

Изолированные тесты производительности

Выполняются с помощью Iometer 1.1.0. Объем и скорость передачи данных указывается в бинарных единицах (1 Кбайт = 1024 байт). Границы блоков выровнены относительно разметки по 4 Кбайт.

1. Последовательное чтение/запись данных блоков размером 128 Кбайт с глубиной очереди запросов 256.
2. Произвольное чтение/запись блоков от 512 байт до 2 Мбайт с глубиной очереди запросов 256.
3. Смешанное чтение/запись блоков размером 128 Кбайт с глубиной очереди запросов 256. Доля операций чтения и записи варьирует от 0 до 100% с шагом 10%.
4. Зависимость пропускной способности от длины очереди команд. Выполняется чтение блоков размером 4 Кбайт, глубина очереди запросов варьирует от 1 до 256 с шагом степени двойки. Аналогичный тест на запись блоков не проводится, т.к. по этому параметру жесткие диски не различаются.
5. Устоявшееся время отклика. Выполняется произвольное чтение/запись блоков размером 512 байт с глубиной очереди запросов 1. Тест продолжается в течение 10 мин.
6. Постоянство времени отклика. Выполняется произвольное чтение/запись блоков размером 4 Кбайт с глубиной очереди запросов 256. Для каждого отрезка теста продолжительностью 1 с записывается среднее и максимальное значение времени отклика, на основании которых вычисляются: а) средние значения обоих показателей; б) стандартное отклонение среднего времени отклика.
7. Многопоточное чтение/запись. Создаются четыре потока, выполняющие последовательное чтение/запись блоков размером 64 Кбайт с глубиной очереди запросов 1. Потоки имеют доступ к непересекающимся адресным пространствам объемом 100 Гбайт, которые расположены в объеме диска вплотную друг к другу, начиная с нулевого сектора. Измеряется совокупная пропускная способность всех потоков, а также каждого из них в отдельности.

Тесты с эмулированной нагрузкой

Выполняются в Iometer 1.1.0. Объем и скорость передачи данных указывается в бинарных единицах (1 Кбайт = 1024 байт). Границы блоков выровнены относительно разметки по 4 Кбайт. Глубина очереди команд - 256.

Тестовый стенд

Накопители подключались к адаптеру LSI SAS 9211-8i , за который мы выражаем благодарностью российскому представительству компании LSI.

⇡ Производительность, основные тесты

Последовательное чтение/запись

• Диски со скоростью вращения шпинделя 15 тыс. об/мин правят бал в тесте последовательного чтения/записи. Впрочем, в этой группе есть свой лидер — Seagate Enterprise Performance 15K HDD v5.
• Ultrastar C10K1800 за счет высокой плотности записи не уступает накопителям категории 15К.
• А вот представленные десятитысячники мало различаются по скорости линейного доступа.

Произвольное чтение

• 15-тысячники и в этой дисциплине доминируют над своими низкооборотными собратьями.
• Разброс показателей внутри категорий HDD с одинаковой скоростью вращения шпинделя невелик. Можно выделить только HGST Ultrastar C15K600 как формального лидера в своей группе и VelociRaptor, явно уступающий аналогам.

Произвольная запись

Результаты теста на произвольную запись оказались менее предсказуемыми, нежели в предшествующем тесте, поскольку определяются не только механикой HDD, но и характером использования буфера.

• Колоссальное быстродействие, совершенно недостижимое для конкурирующих устройств, продемонстрировал HGST Ultrastar C15K600.
• Два оставшихся 15-тысячника также имеют большое преимущество перед HDD с меньшей скоростью вращения шпинделя.
• Сами 10-тысячники составляют гомогенную группу, за исключением Ultrastar C10K1800. Он выходит далеко за рамки своего класса и уступает лишь диску C15K600 того же производителя. Вот он, хваленый media cache, в действии!

Устоявшееся время отклика

• Несмотря на то, что нагрузка продолжается в течение 10 минут, она не может полностью забить буфер на некоторых дисках, поэтому результаты для записи данных не отражают то, на что направлен этот тест, - латентность механики накопителя.
• Напротив, при чтении с длиной очереди в одну команду буфер — не помощник. В результате соперники выстроились в соответствии со скоростью вращения шпинделя (чем она выше, тем меньше время отклика). Существенной разницы между устройствами одной категории не обнаружено.

⇡ Производительность, расширенный анализ

Смешанное чтение/запись

• Диски категории 15К по-прежнему на высоте, за исключением Ultrastar C15K600, который особенно сильно просел при смешанной нагрузке.
• Ultrastar C10K1800 в очередной раз выделился среди своих аналогов. Из других десятитысячников отметим Toshiba AL13SEB. Все они примерно одинаковы при 100-процентном чтении или записи, но AL13SEB сохраняет наибольшую производительность при смешанной нагрузке.

Зависимость пропускной способности от длины очереди команд

• Все диски способны извлечь выгоду из длинной очереди команд и достигают пиковой пропускной способности при 64 командах. Только VelociRaptor довольствуется очередью в 32 команды.

Многопоточное чтение

• Большинство участников теста равномерно распределяют ресурсы между четырьмя потоками. Что, впрочем, приводит к низкой совокупной производительности.
• Toshiba AL13SEB и WD VelociRaptor, напротив, при многопоточном чтении жертвуют одним из потоков, за счет чего возрастает скорость передачи данных в остальных и общая пропускная способность.

Многопоточная запись

• При записи в четыре потока ни один из дисков не хитрит: производительность равномерно распределяется между всеми потоками.
• Как видим, от механики диска в этом тесте зависит не так уж много. 15-тысячники от Seagate и Toshiba заняли первые места, а вот Ultrastar 15K600 — явный аутсайдер.

Постоянство времени отклика

• При чтении данных все накопители характеризуются существенной разницей между средним и максимальным временем отклика. Лишь VelociRaptor выделяется в лучшую сторону, обладая более выгодным соотношением среднего и максимального времени отклика.
• При записи пиковые значения времени отклика сглажены буфером и мало отличаются от средних.

• Участники теста больше всего различаются по разбросу времени доступа при записи. Наиболее консистентной производительностью обладает Ultrastar C10K1800. У Toshiba AL13SEB900, напротив, стандартное отклонение времени доступа резко повышено.

Среди серверных десятитысячников диски не так сильно отличаются друг от друга, но формально — лучших показателей добился Seagate Savvio 10K.6. VelociRaptor, напротив, всегда плетется в хвосте.

Большинство десятитысячников в основных аспектах похожи друг на друга, но стоит выделить HGST Ultrastar C10K1800 (HUC101818CS4200), который уступает более оборотистым коллегам класса 15К только в скорости произвольного чтения и при этом имеет рекордный объем — 1,8 Тбайт. Впрочем, на результатах тестов с эмулированными приложениями эти достоинства никак не отразились.

Seagate Savvio 10K.6 900 Гбайт (ST900MP0006) и Seagate Enterprise Performance 10K HDD v7 1,2 Тбайт (ST1200MM0007) обладают стабильно высокой производительностью без сюрпризов. Чуть хуже прочих десятитысячников с тестами справился Toshiba AL13SEB900.

WD VelociRaptor 1 Тбайт (WD1000DHTZ) можно рассматривать как высокопроизводительный HDD «для бедных», если протокол SAS не является обязательным пунктом в техзадании. По своим характеристикам это типичный диск класса 10К, только в сравнении с истинными серверными накопителями скорость произвольного чтения оставляет желать много лучшего, что проявилось и в «эмуляторах».

Второй интерфейс внешней памяти – SCSI (Small Computer System Interface – системный интерфейс малых компьютеров) был разработан и принят ANSI в 1986 г. (он получил позднее название SCSI-1). Скорость передачи данных при использовании этого 8-разрядного параллельного интерфейса составляла (при тактовой частоте шины 5 МГц) 4 Мбайта/с в асинхронном режиме и 5 Мбайт/с в синхронном режиме. В отличие от интерфейса IDE/ATA, к интерфейсу SCSI можно подключать не только внутренние, но и внешние устройства: принтеры, сканеры и т.д. Максимальное количество подключаемых к шине SCSI устройств было равно 8, а максимальная длина кабеля – 6 м.

Разработкой стандартов и поддержкой интерфейса SCSI занимается комитет T10 INCITS, т.е. той же организации, которая разрабатывает стандарты IDE (ATA). В 1996 г. для продвижения стандарта SCSI была создана Торговая ассоциация SCSI – STA (SCSI Trade Association). В эту ассоциацию входят около тридцати фирм-производителей компьютерной техники.

В следующих стандартах SCSI – SCSI-2 (1994 г.) и SCSI-3 (1995 г.) введен общий набор команд CCS (Common Command Set) – 18 базовых команд, необходимых для поддержки любого устройства SCSI, добавлена возможность хранения в устройстве очередей команд, полученных с компьютера и их обработка в соответствии с заданными приоритетами. Кроме этого, в этих стандартах, наряду с 8-разрядной, определена и 16-разрядная шина, тактовая частота увеличена до 20 МГц и скорость передачи данных – до 20 Мбайт/с.

Развитием стандарта SCSI-3 являются используемые в настоящее время стандарты Ultra3 SCSI (1999 г.), для которого определена частота шины 40 МГц и скорость передачи 160 Мбайт/с и Ultra320 SCSI (2002 г.) – частота шины 80 МГц и скорость передачи 320 Мбайт/с.

Обмен данными по этим стандартам реализуется с помощью метода LDVS (так же, как в шине PCI Express). Максимальное количество подключаемых устройств для Ultra3 SCSI и Ultra320 SCSI равно 16, а максимальная длина кабеля – 12 м.

Разработан также стандарт Ultra640 SCSI (2003 г.) с частотой шины 160 МГц и со скоростью 640 Мбайт/с, но этот стандарт не получил широкого распространения, в связи с тем, что из-за малой длины кабеля к нему нельзя подключить более двух устройств.

Связь между устройством SCSI и шиной ввода/вывода выполняется с помощью специального адаптера (контроллера) SCSI, вставляемого в разъем PCI, или встроенного в материнскую плату. Кроме адаптера SCSI (рис. 1.3.8а), называемого хост-адаптером (host adapter) каждое устройство имеет свой встроенный адаптер, который позволяет ему взаимодействовать с шиной SCSI. Если устройство – последнее в цепочке устройств шины SCSI, после него подключается специальное устройство – терминатор (terminator) для того чтобы исключить отражение сигналов, передающихся по шине (рис. 1.3.8б).

В Ultra3 SCSI и Ultra320 SCSI используются два типа разъемов: 68-контактный (рис. 1.3.8в) и 80-контактный (рис. 1.3.8г). Второй тип разъема, помимо линий передачи данных и команд, содержит также линии электропитания устройств и обеспечивает возможность «горячего» подключения устройства к компьютеру.

Рис. 1.3.8. Устройства SCSI: а) адаптер SCSI: 1 – разъемы для подключения внешних устройств; 2 – разъем для подключения внутреннего устройства; 3 – контроллер SCSI;

б) шина SCSI: 1 – разъем для подключения адаптера; 2 – разъемы для подключения устройств; 3 – терминатор; в) 68-контактный разъем SCSI; г) 80-контактный разъем SCSI

Данные при использовании SCSI передаются параллельно, так же, как и в IDE (ATA). По тем же причинам, что и в IDE (ATA), была начата разработка последовательно подключаемого SCSI – SAS (Serial Attached SCSI). Интерфейс SAS является совместимым с интерфейсом SATA и в тоже время использует команды SCSI, возможность «горячего» подключения внешних устройств, а также возможность подключения, помимо жестких и оптических дисководов, других периферийных устройств, например, принтера или сканера. В настоящее время интерфейс SAS постепенно заменяет интерфейс SCSI в компьютерах и периферийных устройствах.

Первая спецификация SAS – SAS 1.0 была выпущена Комитетом T10 в 2003 году. В ней была определена скорости передачи данных 1,5 и 3 Гбита/с для подключения устройств внутри системного блока компьютера с максимальной длиной кабеля 1 м и внешнего подключения устройств с максимальной длиной кабеля 8 м.

В 2005 году была выпущена спецификация SAS 1.1, в которой были исправлены ошибки спецификации SAS 1.0.

В спецификации SAS 2.0 (2009 г.) добавлена скорость 6 Гбит/с и максимальная длина кабеля увеличена до 10 м.

Обмен данными в SAS, так же, как и в SCSI, реализуется с помощью метода LDVS.

Две дифференциальные сигнальные пары (приемная и передающая) образуют в SAS физический канал. Один или несколько физических каналов, в свою очередь, образуют порт. Количество физических каналов в порту обозначается с помощью цифры, за которой следует символ «x». Так, обозначение 4x означает, что порт содержит 4 канала (8 сигнальных пар). Каждый порт имеет уникальный 64-битовый адрес, присваиваемый производителем оборудования SAS. Устройство с интерфейсом SAS может иметь один или несколько портов. Порт, имеющий только один канал, называется узким портом (narrow port), а порт, имеющий два и более каналов, называется широким портом (wide port).

Так два порта со скоростью по 3 Гбит/с можно использовать либо как два отдельных каналов связи с разными устройствами, либо как единый канал связи со скоростью 6 Гбит/с. Кроме того, в спецификации SAS 2.0 добавлена возможность разбиения порта со скоростью 6 Гбит/с на два канала со скоростью по 3 Гбит/с.

При подключении устройств в SAS используются разъемы, стандартизированные Комитетом по малым форм-факторам – Small Form Factor (SFF) Committee. Этот комитет разрабатывает и готовит спецификации по разъемам, используемым в различных устройствах. Каждый разъем идентифицируется префиксом «SFF-», за которым следует четырехзначный номер разъема, начинающийся с цифры 8.

Основными разъемами, используемыми в SATA являются:

· разъем SFF-8482 для подключения внутреннего устройства (рис. 1.3.9а);

· разъем SFF-8484 – разъем 4x для подключения внутренних устройств (рис. 1.3.9б);

· разъем SFF-8087 – разъем 4x (miniSAS) для подключения внутренних устройств (рис. 1.3.9в);

· разъем SFF-8470 – разъем 4x для подключения внешних устройств (рис. 1.3.9г);

· разъем SFF-8088 – разъем 4x (miniSAS) для подключения внешних устройств (рис. 1.3.9д).

Интерфейс SAS поддерживает набор команд, совместимый с набором команд SATA, поэтому к расширителю SAS можно подключать устройства SATA (для этого обычно используется разъем SFF-8482).

Наиболее распространенный кабель для подключения внешних устройств SAS с разъемами SFF-8088 на концах кабеля приведен на рис. 1.3.9е. Для подключения внешних устройств по интерфейсу eSATA можно использовать кабель, на одном конце которого разъем SFF-8088, а на другом – 4 разъема eSATA (рис. 1.3.9ж).

Рис. 1.3.9. Разъемы SAS: а) 29-контактный штекер разъема SAS для внутреннего устройства (SFF-8482) б) 32-контактный 4x штекер разъема SAS для подключения внутренних устройств (SFF-8484); в) 26-контактный 4x штекер разъема mini-SAS для внутренних устройств (SFF-8087); г) 26-контактный 4x штекер разъема SAS для внешнего устройства (SFF-8470); д) 26-контакный 4x штекер разъема mini-SAS для внешнего устройства (SFF-8088); е) кабель SFF-8088 – SFF-8088; ж) кабель SFF-8088 – 4 eSATA

Система с интерфейсом SAS состоит из следующих компонент:

· инициатор (Initiator) – порождает запросы на обслуживание для целевых устройств и получает подтверждения об исполнении запросов (реализуется в виде микросхемы на материнской плате или на карте, подключенной к шине материнской платы);

· целевое устройство (Target Device) – содержит логические блоки и целевые порты, которые осуществляют приём запросов на обслуживание, исполняет их; после того, как закончена обработка запроса, инициатору запроса отсылается подтверждение выполнения запроса (может быть как отдельным жёстким диском, так и целым набором дисков).

· подсистема доставки данных (Service Delivery Subsystem) – осуществляет передачу данных между инициаторами и целевыми устройствами (состоит из кабелей и расширителей SAS).

· расширитель SAS (SAS Expander) – подключает несколько устройств SAS к одному порту инициатора.

В настольных компьютерах расширитель SAS выполняется в виде карты, которая подключается к шине PCI Express, и содержит контроллер SAS, выполняющий функции инициатора, а также один или несколько внутренних и/или внешних гнезд разъемов SAS, к которым подключаются устройства с интерфейсом SAS или SATA (eSATA) (рис. ?????а и рис. ?????б).

Дисководы SAS (eSATA) могут быть помещены в корпус (рис. ?????в). Такое устройство называется дисковым массивом. Помимо дисководов, дисковый массив содержит встроенную плату расширителя SAS (рис. ?????г), разъем электропитания, а также гнездо для подключения к управляющему компьютеру (входного гнезда) и 1 или 2 гнезда для подключения к другим компьютером (входные гнезда). Наличие этих гнезд позволяет нескольким компьютером совместно использовать данные на дисководах дискового массива.

Пример подключения дисководов eSATA к компьютеру с использованием кабеля, изображенного на рис. 1.3.9ж, и компьютеров к дисковому массиву с использованием кабеля, изображенного на рис. 1.3.9е, приведен на рис. рис. ?????д.

Рис. ??????. Средства SAS: а) карта для подключения двух внутренних устройств:

1 – контроллер (инициатор) SAS; 2 – гнезда SF-8087; б) карта для подключения двух внешних устройств: 2 – гнезда SF-8088; 1 – контроллер (инициатор) SAS; в) дисковый массив на 15 дисководов SAS (eSATA); г) расширитель SAS дискового массива;

д) пример использования SAS для подключения внешних дисководов: 1 – дисководы eSATA; 2 – дисковый массив, подключенный к двум компьютерам

Аппаратная реализация SAS, как и ранее SCSI, на компьютере обходится дороже, чем реализация ATA и SATA (eSATA). Это связано, во-первых, с тем, что контроллер ATA и SATA, как правило, встроен в материнскую плату, а материнские платы для настольных компьютеров с встроенным интерфейсом SCSI и SAS практически не выпускаются, поэтому необходимо приобретение карты контроллера SCSI или SAS. Во-вторых, устройства с интерфейсом SAS имеют большие возможности, чем устройства ATA и SATA (eSATA). Например, дисководы SAS могут быть двухпортовыми, т.е. их можно либо подключить к двум компьютерам, либо выполнять обмен данными с компьютером на вдвое болей скорости по сравнению с использованием одного порта. Однако это приводит к более высокой стоимости дисководов SAS.

Поэтому основной областью применения SAS, как и SCSI, являются мощные компьютеры (сервера) с повышенными требованиями к скорости обмена, надежности и безопасности данных.

За счет использования расширителей, подсистема доставки данных SAS предлагает больше возможностей, чем система SATA (eSATA). Кроме того, в этой подсистеме можно использовать и более дешевые устройства SATA (eSATA).

Отдельная система, состоящая из связанных между собой компьютеров, периферийных устройств, расширителей SAS и кабелей SAS, SATA и eSATA, называется доменом. Максимальное количество расширителей и устройств в домене равно 16256. Система SAS может состоять из нескольких доменов, причем отдельные инициаторы и устройства могут входить в два соседних домена.

В домене могут использоваться два типа расширителей: расширитель-коммутатор и оконечный расширитель.

Расширитель-коммутатор (fanout expander) (рис. ?????а) выполняет в домене SAS маршрутизацию потоков данных от инициаторов к целевым устройствам домена. В домене должен быть только один расширитель-коммутатор.

Оконечный расширитель (edge expander) (рис. ?????б) подключается либо к расширителю-коммутатору, либо к другому оконечному расширителю и используется для маршрутизации потоков данных подключенных к нему устройств и расширителей. Максимальное количество обслуживаемых оконечным расширителем устройств равно 128.

Устройства могут подключаться как к расширителю-коммутатору, так и к оконечному расширителю. Если в домене не задействован расширитель-коммутатор, то количество оконечных расширителей должно быть не более 2.

При включении электропитания все устройства системы SAS обмениваются друг с другом своими адресами, и система переходит в активное состояние, при котором выполняется обмен командами, пакетами данных и управляющими сообщениями. Добавление в систему нового устройства («горячее» подключение) или отключение устройства приводит к генерации управляющего сообщения, при получении которого все расширители перестраивают свою схему маршрутизации и оповещают инициаторы об изменении конфигурации системы.

Пример конфигурации доменов SAS приведен на рис. рис. ?????в.

Рис. ?????. Использование SAS в серверах: а) 12-портовый расширитель-коммутатор с гнездами SFF-8470 (вид спереди и сзади); б) 12-портовый оконечный расширитель с гнездами SFF-8470 (вид спереди и сзади); в) пример доменов SAS:

1 – серверы-инициаторы с картами расширения SAS; 2 - оконечные расширители SAS;

3 – однопортовые дисководы с интерфейсом SAS; 4 – расширитель-коммутатор SAS;

5 – дисководы с интерфейсом eSATA; 6 – двухпортовые дисководы с интерфейсом SAS;

7 – дисковый массив с встроенным расширителем SAS

Интерфейс SAS.

Интерфейс SAS или Serial Attached SCSI обеспечивает подключение по физическому интерфейсу, аналогичному SATA , устройств, управляемых набором команд SCSI . Обладая обратной совместимостью с SATA , он даёт возможность подключать по этому интерфейсу любые устройства, управляемые набором команд SCSI - не только жёсткие диски, но и сканеры, принтеры и др. По сравнению с SATA, SAS обеспечивает более развитую топологию, позволяя осуществлять параллельное подключение одного устройства по двум или более каналам. Также поддерживаются расширители шины, позволяющие подключить несколько SAS устройств к одному порту.

Протокол SAS разработан и поддерживается комитетом T10. SAS был разработан для обмена данными с такими устройствами, как жёсткие диски, накопители на оптических дисках и им подобные. SAS использует последовательный интерфейс для работы с непосредственно подключаемыми накопителями, совместим с интерфейсом SATA. Хотя SAS использует последовательный интерфейс в отличие от параллельного интерфейса, используемого традиционным SCSI, для управления SAS-устройствами по-прежнему используются команды SCSI. Команды (рис. 1), посылаемые в устройство SCSI представляют собой последовательность байт определенной структуры (блоки дескрипторов команд).

Рис. 1.

Некоторые команды сопровождаются дополнительно "блоком параметров", который следует за блоком дескриптора команды, но передается уже как "данные".

Типичная система с интерфейсом SAS состоит из следующих компонентов:

1) Инициаторы. Инициатор - это устройство, которое порождает запросы на обслуживание для целевых устройств и получает подтверждения по мере исполнения запросов.

2) Целевые устройства . Целевое устройство содержит логические блоки и целевые порты, которые осуществляют приём запросов на обслуживание, исполняет их; после того, как закончена обработка запроса, инициатору запроса отсылается подтверждение выполнения запроса. Целевое устройство может быть как отдельным жёстким диском, так и целым дисковым массивом.

3) Подсистема доставки данных . Является частью системы ввода-вывода, которая осуществляет передачу данных между инициаторами и целевыми устройствами. Обычно подсистема доставки данных состоит из кабелей, которые соединяют инициатор и целевое устройство. Дополнительно, кроме кабелей в состав подсистемы доставки данных могут входить расширители SAS.

3.1) Расширители. Расширители SAS - устройства, входящие в состав подсистемы доставки данных и позволяют облегчить передачи данных между устройствами SAS, например, позволяет соединить несколько целевых устройств SAS к одному порту инициатора. Подключение через расширитель является абсолютно прозрачным для целевых устройств.

SAS поддерживает подключение устройств с интерфейсом SATA. SAS использует последовательный протокол передачи данных между несколькими устройствами, и, таким образом, использует меньшее количество сигнальных линий. SAS использует команды SCSI для управления и обмена данными с целевыми устройствами. Интерфейс SAS использует соединения точка-точка - каждое устройство соединено с контроллером выделенным каналом. В отличии от SCSI, SAS не нуждается в терминации шины пользователем. Интерфейс SCSI использует общую шину - все устройства подключены к одной шине, и с контроллером одновременно может работать только одно устройство. В SCSI скорость передачи информации по разным линиям, составляющим параллельный интерфейс, может отличаться. Интерфейс SAS лишён этого недостатка. SAS поддерживает очень большое количество устройств, в то время как интерфейс SCSI поддерживает 8, 16, или 32 устройства на шине. SAS поддерживает высокие скорости передачи данных (1,5, 3,0 или 6,0 Гбит/с). Такая скорость может быть достигнута при передаче информации на каждом соединении, в то время как на шине SCSI пропускная способность шины разделена между всеми подключёнными к ней устройствами.

SATA использует набор команд ATA и поддерживает жёсткие диски и накопители на оптических дисках, в то время как SAS поддерживает более широкий набор устройств, в том числе жёсткие диски, сканеры и принтеры. SATA-устройства идентифицируются номером порта контроллера интерфейса SATA, в то время как устройства SAS идентифицируются их WWN идентификаторами (World Wide Name). Устройства SATA (версии 1) не поддерживали очередей команд, в то время как устройства SAS поддерживают теггированные очереди команд. Устройства SATA с версии 2 поддерживают Native Command Queuing (NCQ).

Аппаратура SAS поддерживает связь с целевыми устройствами по нескольким независимым линиям , что повышает отказоустойчивость системы (интерфейс SATA такой возможности не имеет). В то же время, интерфейс SATA версии 2 использует дубликаторы портов для достижения аналогичной возможности.

SATA преимущественно используется в некритических приложениях, например в домашних компьютерах. Интерфейс SAS, благодаря своей надёжности, может быть использован в критически важных серверах. Выявление ошибок и обработка ошибочных ситуаций определено в SAS гораздо лучше чем в SATA. SAS считают надмножеством SATA, и не конкурирует с ним.

Разъёмы SAS гораздо меньше разъёмов традиционного параллельного интерфейса SCSI, что позволяет использовать разъёмы SAS для подключения компактных накопителей типоразмером 2,5 дюйма. SAS поддерживает передачу информации со скоростью от 3 Гбит/с до 10 Гбит/с. Существует несколько вариантов разъёмов SAS:

SFF 8482 - вариант, совместимый с разъёмом интерфейса SATA;

SFF 8484 - внутренний разъём с плотной упаковкой контактов; позволяет подключить до 4 устройств;

SFF 8470 - разъём с плотной упаковкой контактов для подключения внешних устройств; позволяет подключить до 4 устройств;

SFF 8087 - уменьшенный разъём Molex iPASS, содержит разъём для подключения до 4 внутренних устройств; поддерживает скорость 10 Гбит/с;

SFF 8088 - уменьшенный разъём Molex iPASS, содержит разъём для подключения до 4 внешних устройств; поддерживает скорость 10 Гбит/с.

Разъём SFF 8482 позволяет подключать устройства SATA к контроллерам SAS, что избавляет от необходимости устанавливать дополнительный контроллер SATA только потому, что необходимо, к примеру, подключить устройство для записи дисков DVD. Наоборот, устройства SAS не могут подключаться к интерфейсу SATA, и на них устанавливается разъём, предотвращающий их подключение к интерфейсу SATA.