RAID контролер на хакинтош

[Пиф]

Послушах съвета ви и започнах проекта по изграждане на сървър с FreeBSD със ZFS. FreeBSD-то се оказа нелоша система, а и това, че MAC OS е изграден на негова основа улеснява работата. Не че пак не пада четене, хубавото е че наученото мога да използвам и при МАС. Използвам FreeBSD 10, като го инсталирам Root on ZFS. Всъщност пробвах и без ZFS в основата, а само на сториджа. Първо пробвах с 2 диска в mirror, после с 3 - 1 за OS и 2 за сторидж пак в mirror. Идеята за snapshot-ите и бързината с която се правят много допада.
Оооообаче - скоростите нещо ми убягват. Правих различни тестове, за шерване ползвам NFS, но не успявам да докарам по-висока скорост от 25-30МБ/сек за писане и 60МБ/сек за четене. Не съм опитвал с други протоколи за шерване, нали този е най-бърз......   Продължавам да ровя из темите за оптимизация и настройка на ZFS, но получените скорости при мен ми се виждат твърде ниски дори и за базова конфигурация. Самата машина е достатъчно бърза (тази от 3-тия пост) - ASUS P6T WS Professional + CPU Xeon E5645 (6 core) + 3х4GB noECC RAM.
Между другото у дома, на мини от средата на 2010-та с 2 х 1ТБ сложих OpenZFS на Mavericks (ZFS-то е на mirror от 2 дяла на 2та харда) - държи се много добре, скоростите са определено по-добри - на писане 60-65МБ/сек, на четене 80-90 (говоря за скорости при големи файлове).

[Wizi]

С какво да си изтествам скоростта на ZFS сториджа вкъщи? Имам гигабитова връзка към него, евентуално нея да напъна или мога директно с dd (примерно) да засега трансфер локално на сървърчето?

[Пиф]

Аз пробвах по различни методи:
- през мрежата с Xbench и Helios LAN test - двете дават сходни резултати, 25-30 писане, 60 четене.
- директно в сървъра, без прехвърляне по мрежа - тествах с bonnie++, dd (копиране на файл от едно място на друго), /usr/bin/time -h dd ......   - 1-то дава 62/125 (писане/четене), 2-то 66 писане, 3-тото (нещо не му схващам логиката, твърде различни резултати дава) 85/600 писане/четене.

Опитвах и без ZFS, тогава скоростта през мрежата се нормализира 75-80/85-95 писане/четене. Тестове на скоростта локално в сториджа без ZFS не съм правил.

[HQ]

Съвет:
1) спрете atime:

Код [Маркирай кода] Разшири

zfs set atime=off tank
2) Използвайте компресия LZ4 и LZJB , не използвайте GZIP или другите защото са бавни и тромави. Лично аз залагам най-много на lz4 защото е най-нова и има много плюсове, особено за /var/log /var/mail и там където има много наброй малки файлове е направо чудесна.
3) разрешете prefetch ако сте с >4 гб рам:

Код [Маркирай кода] Разшири

echo '"vfs.zfs.prefetch_disable=0"' >> /boot/loader.conf

Имаше и още неща като задаване на част от рамта за кеширане от ZFS, задаване на 1MB cluster size но на този етап не ги препоръчвам защото не съм ги тествал а и се увеличава шанса всичкия тунинг да заработи в обратна посока, но възможности за пипане колкото искаш. Ето нещо за начало : https://wiki.freebsd.org/ZFSTuningGuide .
При всички случаи ZFS е по-бавна от познатите ви дървени журнални системи, защото все пак е от ново поколение, използва много рам и процесор, но пък предлага завидна сигурност на работа.
Според моите груби изчисления една система с 4-8 ядра, 16 гб рам и 11 харддиска RAIDZ3 би била по-бърза и 100 пъти по-сигурна от същата с линукс и RAID5+EXT4 фс например.
Ако бих могъл да бъда полезен с друго ще се радвам да помогна!

[Пиф]

Благодаря HQ, ще опитам .....
По отношение на съвет 2 - опитах и Lz4, и Lzjb, и Gzip с различни нива на компресия, но ефекта беше все отрицателен, т.е. - забавяне. Повечето тестове правя през мрежата, при това с големи файлове. Компресията конкретно тествах с 1ГБ файл, понеже 3/4 от файловете, които ще се записват на бъдещия сървър са 100МБ+. Вярно, че заеманото място пада с 20-30%, но приоритет ми е скоростта. Да не би компресията да има ускоряващ ефект само при малките файлове?  Ей тук - https://calomel.org/zfs_raid_speed_capacity.html - четох разни неща за компресии и ускорение, НО .....

[HQ]

Полезно четиво, ще го погледна!
Щом скоростта ти е важна, спри компресията! Все пак и без това ефекта от нея е нищожен. Трябва да знаеш,че zfs е жива и self-tunable система. Скоростта ти е оптимална за конкретната конфигурация и малко вероятно да я подобриш значително. Пак ти казвам, всичко е свързано с допълнително надграждане на системата - повече хардове и повече рам които никога няма да са достатъчно.
Гледай винаги да ъпдейтваш системата и да имаш най-висока версия на zpool защото с всеки ъпдейт има подобрения, нови фийчъри и вярвай ми, работят усилено върху бързодействието!