Server Type File System Organization Planning

[Пиф]

@bluesky
  За сървъра използвах стара налична машина. На времето (2010-2011г.) си беше трепач тоя компютър, но за жалост остаря още на следващата седмица  ;D
НАС-решенията са добри може би, тествах 2-3 такива машинки на мои познати, от нито една не останах доволен. Честно казано не им помня моделите, но това което ми направи впечатление при всички е следното:
1 - Никъде в обявените им характеристики не пишеше скорост на трансфер през мрежата, всичките с гигабитови карти, но никъде обявена някаква средна (максимална) скорост. При тест се оказа и доста ниска този скорост нещо от сорта на 30-40 MBps при четене и 10-15 MBps при запис. Скоростта падаше ужасно (2-3 MBps) при едновременно четене-писане на двама потребителя.
2 - Слаби процесори, при закачане на 2-3-ма потребителя CPU-то забиваше на 100% и единия от тестваните НАС-ове забиваше тотално.
3 - Липса или доста малка възможност за разширяване на възможностите.
Някой може да каже, че тази преценка е прибързана и не важи за всички модели. Може и така да е но, на мен ми беше достатъчно да зарежа идеята, защото наличието и на един от тези недостатъци прави устройството неприложимо за едно студио (фирма или който както го нарича), където повечето файлове са тежки и трансфера към сървъра е голям.
Единствения плюс (при това голям) при НАС-решенията е, че всичко идва готово, настроено. Влизаш през уеб интерфейса и с няколоко клика си готов.
   Идеята пък за хакинтоша ми дойде, защото тогава бях сменил компютрите с МАК и исках всичко да е унифицирано и еднакво, а и имах налични старите PC-та, които можеха да свършат работа. Но пък ми стори малко кофти - централния мозък да е "пиратски"  :)
  Бях на косъм от това да взема един MacPro 1.1, от който да направя сървъра, когато колегите ме светнаха за FreeBSD и ZFS. Вярно, почетох доста, експериментирах, проби, грешки .....
Не претендирам, че сърварът е перфектен, има още какво да се прави и подобрява по него, но ми върши перфектна работа и в момента.
  ZFS (Z File System) е доста нова файлова система, най-сигурната. Предпазва от повреждане на данните записани на диска без той да проявява признаци за това, нещо от което един класически RAID не предпазва. Разрешава динамично разширяване и управлението на общия обем на дисковото пространство и много други неща .....    Не съм специалист, няма да влизам в подробности.
  Цената на една такава машина въобще не е висока. Дъно с вградено видео ~150лв, процесор - AMD 4 ядра ~250лв, 8GB RAM ~100лв. Това са цени на нови компоненти, да не говорим, че се продават и с подобни х-ки готови компютри, а има и втора употреба.
  Дисковете, така или инъче трябва да се купуват (независимо от решението - NAS, PC), при това хубави. Аз съм най-доволен от WD серия SE.
  Основните компоненти на моя сървър са на цитирания в предния ми пост линк, но тази машина първоначално не беше събирана за сървър, а за яка работна станция.
  А за скрити разходи не разбирам какво имаш предвид, може би бъдещи разходи за разширение? Ако е така, това са основно разходите за добавяне на нови дискове. Като за това пък още в началото трябва да се започне с достатъчно голяма кутия с добро охлаждане или пък да се предвиди място за допълнителен масив от дискове.

[bluesky]

@Пиф, @Hacko_Prasko

Благодаря Ви момчета за точната и изчерпателна информация относно такова начинание - Сървърна организация. Сега общата картина около подобна конфигурация вече е значително по-ясна (за Мен).

Визират се най-вече бъдещи представи, но близки. Някои Проекти го и налагат.
Цел - по-ефективна работа и организация, повече "свободно време", по-рационално споделяни ресурси.
Ще Ви държа в течение по Темата.

[bluesky]

Добър Вечер на Всички!

BLUESKY File System Organization Planning

Като продължение на Идеята "BLUESKY File System" - да се създаде по-логична и по-точна организационно-логическа Файлова Система за нуждите на едно Дизайн Студио на практика поне от година се прилага като експеримент, (в рамките на Студиото), следния вариант:

На базата на вече сформирана в миналото Файлова Система, но "спокойно", ненатрапчиво и не стриктно, (доколкото всяко уважаващо себе Си Дизайн Студио помни всичките Си Проекти), бе леко подобрена вече съществуващата Система.

Без да бъде ни най-малко изменена съществуващата вече Система за наименуване на Файлове и Проекти, бяха добавени в началото на вече сформираната "логика" още осем числа:

т.е. от:

____________________________________

[Project] [Sub-Project] [Sub-Sub-Project]...[Sub-Sub-...Sub-Project] [Name Of File 00X].[ext]
____________________________________

• където " " е "Space"

• където "00X" е порядков Номер, като например 001, 002, 003... 015 и т.н.

• където "[ext]" е екстеншън-а на Файла

Сега вече Системата изглежда така:

____________________________________

[YYYYMMDD] [Project] [Sub-Project] [Sub-Sub-Project]...[Sub-Sub-...Sub-Project] [Name Of File 00X].[ext]
____________________________________

• където в "[YYYYMMDD]":

"YYYY" е година, например 2015
"ММ" е месец, например 07 е Юли
"DD" е ден, например 15 е 15-тият ден на месеца.

(Третият ден на месеца, естественно, би се записал като "03").

Според Мен тази малка добавка значително разширява възможностите за търсене и подредба на Файлове и Проекти, съобразявайки се с това "как" Файловете се "разпределят" поред, (или един след друг, или един под друг), според няколко съществуващи общо-приети критерии, наложени от компютърната логика.

Всички коментарии, градивни и креативни предложения се приветстват.

[Пиф]

   Това с датата в началото на пътя не ми се вижда много удачно. Често има големи, тромави и бавно движещи се във времето проекти, които се започват примерно в края на една, а се завършват в друга година.
  Както и Нас каза преди време, това е силно индивидуално нещо, няма универсална рецепта. Зависи от доста фактори. Примерно за мен датата не е от първостепенно значение при ориентацията в проектите. Най-вече помня какво е правено, визуално, след това за кого, а често кога е правено въобще не се сещам. Затова примерно при моите проекти пътя започва с [Client], след това е [Project] [Sub-Project] .....    датата обикновено е към края (или въобще я няма).
  При мои колеги примерно, които имат голямо текучество от клиенти и почти всички проекти са бързоизпълними (печатници и т.н.) съм виждал да използват точно като твоята организация, всъщност не точно, а следната
[Client] [YYYYMMDD] [Project] [Sub-Project] [Sub-Sub-Project]...[Sub-Sub-...Sub-Project] [Name Of File 00X].[ext]
  Та, зависи от брой клиенти, обем на проектите, честота на проектите, честота на промени и доработки по вече готови проекти, брой дизайнери (проектанти), възможност за включване на външни проектанти и т.н.

[bluesky]

"...Това с датата в началото на пътя не ми се вижда много удачно. Често има големи, тромави и бавно движещи се във времето проекти..."

Абсолютно точно отбелязано.

Така ако Датата [YYYYMMDD] в Система от типа на:
............................................................................
[YYYYMMDD] [Client] [Project] [Sub-Project] [Sub-Sub-Project]...[Sub-Sub-...Sub-Project] [Name Of File 00X].[ext]
............................................................................


ще дава възможност за лесно временно-хронологическа организация, то Система от типа:
............................................................................

[Client] [YYYYMMDD] [Project] [Sub-Project] [Sub-Sub-Project]...[Sub-Sub-...Sub-Project] [Name Of File 00X].[ext]
............................................................................


удачно ще прави същото, (временно-хронологическа организация), но вече в рамките на (логическа) Област, съотнесено локално, за ТОЗИ Клиент.

А "алфа-бетическата" структура, започвайки с "Клиент",

[Client] [YYYYMMDD]...

ще подрежда Клиентите по азбучен ред.

В тази светлина на мисли сега става ясно ЗАЩО някои Студио дава и "Порядков Номер" на Клиентелата Си, т.е. на някои Студио Системата изглежда ТАКА:
............................................................................

[00Y] [Client] [YYYYMMDD] [Project] [Sub-Project] [Sub-Sub-Project]...[Sub-Sub-...Sub-Project] [Name Of File 00X].[ext]
............................................................................


или ТАКА:
............................................................................

[00Y] [YYYYMMDD] [Client] [Project] [Sub-Project] [Sub-Sub-Project]...[Sub-Sub-...Sub-Project] [Name Of File 00X].[ext]
............................................................................


където [00Y] е "Порядков Номер", уникален Номер, който е отведен за всеки Клиент и който остава постоянен за ТОЗИ Клиент.
Така "Порядков-ият Номер" [00Y] идентифицира еднозначно конкретен Клиент и дава възможност да се следи и ретроспективно КОЙ е нов и КОЙ "стар" Клиент.

Конкретната специфика на това коя Система е най-удачна за конкретно Дизайн Звено е дело на лично предпочитание на Дизайнер-а или пък строго обективно търсен критерий в зависимост от спецификата на работа на Студиото.

Някой Дизайн Студио например, имайки Своя Система, само Я налагат (за вътрешни нужди, "отпред"), на вече по-голяма Дизайн Организация, с която евентуално работят заедно като суб-Контрактори по големи Проекти и затова са задължени да използват готовата Дизайн Структурно наложена Система на по-големия Контрактор, с когото комуникират и на когото предават готовите части на по-сложни Проекти.

[bluesky]

Добър Ден на Всички!

Доколкото организацията на Файлова Система подразбира и здрави носители на подобна Система - например Хард Дискове:

преди известно време някой от Колегите бе отбелязал, че "съм щастлив", защото от 1978 г. никога не ме е подвеждал Hard Disk.
Вследствие на това, никога не съм губил Файл или важно Инфо, (за Мен), вследствие на дефектен Хард Диск.
За това може би има роля и Моето правилно отношение към Дисковете в частност и към техниката общо.

Грижите ли се достатъчно добре за Дисковете Си или разчитате повече и само на Back Up стратегии?
Какво е необходимо като минимум, за да не Ви "изостави" някой от Хард Дисковете преди да Му изтече "времето"?

[bluesky]

Като продължение на Темата.

По скромният Ми личен опит, за да дадем възможност, (с по-голяма вероятност), един интензивно работещ Хард Диск да работи безотказно в рамките на средно-статистическият Си "дигитален живот", (в рамките на очакваните от него няколко хиляди часа работа) е необходимо:

● На всеки поне 3 (три) години интензивна работа Хард Дискът да се ФОРМАТИРА наново.
● Форматирането да се извършва само с възможно най-качествен Софтуер.
● Да се спазват стриктно всички инженерни изисквания, препоръчвани от производителя на устройството, (най-вече Хард Дискът да  се охлажда правилно).
● Да не се изпуска устройството, пази от удари и пр. формални изисквания
● Да му говориш на устройството, че го уважаваш, и че разчиташ, че няма да Те подведе.

Общо взето, това е.

[Пиф]

 ;D ;D ;D

... и молебен всяка есен да му се прави на въпросния диск :)

Да не забравяме, че техниката е в наша услуга, а ние в нейна. Инъче Нео се събужда и .....   жиците в носа.

Странно наистина как дисковете за толкова време не са те подвели. Всъщност това "подвеждане" има двуяко значение - или си правиш по няколко бекъпа и повреждането на диск не е имало последици за теб или наистина не ти се е повреждал твърд диск. Второ малко граничи с фантастика си мисля ..... Аз се занимавам от доста по-късно с компютри и са ме предавали не един, не два диска. И информация съм губил ...   И тогава съм им говорил доста на дисковете, но не с толкова мили думи  ;D

[bluesky]

@Пиф

Ха, ха, хааа... Пиф - 10 Points!

[bluesky]

@Пиф

Днес следобяд върви службата по първият молебен на първите два Hard Drive (Disks) - форматиране и записване на "нули" върху предишното съдържание, с тайната надежда, че Disk Utility ще си свърши работата, и записвайки "нули"-те, ще интегрира и "физически" Дисковете, отбелязвайки, маркирайки, (прескачайки) и лоши сектори, ако намери такива. (2-3 часа за Hard Drive Disk от порядъка на 250 - 320 GB) .

Ех, къде са времената на FWB Hard Disk Toolkit... Онова чудовище можеше всичко, и то "нагледно", а сега само гадаеме...

[Пиф]

   Понеже си сериозно загрижен за сигурността на информацията (така и трябва) горещо ти препоръчвам да прочетеш за ZFS (споменах в предните постове). Има фрии имплементации на Мак - OpenZFS, MacZFS, ZEVO .....
  Бекъпите като самостоятелно решение не вършат 100% работа. Представи си следната ситуация - имаш примерно 2 диска в mirror RAID, записани файлове на тях. След време на единия диск една малка част от елементарните магнити (носители на информацията) по някаква причина си променят ориентацията (съответно променяйки няколко бита примерно в един файл). RAID-a не засича такива промени, всъщност няма какво да ги засече. Правейки бекъп, грешката се прехвърля и на огледалните носители ......   След време решаваш да отвориш файла (примерно TIFF) и а!?! Той станал на черга ....  или пунктирчета ....  Отваряш бекъпа, същата работа. ZFS-то ги лови такива грешки и само ги коригира ......    дори и не разбираш. Бекъпа пак си е необходим.
  Всъщност, правейки периодични форматирания (с запис на 0 или 1) намаляваш вероятността от горния сценарий, но само я намаляваш, не става 0.
  Явно си късметлия, щом не си губил данни....
  Просто не забравяй, че всичкия съвременен хардуер се прави в един и същи китайски гараж.  Марката е стикер сложен от някой за по долар-два на ден.

[Hacko_Prasko]

здрасти.
аз искам да прочета повече за това с битчетата, защото ми стана интересно. как да го търся в интернет?

мерси
нас

[Пиф]

https://en.wikipedia.org/wiki/ZFS
http://docs.oracle.com/cd/E19253-01/819-5461/zfsover-2/

Това е обща информация за Z-FileSystem. ZFS е вид файлова система, изградена на базата на софтуeрен RAID. Единичен диск или чисто stripped дискове не са подходящи. Идеята на защитата на информацията е следната: по време на запис на файл се генерира чексума. При възникване на грешка във файла чексумата се променя, и така системата разпознава възникналата грешка. Следва възстановяването на файла от част от RAID-а, където файла е здрав.
  Обяснението е малко лаишко, но така го разбирам аз (не съм специалист). Има доста изписано из нета. Търси общо за ZFS. Конкретните програмки за Мас не са добре обяснени, явно разработчиците им изхождат от позицията, че този който търси такова нещо знае смисъла на ZFS и се интересува от конкретното приложение в ОС-а. Лошото (всъщност не е лошо) е, че всичко става с командния ред, има някакви експериментални интирфейси за управление на ZFS, но не съм тествал нищо.

[bluesky]

Добър Ден на Всички!

Това с "чексумата", мога да Ви го разкажа популярно, (ако се интересувате), през нощта, сега нямам време, (учили сме го в 1-ви курс, 1978 г),... ех, времето лети... а студентките са си точно толкова привлекателни, като тогава, че дори и по-привлекателни...

Пиф много вярно напипва нещата, по-късно и Аз ще прегледам връзките, които е дал. Благодаря.

[Пиф]

   Явно идеята е стара, но въпроса е, че чак сега започва да навлиза. ZFS се анонсира от Sun през 2005, Apple замислят да включат тяхна поддръжка със Snow Leopard Server, което по някакви причини не става. Но поне се появяват програми като OpenZFS, MacZFS и ZEVO. Microsoft се включват както винаги с тяхно отроче ReFS (функционално наподобява ZFS, но за NTFS) чак през 2012-а.
   Та, явно всички натам са тръгнали ...