Topologia sieci pamięci masowych

Podstawową jednostką przenoszenia informacji w Fibre Channel jest 4-bajtowe słowo, kodowane w FC-1 na 40-bitowy znak transmisyjny. Słowa te są transmitowane spójnie, niezależnie od informacji sterujących. Bajty mają postać znaków ASCII. Kiedy pierwszy bajt – dokładnie: pierwszy 10-bitowy znak – przenosi K. 28.5, to wówczas pozostałe muszą przenosić IDLE, SOF czy EOF (ale nie dane). Rolę kontenera przenoszącego dane między węzłami FC spełnia ramka. Pierwsze słowo po SOF przenosi informację umożliwiającą trasowanie w szkielecie FC. W ramce mieści się od 9 do 537 słów danych. Odpowiednikiem pakietu w FC jest sekwencja. Stanowią ją jedna lub wiele porcji danych należących do wspólnego bloku. Na przykład polecenie SCSI zajmuje tylko jeden pakiet (sekwencję), a blok 2 GB danych aż 960 mln pakietów. Identyfikator kolejności SEQ_ID oraz numer ramki w określonej zbiorowości umożliwią poskładanie sekwencji w blok. Główną formą komunikacji w Fibre Channel jest wymiana (exchanges). W każdej wymianie bierze udział inicjator (originator) i adresat (responder). Inicjator wymiany wysyła pierwszą ramkę danych z propozycją wartości OX_ID. Jeśli adresat w odpowiedzi poda wartość RX_ID, to komunikację uważa się za nawiązaną. R_CTL (Routing Control), D_ID (Destination Address), S_ID (Source Address), TYPE – pole dla ULP (Upper Level Protocol) – IP, SCSI, HIPPI..., F_CTL (Frame Control), SEQ_ID (Sequence Identifier), DF_CTL (Data Field Control) – sygnalizuje obecność na początku pola danych nagłówków opcjonalnych dla ramek Device_Data i Video_Data, OX:_ID (Originator Exchange Identifier), RX_ID (Responder Exchange Identifier), PARAMETR – informacja sterowania łączem itp.

Infrastruktura SAN jest technologią, dzięki której informacje mogą być przechowywane na wielu współużytkowanych stacjach pamięci masowych (obsługiwanych przez specjalne serwery i zarządzanych za pośrednictwem specjalnej struktury sieciowej). SAN to wydzielona (czyli dedykowana) sieć, zaprojektowana w taki sposób (chodzi tu szczególnie o architekturę i protokoły transportu), aby użytkownik mógł jak najszybciej uzyskać dostęp do potrzebnych mu danych.

Ktoś mógłby powiedzieć, że to samo można osiągnąć w klasycznej sieci LAN. W sieci takiej pracują przecież serwery, do których można dołączać kolejne twarde dyski. Tak, ale sieć SAN jest jednak strukturą, która pracuje niezależnie od korporacyjnej sieci LAN, używającą bardzo szybkich kanałów transmisji danych (opartych na technologii Fibre Channel). Dzięki takiej topologii użytkownik uzyskuje dostęp do pamięci masowych tak szybko, jak jest to możliwe; nie mówiąc już o tym, że siecią taką można w odpowiedni sposób zarządzać. Można sterować przepustowością każdego łącza tworzącego taką sieć, można łatwo przepisywać zasoby z jednego miejsca sieci w inne (zmniejszając tym samym czas dostępu do danych) i tworzyć redundancyjne ścieżki dostępu, zwiększając niezawodność pracy sieci i uodparniając ją na błędy.

Architektura SAN przewiduje, że pamięć masowa jest dołączona do szybko pracującej, wydzielonej sieci (jest to najczęściej topologia pętli, czasem gwiazdy), transportującej pakiety, opierając się na technologiach, takich jak Fibre Channel lub rzadziej FDDI; sieć SAN komunikuje się z kolei z podstawową siecią LAN, obsługującą całe przedsiębiorstwo. W sieci SAN rolę węzłów kierujących pakiety do odpowiedniego urządzenia pełnią powszechnie stosowane produkty, takie jak huby i przełączniki, wyposażone oczywiście w odpowiednie interfejsy (Fibre Channel). Pamięć masowa nie jest wtedy postrzegana jako jeden z elementów ściśle zintegrowanych z określonym serwerem, ale jako jedno z urządzeń tworzących sieć SAN.

Technologia Fibre Channel oferuje rozwiązania, jakich na próżno by szukać w powszechnie używanym interfejsie SCSI. Nawet najdroższe kontrolery SCSI zapewniają co najwyżej trzy kanały, a każdy taki kanał może obsłużyć maks. 7 urządzeń. Użytkownik ma tu więc do dyspozycji 21 urządzeń, które (tworząc łańcuch) mogą być oddalone od kontrolera o 6 m.

Spójrzmy na technologię Fibre Channel: do pętli można dołączyć do 126 urządzeń, a jeśli chodzi o odległości, to może to być nawet 10 km. Fibre Channel to nie tylko duża wydajność – to także możliwość elastycznego zarządzania całym środowiskiem sieciowym, kontrolowania strumieni pakietów przepływających przez sieć oraz wyjątkowo duża niezawodność pracy i odporność na błędy.

Topologie

Zwykłe węzły sieci Fibre Channel komunikują się (operacja login) z innymi węzłami albo z przełącznikiem lub hubem, wymieniając z nimi informacje operacyjne niezbędne do uruchomienia transmisji danych. Węzeł taki wcale nie musi „wiedzieć”, czy komunikuje się z innym węzłem, czy też z aktywnym hubem lub przełącznikiem, ponieważ transmituje zawsze pakiety w ten sam sposób. To, jak pakiety są dalej obsługiwane, zależy już od przełącznika czy huba. To te urządzenia „znają” topologię sieci i przetwarzają pakiety na różne sposoby, zależnie od rodzaju tej topologii. Sieci pracujące w technologii Fibre Channel mogą mieć różne topologie. Rodzaj zastosowanej topologii zależy od kilku czynników, takich jak wymagana przepustowość czy typ eksploatowanych aplikacji, i co za tym idzie – klasy usług oferowanych przez sieć.

Ważne jest to, że porty typu N (N-Port) i NL (NL-Port) pracują tak samo jak porty instalowane w przełącznikach. Używając technologii Fibre Channel, można budować sieci o następujących topologiach:

• łącza oferujące dedykowaną przepustowość – połączenie punkt–punkt,
• pętla współdzielona przez wszystkie dołączone do niej węzły,
• przełączanie pakietów (zmienna, skalowalna przepustowość).

Topologia punkt–punkt

Rozróżnia się dwie wersje tej topologii. W pierwszej mamy do czynienia z dwoma portami typu N (N-Port), które wymieniają między sobą informacje w trybie bezpośrednim. W drugiej przełącznik buduje różne ścieżki połączeń punkt–punkt. W każdym z tych przypadków oba porty typu N wykorzystują w 100 proc. pasmo przenoszenia danych; komunikacja odbywa się w trybie dupleksu, dlatego dedykowana przepustowość może tu osiągnąć nawet 2 Gb/s (1 Gb/s – wysyłanie pakietów i 1 Gb/s – odbiór pakietów).

Topologia pętli – współdzielenie pasma przenoszenia danych

Pętle Fibre Channel są bardzo tanim rozwiązaniem, pozwalającym dołączać do sieci wiele urządzeń, które współdzielą określone pasmo przenoszenia danych (np. 1 Gb/s). Wszystkie węzły rywalizują tutaj o dostęp do medium, ale jeśli któryś z nich uzyska logiczne połączenie punkt–punkt z innym portem, to transmituje pakiety z pełną szybkością oferowaną przez sieć. Do jednej pętli można podłączyć do 127 węzłów (urządzeń), ale tylko jeden z nich może pełnić rolę portu przełączającego (chodzi o arbitraż). Węzły zgłaszają żądanie dostępu do pętli, generując sygnał primitive. Jeśli po wysłaniu takiego żądania węzeł otrzyma pozytywną odpowiede, to pętla jest do jego dyspozycji. Jeśli kilka węzłów lub port przełącznika zgłaszają takie żądanie jednocześnie, to prawo do korzystania z pętli przyznawane jest urządzeniu o najniższym adresie. Po uzyskaniu pozwolenia port węzła lub przełącznika otwiera sesję punkt–punkt (transmisja danych w trybie dupleksu), nawiązując łączność z innym portem wbudowanym w węzeł lub w przełącznik. Tak więc w pętli mogą pracować jednocześnie tylko dwa porty, korzystając z usługi dowolnej klasy. Większość aplikacji uruchamianych w tym środowisku używa usługi Klasy 3. Kiedy pętla jest zwalniana, do akcji wkracza system arbitrażu, przyznając prawo do wykorzystania pętli dwóm innym portom. Mechanizm arbitrażu został więc tak zaprojektowany, aby wszystkie porty mogły rywalizować ze sobą o prawo dostępu do medium jak równy z równym.

Pętla konfiguruje się samodzielnie i automatycznie, przy czym w jej skład może wchodzić przełącznik, ale nie jest to konieczne. Porty zainstalowane w węzłach i w przełącznikach rozpoznają automatycznie całe otoczenie sieciowe, tak, iż użytkownik nie musi ich konfigurować lub rekonfigurować w przypadku zmiany architektury sieci. Izolowana pętla, nie podłączona do przełącznika nosi nazwę pętli prywatnej (Private Loop), natomiast jeśli port jest podłączony do przełącznika Fibre Channel przez port noszący nazwę FL (FL-Port), to taka pętla jest nazywana publiczną (Public Loop).

Warstwa FC-1 określa protokół transmisji, w tym reguły kodowania i dekodowania informacji oraz kontrole błędów i specjalne symbole. Zgodnie z przyjętym w FC kodowaniem 8B/10B (patent IBM) bloki 8-bitowe są przekształcane na bloki 10-bitowe. Najpierw jednak nie zakodowaną informację dzieli się na bajty ABCDEFGH plus zmienna kontrolna Z (na rysunku bit sterujący). Bajty są w kodzie ASCII. Rozdziela się je na dwie grupy: ABCDEF i FGH. Bit A jest najstarszy. Zmienna Z umożliwia odróżnienie znaku danych od znaku sterowania. W konwencji nazw FC-1 może ona przyjąć wartości: D dla znaków danych i K dla znaku sterującego. Każdy z 256 bajtów o strukturze ABCDEFGH będzie zakodowany 10-bitowym znakiem transmisyjnym (Transmission Character) o postaci abcdeifghj. Obowiązują 2 proste zasady: a) w znaku abcdeifghj nie może się znaleêć mniej niż 4 zera i 4 jedynki, b) liczba kolejno występujących po sobie zer lub jedynek nie może przekroczyć 4. Ogólna forma znaku transmisyjnego to Zxx. y, gdzie xx jest dziesiętną wartością liczby dwójkowej utworzonej z nie zakodowanych bitów E, D, C, B, A, a y dziesiętną wartością liczby binarnej utworzonej z nie zakodowanych bitów H, G, F. Na przykład abcdeifghj = 01011001 można nazwać D. 26.4, a abcdeifghj = 01111011 znakiem specjalnym K30.6. Bajty wartości danych lub sterowania mają w istocie 2 (mogą być jednakowe) kody, czyli każdy przekazywany symbol ma dwa odwzorowania. Tak więc przykładowo K28.5 może być przedstawiony jako liczba 001111010 lub jej negacja 110000101. Która wartość zostanie ostatecznie wybrana, zadecyduje specjalny układ kontroli błędów – RD (Ranning Disparity). Rozbieżnością (disparity) w FC określa się różnicę między liczbą jedynek a liczbą zer w zakodowanym słowie. Neutralna rozbieżność oznacza, że liczba zer jest równa liczbie jedynek. Dodatnia rozbieżność określa przewagę jedynek, a ujemna przewagę zer. Liczba słów o neutralnej rozbieżności wynosi 134. Koder i dekoder 8B/10B został zaprojektowany z myślą o utrzymaniu średniej neutralnej rozbieżności. Najpierw wylicza się rozbieżność w 6-bitowej części znaku 5B/6B, a następnie w 4-bitowej. Bieżąca rozbieżność jest rekordem skumulowanej rozbieżności każdego znaku transmisyjnego i jest śledzona przez odbiornik. Ażeby zagwarantować średnią neutralną rozbieżność, bieżąca dodatnia rozbieżność musi poprzedzać neutralną lub ujemną rozbieżność, natomiast ujemna rozbieżność musi poprzedzać neutralną lub dodatnią; podstawową jednostką FC jest słowo czterobajtowe (32-bitowe), ale na poziomie FC-1 staje się ono słowem złożonym z czterech 10-bitowych znaków nadawanych szeregowo. Dzięki temu można wykryć przekłamanie na wielu bitach. Prawdopodobieństwo wystąpienia błędu wynosi ok. 10-12.

Od FC-0 do FC-4

Protokół Fibre Channel składa się z pięciu warstw, licząc od dołu: od warstwy FC-0 (medium) do FC-4 (mapowanie FC na istniejące już protokoły wyższych warstw, takie jak SCSI czy IP). Sieci FC nie można umiejscowić w siedmiowarstwowym modelu ISO OSI, ale pięć warstw FC odpowiada mniej więcej temu, co jest realizowane w czterech dolnych warstwach modelu OSI (a więc w warstwach: fizycznej, łącza, sieci i transportu). Wszystkie węzły automatycznie przekazują odbierane ramki dalej, chyba że ramka adresowana jest właśnie do niej. Każdy węzeł podłączony do pętli odbiera transmitowane ramki i sprawdza, czy nie zawierają one sygnału primitive, adresowanego do tego właśnie węzła. Po odebraniu takiego sygnału dwa porty zainstalowane w sieci nawiązują ze sobą łączność logiczną punkt–punkt, a wszystkie kolejne ramki są transmitowane bezpośrednio z jednego portu do drugiego. Jest to bardzo prosta i przejrzyście funkcjonująca metoda transmitowania ramek, dzięki której pętla świadczy swe usługi wszystkim portom.

Pętla może się składać z wielu połączonych ze sobą węzłów, które tworzą łańcuch. I tu pojawia się problem: jeśli jeden z węzłów ulegnie uszkodzeniu, to pętla przestaje działać. Można temu zapobiec stosując huby. Hub, używając mechanizmu noszącego nazwę PBC, sprawdza, czy węzeł dołączony do pętli jest aktywny i pracuje prawidłowo. Mechanizm PBC otwiera pętlę, dołączając do niej węzeł (jeśli pracuje on prawidłowo), albo wyklucza z niej uszkodzony węzeł, zamykając w tym miejscu pętlę. Dzięki hubom poszczególne węzły mogą pracować w trybie plug and play, a użytkownik może (nie przerywając pracy sieci) odłączać od niej jedne i dołączać inne węzły.

Po zastosowaniu huba sieć ma właściwie topologię gwiazdy, podobną do tej, jaką spotykamy w sieciach LAN 10Base-T. Huby można łączyć tworząc wieżę, do której użytkownik może podłączyć 127 portów. W wielu pamięciach masowych opartych na technologii Fibre Channel pętla i obsługujące ją układy stanowią integralną część magistrali danych wbudowanej w urządzenie. Węzły dołączone do takiej sieci mają też często układy PBC, podobne do wbudowywanych w huby. Dlatego w sieciach SAN opartych na technologii Fibre Channel dyski twarde można wymieniać „w locie”.

Przełączanie pakietów

Przełączniki Fibre Channel można w prosty sposób instalować i wdrażać, ponieważ protokół Fibre Channel identyfikuje automatycznie całe otoczenie sieciowe (mechanizm autodetekcji). Po zainstalowaniu w pętli nowego węzła lub przełącznika Fibre Channel urządzenie sprawdza, jakie inne porty pracują w pętli, i dostosowuje się do całego otoczenia. Jeśli nowy węzeł stwierdza, że jego partnerem jest inny podobny mu węzeł, to zaczyna automatycznie pracować w trybie punkt–punkt. Jeśli węzeł stwierdza, że w sieci znajduje się przełącznik, to nawiązuje z nim współpracę (operacja login), wymieniając z tym urządzeniem odpowiednie parametry operacyjne. Jeśli nowy port jest portem przełącznika, który stwierdza, iż w sieci pracuje inny przełącznik, to pierwszy przełącznik wysyła nowemu przełącznikowi zestaw informacji o topologii sieci i o adresach przypisanych poszczególnym węzłom. Co ważne, wszystkie te operacje są wykonywane automatycznie.

Rozróżniamy trzy rodzaje portów instalowanych w przełącznikach: F (F-Port), FL (FL-Port), E (E-Port - czyli porty rozszerzenia używane do łączenia ze sobą przełączników).

Porty instalowane w przełącznikach komunikują się z portami typów N, NL lub z innymi przełącznikami. Jeśli port jest zarówno portem F, jak i portem E, to nazywany jest G (G-Port, ogólnego przeznaczenia). Większość przełączników jest wyposażona w porty typu G, które w momencie włączenia urządzenia automatycznie określają, czy są portami typu F czy też E, i transmitują pakiety w trybie przewidzianym dla danego rodzaju portu. Jeśli przełącznik Fibre Channel transmituje pakiety w trybie połączeniowym i w trybie bezpołączeniowym, to tak naprawdę są to dwa różne przełączniki, tyle że umieszczone w jednej obudowie. Usługi Klasy 1 i 6 (transmisja pakietów w trybie połączeniowym) są realizowane z wykorzystaniem technologii przełączania obwodów, a usługi Klasy 2, 3 i 4 w technologii przełączania pakietów. Jest to jedna z istotnych zalet technologii Fibre Channel, ponieważ z usług sieci tego standardu mogą korzystać aplikacje o zgoła odmiennych wymaganiach. Zarówno takich, które muszą transmitować pakiety z wykorzystaniem technologii przełączania obwodów, jak i takich, którym odpowiada technologia przełączania pakietów.

Przy przełączaniu pakietów przepustowości są przypisywane aplikacjom dynamicznie, tak że każda ze ścieżek połączeń może dysponować innym pasmem przenoszenia danych. Indywidualne ramki transmitowane między portami przełączników są przełączane niezależnie (w różnym czasie), dzięki stosowaniu przez przełączniki technologii adaptacyjnego trasowania. Aby było to możliwe, przełącznik musi dysponować odpowiednio pojemnymi buforami, wykorzystywanymi prze układy kontrolujące przepływ pakietów wymienianych między przełącznikiem i portami typu N, NL lub E. Jeśli aplikacja generuje krótkie pakiety, które muszą być w miarę szybko dostarczane do miejsca przeznaczenia, to sieć powinna przełączać pakiety (tryb bezpołączeniowy). Przewiduje się, że w przyszłości porty typu E będą też podłączane do sieci WAN.

Na rysunku widać możliwe zastosowanie technologii Fibre Channel. Oba węzły (a więc adapter I/O zainstalowany w serwerze i kontroler zarządzający macierzą dysków twardych) są wyposażone w porty typu N (N-Port), sprzęgające serwer i kontroler ze szkieletem sieci komunikacyjnej Fibre Channel. Szkielet taki jest często przedstawiany w postaci „chmurki” celem podkreślenia, że wewnętrzna struktura i sposób pracy sieci szkieletowej nie są jeszcze ujęte w karby standardów. Architektura taka odpowiada konwencjonalnemu modelowi działającemu zgodnie z zasadą store-and-forward (przechowaj i następnie wyślij).

Instalacja i konfigurowanie

W momencie inicjowania pracy sieci Fibre Channel wszystkie adresy są definiowane i przypisywane poszczególnym portom automatycznie. Jeśli w sieci funkcjonują przełączniki w tym samym trybie (autodetekcja), to są konfigurowane też ścieżki połączeń między nimi. W dowolnym czasie użytkownik może usunąć z pętli port lub dodać do niej nowe urządzenie. Po dodaniu nowego urządzenia zainstalowany w nim port nawiązuje automatycznie łączność z przełącznikiem i wymienia z nim szereg informacji operacyjnych. Jeśli jest to port typu N, to zapamiętuje on adres portu przełącznika, z którym będzie się komunikować. Jeśli jest to port typu NL, to zapamiętuje 16-bitowy adres portu przełącznika i 8-bitowe adresy pozostałych urządzeń (maks. do 126) dołączonych do pętli.

Pętla, węzeł i sieć szkieletowa

Wyjaśnijmy znaczenie dwóch podstawowych terminów używanych w środowisku Fibre Channel:

• sieć szkieletowa,
• węzeł.

Mianem sieci szkieletowej (fabric) określa się strukturę komunikacyjną (bazową) świadczącą swe usługi podłączanym do niej urządzeniom. Węzeł (node) to urządzenie podłączane do sieci Fibre Channel. Standardy opisujące pracę łączy Fibre Channel są podobne do standardów definiujących pracę sieci telefonicznych. Wielu producentów oferuje już systemy pamięci tego rodzaju, w skład których wchodzą dyski twarde standardu SCSI. Alternatywne rozwiązanie polega na zastosowaniu dysków wyposażonych w porty typu N (N-Port), dołączane do sieci szkieletowej Fibre Channel. Trzeci model to stosowanie kontrolera store-and-forward, który sprzęga dyski Fibre Channel z portem tego samego standardu instalowanym w serwerze.

Istniejące rozwiązania Fibre Channel mają tę zaletę, że mogą przesyłać pakiety generowane przez takie protokoły jak SCSI i TCP/IP oraz przewidują stosowanie różnych topologii, różnych szybkości oraz mediów: kabli miedzianych (do 30 m) i światłowodu (do 10 km).

Zobacz także

• Fibre Channel Pętla arbitrażowa