|
Krótki opis zadania
Zadania przechowywania, zabezpieczania i
udostępniania stale rosnącej objętości danych generowanych przez
rozproszone środowisko użytkowników, wykorzystujących ogólnokrajowe
zasoby obliczeniowe, są jednymi z najbardziej istotnych zagadnień
dotyczących wykorzystania klastra SGI. Dla potrzeb klastra narodowego
naturalnym rozwiązaniem jest utworzenie meta-systemu hierarchicznego
zarządzania danymi (MHSM, ang. Meta Hierarchical Storage Management),
pracującego w oparciu o lokalne systemy HSM istniejące w Gdańsku, Krakowie,
Poznaniu i Wrocławiu oraz planowane w Łodzi i Warszawie (IMGW). Prace
związane z budową systemu MHSM koncentrować się będą wokół następujących
zagadnień:
- Rozbudowa funkcjonalna istniejących, lokalnych systemów HSM
- Metabaza danych (MBD) dla lokalizacji rozproszonych danych oraz
wspólny interfejs API do lokalnych systemów HSM
- Integracja, testowanie i udoskonalanie
Rozbudowa funkcjonalna lokalnych systemów
HSM polega na stworzeniu podsystemu szybkiego dostępu do wielkich plików
rezydujących na taśmach i podsystemu określania czasu dostępu do plików.
Celem prac pierwszego podzadania jest projekt i implementacja podsystemu
szybkiego dostępu do plików wielkich rozmiarów rezydujących na taśmach z
wykorzystaniem strategii podziału plików. Dla realizacji tej strategii musi
zostać opracowany podsystem umieszczony pomiędzy aplikacją klienta i
systemem HSM. Podsystem ten będzie dzielił pliki podczas ich zapisu na
taśmę, w sposób przeźroczysty dla użytkownika. Informacja o fragmentacji
plików będzie umieszczana w bazie danych indeksów. Aby utrzymać jednolitą
prędkość transmisji plików i skrócić czas jej trwania dodatkowo stosowana
będzie technika prefetchingu. Technika ta polega na sprowadzeniu
kolejnego podpliku do pamięci podręcznej systemu przy jednoczesnej
transmisji poprzedniego podpliku z pamięci podręcznej do aplikacji
użytkownika. Celem prac w drugim podzadaniu jest opracowanie i
implementacja podsystemu, który będzie dostarczał odpowiedzi w jakim czasie
żądany plik z określonego HSM będzie dostępny. Odpowiedź jest zależna od
wielu czynników takich jak: obciążenie HSM, długość kolejki, ilość napędów
i ich przepustowość, rozmiar pliku, itp.
|
