IBM bije rekord szybkości przetwarzania danych
Firma IBM po raz kolejny udowadnia, że to co duże, nie jest jej obce. Ogłosiła właśnie swój kolejny sukces w szybkości przetwarzania dużej ilości danych. System zawierający 10 miliardów plików został przeskanowany w ciągu 43 minut – wydajność była aż 37 razy szybsza niż w poprzednich rozwiązaniach.
Do przechowywania ogromnych ilości danych IBM wykorzystuje GPFS, czyli General Parallel File System. To klastrowy system plików, wprowadzony w 1998 roku, pozwalający na swobodne skalowanie wydajności oraz pojemności pamięci masowych. Pozwala on rdzeniom procesora na równoległy zapis i odczyt danych z dysku.
Obecny wynik wydajności został osiągnięty na klastrze składającym się z dziesięciu 8-rdzeniowych systemów. Był możliwy do uzyskania dzięki temu, że metadane zostały przeniesione na dodatkowe, bardzo szybkie macierze zbudowane z wykorzystaniem dysków SSD firmy Violin Memory. System zawierał 3205 takich dysków o łącznej pojemności 6,8 TB. Szybkość odczytu danych z macierzy SSD sięgała 5 GB/s.
Uzyskana wydajność w połączeniu z bardzo dużą pojemnością będzie pozwalała w niedalekiej przyszłości stosować niewielkie, zunifikowane i tanie w zarządzaniu systemy zamiast bardzo złożonych środowisk przechowujących ogromne ilości danych.
