Veracomp.pl  »  O Firmie  »  Centrum Prasowe    Aktualności

O FIRMIE

Sieci SDN zmieniają Big Data w kapitał informacyjny

W ciągu ostatnich kilku lat firmy odkryły, że w Big Data tkwi wiedza, a producenci entuzjastycznie zaczęli wdrażać technologie takie jak Hadoop Map/Reduce, Dryad, Spark oraz HBase, aby efektywnie przetwarzać dane w kapitał informacyjny. Ten trend będzie korzystał z rozwoju innej technologii – Software Defined Networking (SDN).

Większość Big Data to nieuporządkowane dane. O ile uporządkowane dane pasują do schematów tradycyjnych baz danych, nieuporządkowane są znaczniej trudniejsze do opanowania. Na przykład składowanie danych wideo. Typ pliku, rozmiar i adres IP są uporządkowane, ale już sama zawartość, która nie pasuje to ściśle określonych długości pól, nie. Wartość analizy Big Data polega na możliwości wyszukiwania i zapytań w obrębie nieuporządkowanych danych – np. wyszukania konkretnej osoby z tysięcznego tłumu przy użyciu algorytmów rozpoznawania twarzy.

Technologie przeznaczone do takich zadań mogą być szybkie i efektywne dzięki przetwarzaniu równoległemu na setkach tysięcy serwerów połączonych siecią Ethernet wysokiej prędkości. Stąd proces wydobywania danych z Big Data obejmuje trzy kroki: 1. podział danych na wiele węzłów serwerowych, 2. równoległą analizę każdego bloku danych, 3. połączenie wyników.

Operacje są powtarzane w kolejnych cyklach do czasu, gdy cały zbiór danych zostanie przeanalizowany.

Ze względu na konieczność podziału i łączenia tych równoległych obliczeń analityka Big Data może zostać ograniczona przepustowością sieci. Nawet najszybsze serwery pozwolą na przetwarzanie na poziomie możliwości przesyłowych sieci między nimi. W przykładowej analizie transfer między cyklami zajął aż 33 proc. czasu przetwarzania, a w wielu przypadkach wartość ta dochodzi nawet do 50 proc.

Skupiając się na tym ograniczeniu możliwe jest przyspieszenie analizy Big Data, co przekłada się na lepsze wykorzystanie klastra i redukcję całkowitego kosztu użytkowania dla dostawcy sieci cloud oraz na szybsze ukończenie zadania. Pozwala to na otrzymywanie wyników w czasie rzeczywistym przez klientów, którzy korzystają z infrastruktury.

Potrzebujemy inteligentnej sieci, która na każdym etapie obliczeń dopasowuje się do wymogów przepustowości transferu danych w cyklach dzielenia i łączenia danych prowadząc do przyspieszenia pracy.

Rola SDN

SDN ma olbrzymi potencjał do budowy inteligentnej sieci dla analizy Big Data. Dzięki oddzieleniu od poziomu kontroli i danych, SDN zapewnia zdefiniowane środowisko programistyczne pozwalające na inteligentne sterowanie sieciami, które można dopasować i skalować pod kątem wymagań Big Data.

SDN pozwala na konfigurację sieci na żądanie to odpowiedniego rozmiaru i formy najlepszych dla komunikacji maszyn wirtualnych. To odpowiada na zapotrzebowanie na szybkie przetwarzanie równoległe. Prędkość przetwarzania jest niska, bo większość obliczeniowych maszyn wirtualnych w aplikacjach Big Data pozostaje bezczynna oczekując na nadejście pakietów do przetworzenia. Dzięki SDN sieć może tworzyć na żądanie bezpieczne ścieżki i skalować przepustowość sieci, aby skrócić czas oczekiwania na dane i tym samym przyspieszyć obliczenia.

Tak inteligenta sieć, która dopasowuje się do potrzeb aplikacji, może być efektywna i precyzyjna. Dzieje się tak z dwóch powodów. Po pierwsze istnieją dopracowane schematy obliczeń i komunikacji jak Hadoop’s Split-Merge lub Map-Reduce paradigm. Po drugie istnieje centralna struktura zarządzająca, która umożliwia użycie informacji z warstwy aplikacji np. Hadoop Scheduler lub HBase Master.

Dzięki wsparciu kontrolera SDN, który ma pełny wgląd w strukturę sieci, jej stan, obciążenie itp. oprogramowanie może dokładnie reagować na potrzeby aplikacji przeprogramowując sieć na bieżąco.

SDN udostępnia także inne funkcjonalności, które wspomagają zarządzanie, łączenie i analizę Big Data. Protokoły przeznaczone dla SDN, takie jak OpenFlow czy OpenStack, zapewniają prostsze, inteligentne i wysoce zautomatyzowane zarządzanie siecią. OpenStack pozwala na konfigurację elementów sieci bez znacznego angażowania techników, a OpenFlow wspomaga automatykę sieci zapewniając większą elastyczność i wsparcie dla BYOD, zcentralizowanej automatyki, rozwiązań bezpieczeństwa oraz dla przyspieszania aplikacji.

SDN pełni też krytyczną rolę w tworzeniu infrastruktury sieciowej dla Big Data, pozwalając na płynne zarządzanie tysiącami switchy, a także zapewniając zgodność między różnymi urządzeniami, które tworzą sieć. OpneFlow to protokół, który współpracuje z każdym zgodnym urządzeniem bez względu na producenta, co gwarantuje zgodność pozwalając uniknąć półśrodków przy przetwarzaniu Big Data w kapitał informacyjny.

Wraz z rosnącym znaczeniem Big Data zapewnienie sieci, która może być skalowalna w miarę potrzeb staje się kluczem do sukcesu. To oczywiste, że właściwe rozwiązania pozwoli na wykorzystanie dwóch elementów – powtarzalności w aplikacjach Big Data i możliwości programowania sieci, którą oferuje SDN. Z tego punktu widzenia, SDN odegra ważną rolę w rozwoju sieci.

Autorem jest Bithika Kharagharia, starszy inżynier w Extreme Networks.

Opublikowano

Extreme Networks
Extreme Networks

Łączność wykraczająca poza sieć Firma Extreme Networks, Inc. (NASDAQ: EXTR) oferuje wsparte oprogramowaniem rozwiązania sieciowe (SDN), które pomagają działom IT na całym świecie osiągnąć wyjątkowe korzyści biznesowe – silniejsze relacje z klientami, partnerami i pracownikami. Te relacje z kolei przekładają się na wyższą sprzedaż, niższe koszty ... Więcej »