Czym jest DELL GB10?
Wyobraź sobie, że szukasz serwera, aby uruchomić lokalny LLM u siebie w biurze. Nie masz jednak profesjonalnej serwerowni, w której zamontujesz serwer RACK, a klasyczna stacja robocza lub serwer w obudowie Tower zajmuje sporo miejsca. Natomiast masz mały kawałek przestrzeni na biurku.
Dell zaprezentował urządzenie o wymiarach 15 cm na 15 cm i wysokości trochę ponad 5 centymetrów. To sprzęt, który zmieści się tak naprawdę na dłoni, a jego głównym przeznaczeniem jest właśnie uruchamianie lokalnych modeli językowych. Oczywiście mówimy o urządzeniu, które sprawdzi się w małej firmie lub w domu. W dużym przedsiębiorstwie zasoby potrzebne do wdrożenia ogromnych modeli będą wymagały mocniejszych komponentów. Tam sprawdzi się już profesjonalny serwer, który będzie też odpowiednio droższy.
Co wyróżnia DELL GB10?
Zapewne część osób zapyta: ale w czym to urządzenie jest lepsze od innych? Odpakowując taki sprzęt prosto z kartonu, widzimy, że wszystko jest już złożone. Pozostaje nam postawić go na biurku, podłączyć kabel zasilający i go włączyć. Oczywiście nie zapominamy o podłączeniu urządzeń peryferyjnych i kabla HDMI, aby móc wyświetlić obraz.
Po włączeniu musimy zainstalować system. Procedura jest jednak banalnie prosta, zajmuje około 20–30 minut i praktycznie po tym czasie możemy już w pełni korzystać z urządzenia. Zostaje nam tylko zainstalowanie i skonfigurowanie odpowiedniego LLM, ale dzisiaj na tym nie będziemy się skupiać, ponieważ każdy użytkownik będzie wykorzystywać różne modele do różnych celów. Tak naprawdę uruchomienie i skonfigurowanie podstawowego systemu nie powinno zająć dłużej niż 30 minut.
I tutaj dochodzimy do pytania: jaki właściwie system instalujemy? Na tym urządzeniu stawiamy system operacyjny NVIDIA DGX OS, który bazuje na Ubuntu Linux. Jest on stworzony z myślą o maksymalnej wydajności w zastosowaniach sztucznej inteligencji i uczenia maszynowego. Zawiera już w sobie cały stos oprogramowania AI, czyli sterowniki dla GPU, CUDA, Container Toolkit, NGC, a także cuDNN. Dzięki temu użytkownik przy uruchamianiu podstawowych modeli nie musi już robić tego wszystkiego sam.
NVIDIA NGC możemy porównać trochę do sklepu Google Play lub App Store. Użytkownik wchodzi i ma możliwość pobrania dowolnego modelu, który z reguły instaluje się automatycznie w systemie. Znajdziemy tam modele zarówno darmowe, jak i płatne. Dzięki temu uruchomienie takiego bota, nawet dla użytkownika zaczynającego przygodę z AI, nie powinno być problemem. Dodatkowo mamy też od razu wskazówki co do konfiguracji konkretnego modelu.
Specyfikacja
Zaczynając od początku, przypomnijmy wymiary, o których wspominałem. Urządzenie ma 15 cm długości oraz szerokości, 5,1 cm wysokości i jest zamknięte w metalowej obudowie. Trzymając w ręku taki sprzęt, od razu wiemy, że nie mamy do czynienia z tanią konstrukcją. Blasku dopełnia kolor magnetytowy i anodowane aluminium, jak możemy wyczytać ze specyfikacji Dell.
Przejdźmy jednak do konkretów. Na pokładzie znajdziemy procesor NVIDIA GB10 z 20 rdzeniami i 16 MB pamięci podręcznej o architekturze ARM oraz zintegrowaną grafikę NVIDIA BLACKWELL. Do tego dochodzi zunifikowana pamięć RAM o pojemności 128 GB LPDDR5x. Dzięki jednemu układowi praca z modelami jest dużo wydajniejsza. W klasycznych stacjach lub komputerach układ GPU jest oddzielony od pamięci RAM. Tutaj, dzięki połączeniu, mamy możliwość uruchomienia znacznie większych modeli.
Chcąc kupić taki sprzęt, w sumie jedyną rzeczą, którą możemy sami wybrać, jest dysk. Urządzenie może obsłużyć 2 TB w formacie M.2 o rozmiarze 2230 i technologii QLC lub 4 TB M.2 2242 z szyfrowaniem OPAL.
Na obudowie znajdziemy jeden port zasilania w formacie USB-C, do tego trzy porty C z trybem alternatywnym DisplayPort, jeden port HDMI 2.1b, jeden port RJ45 oraz złącze ConnectX-7 do połączenia z drugim urządzeniem Dell GB10. Na samym końcu – oczywiście przycisk włączający. Dodatkowo mamy moduł Bluetooth oraz kartę sieciową z wewnętrzną anteną. Całość zasilana jest zasilaczem 280W poprzez wspomniane złącze USB-C.
Złącze ConnectX-7. Komu to potrzebne?
W poprzednim punkcie pojawiła się nazwa złącza, które znajdziemy na obudowie. Dla wielu użytkowników może być to nazwa, która kompletnie nic nie mówi. Port ConnectX-7 to interfejs, który pozwala połączyć kolejne urządzenia w klaster. Dzięki temu mamy możliwość połączenia sił i uruchomienia mocniejszego środowiska. Takie złącze pozwala nam ominąć łączenie maszyn przez switch, więc nie musimy wydawać dodatkowych pieniędzy. Przepustowość tego portu to QSFP 200 Gb/s, więc mamy tutaj pełną moc. W przypadku łączenia dwóch takich urządzeń musimy pamiętać o dokupieniu przewodu, ponieważ w zestawie go nie znajdziemy.
Do czego możemy wykorzystać? 3 zastosowania
Tak naprawdę lista mogłaby mieć i kilkadziesiąt punktów, ale skupmy się na trzech najbardziej popularnych:
- Programowanie – nie musimy się obawiać, że nasz kod wycieknie i ktoś niepowołany uzyska do niego dostęp. Całość odbywa się w 100% lokalnie. Takich LLM-ów mamy mnóstwo do pobrania i zainstalowania, i to zupełnie za darmo.
- Przetwarzanie dokumentów – podmioty prawne, medyczne czy finansowe przetwarzają dziennie tysiące pism. Nikt nie wyobraża sobie wrzucania dokumentów z wrażliwymi danymi do publicznie dostępnych LLM-ów w internecie. Analizując je lokalnie, mamy pewność, że żadne poufne dane nigdzie nie wypłyną.
- Lokalni agenci / automatyzacja procesów – agent monitorujący ruch sieciowy? Monitorowanie systemu zgłoszeń czy parsowanie logów serwerowych? Pole do popisu jest naprawdę duże, ponieważ mamy możliwość uruchomienia kontenerów z takimi narzędziami jak choćby n8n, które ostatnimi czasy jest bardzo popularne.
Wady urządzenia?
Jak każde urządzenie, to również nie jest sprzętem idealnym. W sumie główne mankamenty wynikają z cech konstrukcyjnych, o których pisałem wyżej. Wymienię tutaj cechy takie jak kompletny brak możliwości wymiany pamięci RAM czy układu GPU. Dodatkowym minusem dla niektórych może być mały wybór dostępnych dysków podczas samego zakupu.
W przypadku typowych stacji roboczych możemy praktycznie każdy komponent wymienić i co roku „coś dokładać”. Tutaj, aby zwiększyć moc, musimy dokupić drugie takie samo urządzenie i spiąć je w klaster. Choć dla niektórych, tak jak wspominałem, może być to akurat spory atut.
Podsumowanie
Dell GB10 robi dokładnie to, do czego został stworzony. Jeśli nie masz w biurze miejsca na szafę RACK, a zależy Ci na 100% prywatności danych i prostej konfiguracji w 30 minut, to ten sprzęt jest strzałem w dziesiątkę. Dostajesz architekturę Blackwell i 128 GB zunifikowanej pamięci w obudowie, która mieści się na dłoni. Fakt, nie wymienisz tu w środku RAM ani grafiki, bo wszystko jest zintegrowane. Jeśli jednak braknie Ci mocy, po prostu dokupujesz drugi sprzęt i spinasz je w klaster. Zamiast co miesiąc płacić stale rosnące i trudne do przewidzenia faktury za chmurę, płacisz raz i masz własne, szybkie środowisko AI na biurku. Dla mniejszych zespołów, które chcą uruchomić AI u siebie w biurze, będzie to dobry wybór.
