Backblaze: Eksperyment z przechowywaniem w chmurze, aby podnieść poziom rolnictwa Chia


artykuł tłumaczony: https://www.backblaze.com/blog/experimenting-cloud-storage-for-chia-mining/

Każdy, kto zwraca uwagę na rynek dysków twardych tak blisko, jak Backblaze, wie już wszystko o szybkim wzroście popularności Chia – „zielonej” alternatywy dla Bitcoina – oraz o wpływie, jaki ma to na globalne dostawy dysków. Jeśli nie słyszałeś o Chia, zapoznaj się z krótką notką poniżej, aby uzyskać więcej informacji. Ale ten post jest skierowany do wielu rolników z Chia, którzy już zajęli się rolnictwem i teraz stoją przed pustymi półkami, szukając rozwiązań do przechowywania swoich działek.

Mając to na uwadze, nasz zespół postanowił zbadać eksperymentalne rozwiązanie, które pozwoliłoby na uprawę działek Chia przechowywanych w B2 Cloud Storage. Z przyjemnością ogłaszamy, że rolnicy z Chia mogą teraz przechowywać i uprawiać swoje działki w Backblaze B2.

Jeśli więc chcesz wziąć udział w sensacji Chia, nie wydając dużo na trudno dostępne dyski twarde o dużej pojemności, istnieje teraz innowacyjny sposób na rozpoczęcie pracy z niedrogim, skalowalnym rozwiązaniem w chmurze.Chia vs. Bitcoin: Chia to nowa kryptowaluta, która wykorzystuje algorytm proof-of-space. W przeciwieństwie do algorytmu sprawdzającego pracę obsługującego Bitcoin – który jest zarówno energochłonny, jak i procesorowy – Chia został opracowany w celu zminimalizowania zużycia energii. Rezultatem jest forma blockchain intensywnie przechowująca dane. Jeśli chcesz dowiedzieć się więcej, zalecamy przejście do źródła .

Klucze do wygrywania wyzwań Chia

Działki Chia nie tylko leżą bezczynnie. Sieć Chia regularnie publikuje dopasowane wyzwania i kontrole jakości. Kontrole jakości są ważne, aby odnieść sukces, ale wyzwania — w których co 10 minut poddawana jest jedna z 512 działek — są powodem, dla którego uprawiasz ziemię.

Jeśli jedna z twoich działek zostanie wybrana do wyzwania meczowego, musisz pobrać „pełny dowód”, aby odebrać nagrodę, co wymaga około 64 wyszukiwań dysków twardych i dostarczenia pełnego dowodu do reszty sieci peer-to-peer w mniej niż 30 sekund, zanim „władcy czasu” Chia przesuną blockchain dalej.

Reklamy

To stwarza dwa problemy, które mogą nie spać w nocy, jeśli próbujesz hodować Chia:

  • Problem 1: Gdzie przechowywać działki na dużą skalę.
    Biorąc pod uwagę, że obecnie szacowana powierzchnia sieci zajmowana przez działki Chia wynosi 20 eksabajtów (i rośnie wykładniczo!), szansa dyktuje, że tylko jedna z Twoich działek zostanie zwycięzcą raz na około 96 lat. To jak czekanie przez całe życie na kłos kukurydzy — nie jest zabawne. Więc chcesz mieć dużo działek, aby zwiększyć swoje szanse, ale potrzebujesz miejsca, w którym możesz je przechowywać, na który możesz sobie pozwolić i które może rosnąć wraz z twoim gospodarstwem.
  • Problem 2: Zarządzanie złożonością skalowania pamięci masowej.
    Jeśli rozwiążesz problem z przechowywaniem, potrzebujesz również sposobu na szybkie i niezawodne udostępnienie wszystkich wykresów do odczytu i szybkiego przedstawienia w sieci, gdy wygrasz wyzwanie. Musisz być w stanie zarządzać tą złożonością w każdej sekundzie każdego dnia, tak długo, jak chcesz być rolnikiem. Jeśli poczekasz 96 lat na pojedynczy kłos kukurydzy, ominięcie dnia żniw byłoby kłopotliwe.

Oto klucze do wygrania wyzwania meczowego: Osiągnięcie skali i umiejętne jej zarządzanie.

Status quo: indywidualni rolnicy Chia używają dysków twardych do przechowywania

W przypadku dysku twardego 7200 obr./min z opóźnieniem odczytu wynoszącym około 10 ms uzyskanie kontroli jakości lub pełnej dowodu zajmuje około 70 ms na kwalifikacyjny wykres. Ponieważ jądro Chia buforuje pierwsze siedem odczytów, dysk twardy musi wykonać tylko 64 wyszukiwania po wysłaniu wyzwania.

Jeśli dysk o pojemności 18 TB — który może pomieścić 166 wykresów po 108 GB na działkę (przy użyciu k=32) – ma szczęście zawierać wykres, który jest magicznym „jednym na 512”, dysk twardy wykonuje dość szybko niezbędne operacje odczytu, ponieważ Chia została zaprojektowana do używania dysków twardych w rolnictwie działkowym. Ale dyski twarde mogą wykonywać tylko jedną z tych operacji na raz, więc komputer stacjonarny musi wykonywać te operacje sekwencyjnie. Nawet jeśli używasz dysku SSD, nadal musisz wykonywać operacje szeregowo. Ponownie, nie jest to problem dla poszczególnych dysków, ponieważ dyski HDD i SSD są w stanie wykonywać operacje bardzo szybko w wyznaczonym czasie.

Ale nawet dla tych, którzy mają szczęście znaleźć zapas łatwo dostępnych dysków o pojemności 18 TB, które nie zostały dwukrotnie oznaczone, zapewniając pamięć dla takiej liczby działek, jakiej potrzebuje Chia Farmer, aby zapewnić rozsądną szansę na sukces, będzie praca i kapitał intensywny.

Reklamy

Jak wykorzystać pamięć masową w chmurze do skalowania działek

Oprogramowanie Chia nie zostało zaprojektowane z myślą o uprawie roli z obiektami do przechowywania obiektów w chmurze publicznej, a pierwsze testy, które przeprowadziliśmy na działkach Chia przechowywanych w B2 Cloud Storage, potwierdziły to: potrzeba minut, a nie 30 sekund, aby przejść kontrolę jakości na czas. W przeciwieństwie do lokalnego rozwiązania pamięci masowej, w którym odczyty kontroli jakości mogą być buforowane przez jądro, wydajność w konfiguracji pamięci masowej w chmurze jest obniżona do tego stopnia, że ​​wpływa to na skuteczność wygrywania wyzwań przez użytkowników.

Backblaze B2 Cloud Storage zapewnia obiektową pamięć masową, która przechowuje dane w dyskretnych obiektach, eliminując potrzebę jakiejkolwiek zagnieżdżonej lub hierarchicznej struktury plików. To sprawia, że ​​B2 Cloud Storage idealnie nadaje się do skalowania i wykorzystania jako magazyn pochodzenia, ale jako samodzielny produkt, obiektowa pamięć masowa nie nadaje się do przechowywania wykresów Chia. Bez optymalizacji buforowania w celu poprawy wydajności i sposobu równoczesnego odczytywania wykresów, B2 Cloud Storage nie będzie efektywnie obsługiwać przypadku użycia Chia farming. Ale B2 Cloud Storage jest zaprojektowany tak, aby korzystać z równoległych operacji lub wątków, oferując pewne zalety w porównaniu ze standardowym dyskiem fizycznym, jeśli jest poprawnie skonfigurowany dla tego przypadku użycia ( kaszel* o wątkach pisałem tutaj! kaszel* ).

Nasz zespół uznał, że zbudowanie narzędzia zapewniającego obejście przypadku użycia Chia byłoby interesujące z czterech ważnych powodów:

  • Po pierwsze: ponieważ Backblaze Storage Cloud zapewnia obydwa klucze do udanej hodowli Chia: nie ma potrzeby udostępniania, a Chia Farmerzy mogą przesyłać nowe działki z dużą prędkością i na dużą skalę. Backblaze Storage Cloud obsługuje prawie 500 miliardów plików o wyjątkowej trwałości i dostępności.
  • Po drugie: koszt przechowywania działek Chia w Backblaze B2 jest finansowo atrakcyjny i wynosi 5 USD za TB miesięcznie . Według Chia Calculator wykorzystanie B2 Cloud Storage do przechowywania działek byłoby opłacalne, w zależności od tempa wzrostu powierzchni sieciowej i aktualnej ceny monety Chia.
  • Po trzecie: Tiger Team składający się z SE i inżynierów, w tym ja, pomyślał, że będzie to interesujący i użyteczny (i zabawny) eksperyment.
  • Wreszcie: ten sam zespół uważał, że możemy umożliwić Chia farmienie działek przechowywanych w B2 Cloud Storage poprzez złamanie kodu, jak zrównoleglać operacje w Chia.

Mając to na uwadze, nasz Tiger Team wyruszył do pracy. Narzędzie do montowania Backblaze B2 jako systemu plików było konieczne, ponieważ Chia nie obsługuje natywnie interfejsów API Backblaze B2 Native lub S3 Compatible. Po kilku testach nasz zespół zdecydował się na B2_fuse, ponieważ nasi inżynierowie, którzy mieli nad tym pracować, mieli już pewną znajomość kodu źródłowego.

Po podjęciu decyzji o B2_fuse nasi inżynierowie dodali algorytm wstępnego pobierania do buforowania odczytów, aby rozwiązać wspomniany powyżej problem z jądrem. Pomogłoby to poprawić wydajność, ale ponieważ odczyty nadal były przeprowadzane pojedynczo na dysku twardym, było miejsce na dodatkowe ulepszenia. Oczywiście równoległe wykonywanie operacji znacznie zwiększyłoby wskaźnik sukcesu, a po pewnym kopaniu jeden z naszych inżynierów znalazł żądanie PR (pull request), które dodało równoległe odczyty i nie zostało jeszcze połączone z projektem Chia.

Dzięki optymalizacji buforowania w B2_fuse i dodatkowej funkcjonalności odczytów równoległych, czas sprawdzania wykresu Chia przechowywanego w B2 Cloud Storage został skrócony do kilku sekund. Pozwala to na przesyłanie działek Chia do Backblaze B2 i prezentowanie ich w sieci Chia w celach rolniczych bez potrzeby korzystania z drogiego serwera w centrum danych.

Nasze pomyślne testy zostały przeprowadzone przy użyciu instancji obliczeniowej działającej w regionie Zachodnie stany USA z kontem Backblaze B2, które znajduje się również w regionie Zachodnie stany USA. Spróbuj, a możesz gapić się na całe pole metaforycznych upraw — wszystko gotowe na każde wyzwanie „jeden na 512”.


Opinie i artykuły na tej stronie reprezentują jedynie autorów poszczególnych publikacji do których znajdują się odnośniki (źródło) pod każdym z artykułów. Nie oznacza, to że chia.com.pl zgadza się z tymi poglądami.
Strona chia.com.pl powstała jedynie z potrzeby informowania lub edukowania osób zainteresowanych tą technologią oraz dostarczania wiadomości z dziedziny blockchain i jego wpływu na środowisko, nie znajdują się na niej artykuły dotyczących predykcji cenowych kryptowaluty XCH (Chia).
Informacje tutaj prezentowane, nie mogą być wykorzystywane jako porada inwestycyjna i finansowa. Wszelkie decyzje, np. inwestycyjne podejmowane przez Użytkowników strony są zawsze podejmowane indywidualnie i niezależnie, na ich własne ryzyko i na ich własną odpowiedzialność.

Artykuły na stronie:
– nie stanowią rekomendacji inwestycyjnej lub czynności doradztwa inwestycyjnego w rozumieniu §3 Rozporządzenia Ministra Finansów z dnia 19 października 2005r. w sprawie informacji stanowiących rekomendacje dotyczące instrumentów finansowych, ich emitentów lub wystawców (Dz.U. 2005 nr 206 poz. 1715);
–  nie stanowią rekomendacji inwestycyjnej lub czynności doradztwa inwestycyjnego w rozumieniu (art.42 ust. 1 i art.76) Ustawy z dnia 29 lipca 2005r. o doradztwie inwestycyjnym (Dz.U. 2005 nr 183 poz. 1538 z późn.zm.
)

Więcej w dziale contact.