Google Cloud biedt Batch, een dienst voor het plannen van bulktaken

Google Cloud heeft onlangs de preview aangekondigd van Batch, een service die bulkfunctionaliteit op grote schaal kan uitvoeren. De nieuwe service ondersteunt de nieuwste T2A Arm- en Spot-VM’s voor grote batchtaken met behulp van taakparallelling.

Lot zorgt voor dynamische resourceprovisioning en automatische schaling, uitvoering van parallelle verzoeken, ondersteunt scripting en gecontaineriseerde workloads en kan profiteren van native Google Cloud-services en cloudgebaseerde verwerkingstools. Shamil Jacobs, productmanager bij Google, en Paulian Yen, software-engineer bij Google schrijven:

Batchverwerking is zo oud als de computer zelf, waarbij de term “batch” teruggaat naar de ponskaarten die door vroege mainframes werden gebruikt (…) Batchfuncties komen vooral veel voor in gebieden zoals onderzoek, simulatie, genomica, visuele effecten, financiële technologie , productie en EDA.

De nieuwe service ondersteunt veelvoorkomende taaktypen zoals taakborden en MPI-toepassingen met meerdere knooppunten. Jacobs en Wayne wijzen erop dat Batch niet de enige service op de Google Cloud is die batchverwerking afhandelt:

Adverteren

Batch is een batchverwerkingsservice voor algemene doeleinden en de nieuwste in een lange lijst van producten die we in de loop der jaren hebben gebouwd en die taken aanpakken om bedrijven te helpen hun workloads naar de cloud te verplaatsen. Deze services omvatten: Cloud Life Sciences (voorheen Google Genomics), datastromen en cloudimplementatietaken.

Bron: https://cloud.google.com/blog/products/compute/new-batch-service-processes-batch-jobs-on-google-cloud

De basisconcepten van de nieuwe dienst zijn: een taakhet uitvoeren van een rekentaak van uitvoering tot voltooiing, Taken draaien op instanties van de Compute Engine, en tafeltaakmeerdere taken binnen een taak die tegelijkertijd worden uitgevoerd op hetzelfde uitvoerbare en bronnen, zoals Compute Engine-, Cloud Storage- of NFS-gekoppelde instanties. Lewis Carroll, directeur van AMD, merkt op:

Batch T2D Tau virtuele machines zouden een gigant moeten zijn voor grootschalige life sciences, chemicaliën, derivatenprijzen, risico’s en andere grootschalige gedistribueerde computertaken.

De cloudprovider heeft een zelfstudie over het transcoderen van media uitgebracht, die gebruikmaakt van de batch om H.264-videobestanden naar VP9 te converteren. Busybox, een project om een ​​container als een aggregatiefunctie uit te voeren, primegen, een uitgebreid voorbeeld van het gebruik van workflows en Cloud Build met Batch en wrf, een typische implementatie van het uitvoeren van weeronderzoek en voorspellingsmodel in batchfunctie met MPIB, zijn andere voorbeelden die beschikbaar zijn op GitHub.

Ontwikkelaars hebben toegang tot batches via een API, opdrachtregeltool, workflow-engines of console, prioriteren taken en maken beleid voor opnieuw proberen. De service kan worden uitgevoerd in HPC Toolkit, een open source Google-cloudproject gericht op het implementeren van high-performance computeromgevingen, waarbij de cloudprovider uitlegt:

Het gebruik van Google Cloud Batch met de HPC Toolkit vereenvoudigt de configuratie die nodig is om complexere scenario’s te bieden en uit te voeren, zoals het opzetten van een gedeeld bestandssysteem en het installeren van software voor gebruik door Google Cloud Batch-taken. Het maakt het ook mogelijk om geteste infrastructuuroplossingen die werken met Google Cloud Batch te delen via HPC Toolkit-abonnementen.

Momenteel als preview-versie is Batch beschikbaar in een subset van Google Cloud-regio’s: Iowa, South Carolina, Oregon en Finland. Er zijn geen extra kosten voor het gebruik van Batch, klanten betalen voor de middelen die worden gebruikt om de taken uit te voeren.

Leave a Comment