Xizmetkar

Mekanîzmaya paqijkirina daneya Spark Streaming
(I) DStream û RDD
Wekî ku em dizanin, hesabkirina Spark Streaming li ser bingeha Spark Core ye, û bingeha Spark Core RDD ye, ji ber vê yekê divê Spark Streaming bi RDD-ê re jî têkildar be.Lêbelê, Spark Streaming nahêle bikarhêner rasterast RDD bikar bînin, lê komek têgehên DStream berhev dike, DStream û RDD têkiliyên tevlihev in, hûn dikarin wê wekî nimûneya xemilandinê ya Java-yê fam bikin, ango DStream pêşkeftinek RDD ye, lê tevger dişibihe RDD.
DStream û RDD her du jî çend şert hene.
(1) tevgerên veguherînê yên mîna nexşe, kêmkirinaByKey, hwd., lê di heman demê de hin bêhempa jî hene, wek Window, mapWithStated, hwd.
(2) hemî xwedî çalakiyên Çalakiyê ne, wek foreachRDD, hejmartin, hwd.
Modela bernameyê hevgirtî ye.
(B) Danasîna DStream di Streaming Spark de
DStream çend dersan pêk tîne.
(1) Dersên çavkaniya daneyê, wekî InputDStream, taybetî wekî DirectKafkaInputStream, hwd.
(2) Dersên veguherînê, bi gelemperî MappedDStream, ShuffledDStream
(3) dersên derketinê, bi gelemperî wekî ForEachDStream
Ji jor ve, daneya ji destpêkê (têketinê) heya dawiyê (derketinê) ji hêla pergala DStream ve tête kirin, ku tê vê wateyê ku bikarhêner bi gelemperî nikare rasterast RDD-yan çêbike û manîpule bike, ku tê vê wateyê ku DStream xwedî derfet û mecbur e ku bibe. berpirsiyariya çerxa jiyanê ya RDDs.
Bi gotineke din, Spark Streaming xwedan yek epaqijkirina otomatîkkarkirin.
(iii) Pêvajoya hilberîna RDD di Spark Streaming de
Herikîna jiyanê ya RDD-ên di Spark Streaming de bi vî rengî dijwar e.
(1) Di InputDStream de, daneyên wergirtî di RDD-ê de, wekî DirectKafkaInputStream, ku KafkaRDD-ê çêdike, têne veguheztin.
(2) paşê bi navgîniya MappedDStream û veguheztina daneya din, vê carê rasterast jê re tê gotin RDD ku bi rêbaza nexşeyê ya veguheztinê re têkildar e.
(3) Di operasyona çîna derketinê de, tenê dema ku RDD tê xuyang kirin, hûn dikarin bihêlin ku bikarhêner hilanîna têkildar, hesabên din, û karûbarên din pêk bîne.