Xizmetkar

Mekanîzmaya paqijkirina daneya Spark Streaming
(I) DStream û RDD
Wekî ku em dizanin, hesabkirina Spark Streaming li ser bingeha Spark Core ye, û bingeha Spark Core RDD ye, ji ber vê yekê divê Spark Streaming bi RDD-ê re jî têkildar be.Lêbelê, Spark Streaming nahêle bikarhêner rasterast RDD bikar bînin, lê komek têgehên DStream berhev dike, DStream û RDD têkiliyên tevlihev in, hûn dikarin wê wekî nimûneya xemilandinê ya Java-yê fam bikin, ango DStream pêşkeftinek RDD ye, lê tevger dişibihe RDD.
DStream û RDD her du jî çend şert hene.
(1) tevgerên veguherînê yên mîna nexşe, kêmkirinaByKey, hwd., lê di heman demê de hin bêhempa jî hene, wek Window, mapWithStated, hwd.
(2) hemî xwedan çalakiyên Çalakiyê ne, wek foreachRDD, hejmartin, hwd.
Modela bernameyê hevgirtî ye.
(B) Danasîna DStream di Streaming Spark de
DStream çend çîn hene.
(1) Dersên çavkaniya daneyê, wekî InputDStream, taybetî wekî DirectKafkaInputStream, hwd.
(2) Dersên veguherînê, bi gelemperî MappedDStream, ShuffledDStream
(3) dersên derketinê, bi gelemperî wekî ForEachDStream
Ji jor ve, daneya ji destpêkê (têketinê) heya dawiyê (derketinê) ji hêla pergala DStream ve tête kirin, ku tê vê wateyê ku bikarhêner bi gelemperî nikare rasterast RDD-yan çêbike û manîpule bike, ku tê vê wateyê ku DStream xwedî derfet û mecbur e ku bibe. berpirsiyariya çerxa jiyanê ya RDDs.
Bi gotineke din, Spark Streaming xwedan yek epaqijkirina otomatîkkarkirin.
(iii) Pêvajoya hilberîna RDD di Spark Streaming de
Herikîna jiyanê ya RDD-ên di Spark Streaming de bi vî rengî dijwar e.
(1) Di InputDStream de, daneyên wergirtî di RDD-ê de, wekî DirectKafkaInputStream, ku KafkaRDD-ê çêdike, têne veguheztin.
(2) paşê bi navgîniya MappedDStream û veguheztina daneya din, vê carê rasterast tê gotin RDD ku bi rêbaza nexşeyê ve girêdayî ye ji bo veguheztinê.
(3) Di operasyona çîna derketinê de, tenê dema ku RDD tê xuyang kirin, hûn dikarin bihêlin ku bikarhêner hilanîna têkildar, hesabên din, û karûbarên din pêk bîne.