ทำความรู้จักกับ Stream

ทำความรู้จักกับ Stream หมายถึงการประมวลผลสตรีมเป็นเทคโนโลยีBig data ใช้เพื่อค้นหากระแสข้อมูลโดยตลอดแล้วก็ค้นหาข้อตกลงอย่างเร็วภายในช่วงระยะเวลาอันสั้นภายหลังจากได้รับข้อมูล เวลาสำหรับเพื่อการตรวจจะต่างๆนาๆตั้งแต่ไม่ลลิวินาทีจนกระทั่งนาที เช่น คุณสามารถใช้การประเมินผลสตรีมเพื่อรับการแจ้งเตือนเมื่ออุณหภูมิถึงจุดที่ทำให้เป็นน้ำแข็งและก็ค้นหาสตรีมข้อมูลที่ได้รับมาจากเซ็นเซอร์อุณหภูมิ

มีการเรียกชื่อต่างๆดังเช่น การวิเคราะห์แบบเรียลไทม์ การวิเคราะห์การสตรีม การประมวลผลเรื่องที่สลับซับซ้อน การวิเคราะห์การสตรีมแบบเรียลไทม์ แล้วก็การประมวลผลเรื่อง ในอดีตกาลมีสิ่งที่แตกต่างบางประการ แต่ว่าในเวลานี้ เครื่องไม้เครื่องมือ (เฟรมเวิร์ก) กำลังเดินทางมาบรรจบกันภายใต้การประมวลผลสตรีมระยะ (มองปัญหา Quora นี้สำหรับรายการกรอบงานและก็ส่วนในที่สุดของเนื้อหานี้สำหรับประวัติความเป็นมา)

Apache Storm เป็นที่นิยมในฐานะ “เทคโนโลยีซึ่งสามารถสร้างผลสรุปได้เร็วขึ้นเวลาที่เป็นเทคโนโลยีอย่าง Hadoop” แล้วก็ถัดมาถูกใช้ประโยชน์เป็นเทคโนโลยีBig data ตอนนี้มีผู้สมัครจำนวนไม่ใช่น้อย สล็อต

ข้อมูลพื้นฐานเพื่อ ทำความรู้จักกับ Stream

ร่วมกับการศึกษาของเครื่องรวมทั้งการประมวลผลการสตรีมแบบไม่มีเซิร์ฟเวอร์ ดูท่าจะเป็นเลิศในประเด็นที่รุนแรงที่สุดในตอนนี้ บริษัทจำนวนมากกำลังนำอุปกรณ์ประเมินผลสตรีมล่าสุดมาใช้ ผู้ให้บริการกำลังเปิดตัวสินค้าประเมินผลสตรีมที่ดียิ่งขึ้นและก็มีคุณภาพเพิ่มขึ้น แล้วก็ความอยากได้สำหรับมือโปรก็มากขึ้น

เนื้อหานี้จะชี้แนะคุณเกี่ยวกับเบื้องต้นของการประมวลผลสตรีม ขั้นแรก ฉันจะชี้แจงว่าเพราะอะไรก็เลยควรจะมีการประมวลผลสตรีมแล้วก็แนวทางการทำงานด้านใน ตั้งแต่นี้ต่อไปจะชี้แจงแนวทางสร้างแอปพลิเคชันการประมวลผลสตรีมแบบกระจัดกระจายที่ง่ายรวมทั้งปรับขนาดได้ คุณสามารถทำเป็นทั้งปวงด้วยรหัสน้อยกว่า 40 บรรทัด คาสิโนออนไลน์

การประมวลผลสตรีมเป็นหัวข้อขนาดใหญ่ ด้วยเหตุนั้นเนื้อหานี้จะย้ำที่ส่วนการจัดการข้อมูลเป็นหลัก แล้วก็การประมวลผลระดับสูงจะเอ๋ยถึงในบทความแยกต่างหาก เพื่อบทความมีประโยชน์เพิ่มมากขึ้น พวกเรากำลังเอ่ยถึง AWS Kinesis ซึ่งเป็นโซลูชันการประมวลผลสตรีมของ Amazon แม้กระนั้นพวกเรายังซึ่งก็คือเทคโนโลยีโอเพ่นซอร์สยอดฮิตอื่นๆเพื่อคุณได้มุมมองที่กว้างขึ้น

เพื่อทำความเข้าใจว่าเพราะอะไรการประมวลผลสตรีมก็เลยเกิดขึ้น slotxo ให้มองกรรมวิธีการประมวลผลข้อมูลก่อนหน้าที่ผ่านมา ในทางก่อนหน้าที่ผ่านมาที่เรียกว่าการประเมินผลแบบกางตช์ ข้อมูลทั้งผองถูกเก็บเอาไว้ในฐานข้อมูลหรือระบบไฟล์แบบกระจัดกระจาย แล้วก็แอปพลิเคชันต่างๆจะใช้ข้อมูลนี้สำหรับการคำนวณ เพราะว่าเครื่องไม้เครื่องมือการประมวลผลแบบกางตช์ถูกผลิตขึ้นเพื่อประเมินผลชุดข้อมูลที่มีขนาดจำกัด แอปพลิเคชันสามารถประมวลผลข้อมูลเป็นช่วงๆสำหรับขณะปัจจุบัน ตัวอย่างเช่น หนึ่งชั่วโมงหรือหนึ่งวัน เพื่อประมวลผลข้อมูลใหม่โดยตลอด เพื่อประเมินผล

เหตุไรก็เลยควรจะมีการประมวลผลสตรีม

เพื่อทำความเข้าใจว่าเพราะเหตุไรการประมวลผลสตรีมก็เลยเกิดขึ้น ให้มองกรรมวิธีการประมวลผลข้อมูลก่อนหน้านี้ที่ผ่านมา ในทางที่ผ่านมาที่เรียกว่าการประเมินผลแบบกางตช์ ข้อมูลทั้งผองถูกเก็บเอาไว้ในฐานข้อมูลหรือระบบไฟล์แบบกระจัดกระจาย รวมทั้งแอปพลิเคชันต่างๆจะใช้ข้อมูลนี้สำหรับการคำนวณ บาคาร่า เพราะเหตุว่าอุปกรณ์การประมวลผลแบบกางตช์ถูกทำขึ้นเพื่อประเมินผลชุดข้อมูลที่มีขนาดจำกัด แอปพลิเคชันสามารถประมวลผลข้อมูลเป็นช่วงๆสำหรับขณะปัจจุบัน อย่างเช่น หนึ่งชั่วโมงหรือหนึ่งวัน เพื่อประมวลผลข้อมูลใหม่โดยตลอด เพื่อประเมินผล

Big dataได้สร้างคุณประโยชน์ของข้อมูลเชิงลึกที่ได้รับจากการประมวลผลข้อมูล ข้อมูลเชิงลึกดังกล่าวมาแล้วข้างต้นมิได้ถูกผลิตขึ้นในลักษณะเดียวกันทั้งปวง คาสิโนออนไลน์ ข้อมูลเชิงลึกบางสิ่งมีค่ามากยิ่งกว่าโดยทันทีภายหลังที่เกิดขึ้น และก็ราคาจะต่ำลงอย่างเร็วเมื่อเวลาผ่านไป การสตรีมช่วยทำให้กำเนิดเหตุการณ์ดังที่ได้กล่าวมาแล้วและก็ชอบให้ข้อมูลเชิงลึกเร็วขึ้น ข้างในไม่ลลิวินาทีถึงวินาทีของทริกเกอร์

ข้างล่างนี้เป็นเหตุผลรองบางประการสำหรับเพื่อการใช้การประเมินผลสตรีม

เหตุผลที่ 1: ข้อมูลบางสิ่งบางอย่างเกิดขึ้นตามธรรมชาติเป็นกระแสของเหตุที่ไม่สิ้นสุด สำหรับการประเมินผลแบบกรุ๊ป คุณจะต้องบันทึกข้อมูล หยุดสะสมข้อมูลในบางจุด แล้วก็ประมวลผลข้อมูล แล้วต่อจากนั้นคุณจะต้องรันชุดงานต่อไป แล้วกลุ้มใจเกี่ยวกับการรวมที่ครอบคลุมหลายชุด ตรงกันข้าม การสตรีมจะจัดแจงสตรีมข้อมูลที่ไม่สิ้นสุดได้อย่างงดงามแล้วก็เป็นธรรมชาติ คุณสามารถตรวจหาแบบ วิเคราะห์ผล มองระดับการจุดโฟกัสหลายระดับ และก็มองข้อมูลที่ได้มาจากสตรีมหลายรายการพร้อมได้โดยง่าย

การสตรีมจะปรับตามข้อมูลอันดับเวลาและก็ตรวจหาแบบเมื่อเวลาผ่านไป อาทิเช่น แม้คุณกำลังเพียรพยายามค้นหาความยาวของเซสชันเว็บไซต์ในสตรีมที่ไม่สิ้นสุด (นี่เป็นแบบอย่างของการพยายามค้นหาลำดับ) UFABET บางเซสชันแบ่งได้เป็นสองชุด ซึ่งทำให้เรียกใช้เป็นกรุ๊ปได้ยาก การประมวลผลสตรีมสามารถจัดแจงสิ่งนี้ได้อย่างง่ายๆ

แม้คุณถอยหนึ่งก้าว ชุดข้อมูลที่ตลอดที่สุดเป็นข้อมูลอันดับเวลา ดังเช่น เซ็นเซอร์การจราจร เซ็นเซอร์สุขภาพ บันทึกธุรกรรม แล้วก็บันทึกกิจกรรม ข้อมูล IoT เกือบจะทั้งหมดเป็นข้อมูลอันดับเวลา ด้วยเหตุดังกล่าวก็เลยสมควรที่จะใช้โมเดลการเขียนโปรแกรมที่เหมาะสมกับธรรมชาติ

เหตุผลที่ 2: สำหรับเพื่อการประเมินผลแบบกรุ๊ป ข้อมูลจะถูกสะสมและก็ประเมินผลพร้อม แต่ว่าสำหรับเพื่อการประเมินผลแบบสตรีม ข้อมูลจะถูกประเมินผลเมื่อใดก็ตามนำข้อมูลใส่ โดยเหตุนั้นการประมวลผลก็เลยถูกกระจัดกระจายไปตามขณะ ด้วยเหตุนั้น การประมวลผลแบบสตรีมสามารถปฏิบัติงานบนอุปกรณ์น้อยกว่าการประมวลผลแบบกางตช์ ยิ่งไปกว่านี้ การประมวลผลแบบสตรีมยังช่วยทำให้ประเมินผลการค้นหาข้อมูลคร่าวๆโดยมีข้อจำกัดการโหลดอย่างมีระบบ สล็อต โดยเหตุนี้ การประมวลผลสตรีมก็เลยเหมาะสมกับกรณีการใช้แรงงานที่คำตอบอย่างคร่าวๆก็พอเพียงแล้ว

เหตุผลที่ 3: ข้อมูลอาจมีขนาดใหญ่และไม่สามารถบันทึกได้ การสตรีมช่วยทำให้คุณสามารถประมวลผลข้อมูลแบบม้าไฟขนาดใหญ่แล้วก็เก็บเฉพาะบิตที่มีสาระเพียงแค่นั้น

เหตุผลที่ 4: ในที่สุด มีข้อมูลการสตรีมจำนวนไม่น้อย (ธุรกรรมของลูกค้า กิจกรรม การเยี่ยมเยือนดูเว็บ อื่นๆอีกมากมาย) ที่เติบโตเร็วขึ้นในกรณีการใช้แรงงาน IoT (เซ็นเซอร์ทุกหมวดหมู่) การสตรีมเป็นต้นแบบที่เป็นธรรมชาติมากเพิ่มขึ้นสำหรับเพื่อการคิดและก็การเขียนโปรแกรมกรณีการใช้แรงงานกลุ่มนี้

แต่ การประมวลผลสตรีมก็ไม่ใช่อุปกรณ์สำหรับกรณีการใช้แรงงานทั้งสิ้นเหมือนกัน กฎกล้วยๆอย่างหนึ่งเป็นการสตรีมนั้นไม่สบายถ้าหากกรรมวิธีการปรารถนาข้อมูลที่บริบูรณ์หลายคราหรือถ้ามีการเข้าถึงแบบสุ่ม (มีความคิดว่าเป็นชุดข้อมูลแผนภูมิ) กรณีการใช้แรงงานที่สำคัญอย่างหนึ่งที่ขาดสำหรับในการสตรีมเป็นอัลกอริธึมการศึกษาของเครื่องสำหรับโมเดลการฝึกอบรม ในทางตรงกันข้าม ถ้าเกิดขั้นตอนสามารถทำได้ด้วยทางข้อมูลเดียว หรือถ้าเป็นแนวทางการด้านในชั่วครั้งคราว (ขั้นตอนมีลักษณะท่าทางที่จะเข้าถึงข้อมูลที่ล้ำยุค) ก็เหมาะกับการสตรีม

จะกระทำการประเมินผลสตรีมได้ยังไง

แม้คุณอยากได้สร้างแอปที่ประมวลผลข้อมูลการสตรีมและก็กระทำการตกลงใจแบบเรียลไทม์ คุณสามารถใช้วัสดุหรือสร้างของคุณเองได้ คำตอบขึ้นกับความสลับซับซ้อนที่คุณคิดแผนจะประเมินผล ระดับของการปรับขนาด ความน่าวางใจแล้วก็ความคงทนต่อจุดบกพร่องที่คุณอยาก แล้วก็อื่นๆ JOKER GAMING

ถ้าเกิดคุณอยากได้สร้างแอปด้วยตนเอง ให้วางกิจกรรมในประเด็นตัวรับส่งข้อความ (ActiveMQ, RabbitMQ, Kafka ฯลฯ) เขียนรหัสเพื่อรับกิจกรรมจากหัวข้อคนกลาง (สตรีมแปลงเป็นสตรีม) แล้วก็จัดแจงผลสรุป . ฉันจะเผยแพร่ไปยัง รหัสดังที่กล่าวถึงแล้วเรียกว่านักแสดง

แม้กระนั้น แทนที่จะเข้ารหัสเหตุการณ์ข้างต้นตั้งแต่ต้น คุณสามารถทุ่นเวลาได้โดยใช้เฟรมเวิร์กการประมวลผลสตรีม ตัวประเมินผลสตรีมเรื่องช่วยทำให้คุณเขียนตรรกะสำหรับดาราแต่ละคน เชื่อมต่อผู้แสดง และก็เชื่อมต่อขอบกับแหล่งข้อมูล เรื่องราวสามารถส่งโดยตรงไปยังตัวประเมินผลสตรีมหรือผ่านคนกลาง

ตัวประเมินผลสตรีมเรื่องราวปฏิบัติงานที่ยากโดยการรวบรวมข้อมูล ส่งข้อมูลไปยังดาราแต่ละคน ตรวจดูการทำงานเป็นลำดับที่ถูก สะสมผลสรุป ปรับขนาดภายใต้ภาระหน้าที่ที่เอาจริงเอาจัง และก็การจัดการกับความผิดพลาด แบบอย่าง อาทิเช่น Storm, Flink แล้วก็ Samza แม้คุณอยากสร้างแอปด้วยวิธีการแบบนี้ ให้ตรวจตราคู่มือผู้ใช้แต่ละฉบับ

ตั้งแต่ปี 2016 แนวความคิดใหม่ที่เรียกว่า Streaming SQL ได้เกิดขึ้น (มองบทความ Streaming SQL 101 สำหรับรายละเอียดอื่นๆ) ภาษาที่ผู้ใช้สามารถเขียน SQL ยกตัวอย่างเช่น เคียวรีที่ค้นข้อมูลการสตรีม เรียกว่าภาษา “streaming SQL” ภาษา SQL สตรีมมิ่งจำนวนหลายชิ้นกำลังเติบโต JOKER

รองรับ SQL มานานกว่า 5 ปีในแผนการต่างๆดังเช่น WSO2 Stream Processor รวมทั้ง SQL Streams

Apache Storm เพิ่มการรอคอยงรับการสตรีม SQL ในปี 2559
Apache Flink ได้เพิ่มการรอคอยงรับการสตรีม SQL ตั้งแต่ปี 2016
Apache Kafka เพิ่มการรอคอยงรับ SQL (ซึ่งพวกเขาเรียกว่า KSQL) ในปี 2560
Apache Samza เพิ่มการรอคอยงรับ SQL ในปี 2560

ภาษา Streaming SQL ช่วยทำให้นักปรับปรุงสามารถรวมการค้นข้อมูลแบบสตรีมลงในแอพของพวกเขาได้อย่างเร็ว ด้านในปี 2018 สตรีมโปรเซสเซอร์จำนวนมากจะรองรับการประมวลผลข้อมูลผ่านภาษา SQL ในการสตรีม
ทำความเข้าใจว่า SQL จับคู่กับสตรีมอปิ้งไร สตรีมกำลังย้ายข้อมูลตาราง ตรึกตรองตารางที่ไม่จบไม่สิ้นซึ่งมีข้อมูลใหม่ปรากฏขึ้นเมื่อเวลาผ่านไป สตรีมเป็นตารางดังกล่าวข้างต้น หนึ่งทะเบียนหรือแถวในสตรีมเรียกว่าเหตุ แต่ มีสคีมารวมทั้งปฏิบัติงานเสมือนแถวฐานข้อมูล การพูดคุยกันของ Tyler Akidau ที่ Strata เป็นแหล่งข้อมูลที่ดีสำหรับเพื่อการทำความเข้าใจแนวความคิดกลุ่มนี้

อย่างแรกที่คุณจะต้องรู้เรื่องเกี่ยวกับ SQL สตรีมเป็น แทนที่ตารางด้วยสตรีม เมื่อคุณสร้างแบบสำรวจ SQL คุณจะค้นหาข้อมูลที่จัดเก็บไว้ภายในฐานข้อมูล อย่างไรก็แล้วแต่ เมื่อคุณสร้างการค้นหาข้อมูล SQL แบบสตรีม คุณไม่เฉพาะแต่เขียนลงในข้อมูลในอนาคตเพียงแค่นั้น แต่ว่ายังรวมทั้งข้อมูลเดี๋ยวนี้ด้วย เพราะฉะนั้น การสตรีมแบบสำรวจ SQL ไม่สิ้นสุด โน่นคือปัญหาหรือเปล่า? ไม่ คำตอบของการค้นหาพวกนี้เป็นสตรีม โดยเหตุนี้มันก็เลยใช้งานได้ เมื่อเหตุตรงกันรวมทั้งสถานะการณ์เอาต์พุตพร้อมใช้งานโดยทันที เหตุจะถูกวางในสตรีมเอาต์พุต คาสิโน

สตรีมแสดงถึงสถานะการณ์ทั้งปวงซึ่งสามารถผ่านช่องสัญญาณแบบลอจิคัลและไม่หมด ได้แก่ ถ้าหม้อละอองน้ำของคุณมีเซ็นเซอร์อุณหภูมิ คุณสามารถแสดงเอาต์พุตจากเซ็นเซอร์เป็นสตรีมได้ แม้กระนั้น SQL แบบเริ่มแรกจะจับ ประเมินผล และก็เขียนข้อมูลที่จัดเก็บเอาไว้ภายในตารางฐานข้อมูล แต่ว่าการค้นหาข้อมูลข้างต้นจะสะสมสตรีมข้อมูลเมื่อมีการเพิ่มเติมและก็สร้างสตรีมข้อมูลเป็นเอาต์พุต อาทิเช่น สมมุติว่ามีเรื่องราวในกระแสหม้อละอองน้ำทุกๆ10 นาที แบบสำรวจตัวกรองจะสร้างเหตุในสตรีมผลสรุปเมื่อเรื่องตรงกับตัวกรอง บาคาร่า

ด้วยเหตุดังกล่าว คุณสามารถสร้างแอปของคุณได้ดังต่อไปนี้: ส่งเรื่องราวโดยตรงหรือผ่านคนกลางไปยังตัวประเมินผลสตรีม แล้วต่อจากนั้น คุณสามารถใช้ “Streaming SQL” เพื่อเขียนส่วนการสตรีมของแอปได้ ในที่สุด ระบุค่าจ้างประเมินผลสตรีมให้ปฏิบัติงานตามคำตอบ ซึ่งทำเป็นโดยการเรียกใช้บริการเมื่อตัวประเมินผลสตรีมทริกเกอร์ หรือโดยการเปิดเผยแพร่เรื่องราวไปยังหัวข้อคนกลางเพื่อฟังหัวข้อ มีเฟรมเวิร์กการประมวลผลสตรีมล้นหลาม สล็อต

ฉันชี้แนะ WSO2 Stream Processor (WSO2 SP) ที่ฉันช่วยสร้าง คุณสามารถนำเข้าข้อมูลที่ได้รับมาจาก Kafka, คำร้องขอ HTTP, โบรกเกอร์เนื้อความ รวมทั้งค้นหาสตรีมข้อมูลโดยใช้ภาษา “Streaming SQL” WSO2 SP เป็นโอเพ่นซอร์ที่ประชุมยใต้ลิขสิทธิ์ Apache มีเซิร์ฟเวอร์ผลิตภัณฑ์เครื่องอุปโภคบริโภคเพียงแต่สองเครื่องแค่นั้นซึ่งสามารถให้ความพร้อมเพรียงใช้งานสูงและก็จัดแจงจำนวนงาน 100K + TPS มันสามารถปรับขนาดเป็น TPS นับล้านบน Kafka รวมทั้งรองรับการประยุกต์ศูนย์ข้อมูลหลายตัว

อ่านเรื่องถัดไป >> ทำความเข้าใจก่อนใช้ Photoshop

Last Update : 9 มิถุนายน 2021 (ข้อมูลล่าสุดปี 2021)