MongoDB + Hadoop กับการประมวลผลข้อมูลที่มีความซับซ้อนของข้อมูลสูง และขนาดใหญ่

Channel:
pongmadee
Subscribers:
332
Published on ● Video Link: https://www.youtube.com/watch?v=p2cB1Xsv1lk


Duration: 7:25
1,252 views
9

ในงานประมวลผลแบบแยกส่วน (Batch Aggregation) สามารถใช้งานฟังก์ชั่นของ MongoDB ทำการหาคำตอบหรือการวิจัยข้อมูลได้ดี แต่ในบางงานทีข้อมูลมีความซับซ้อนมาก เราสามารถใช้ Hadoop ซึ้งมันถูกออกแบบมาใช้ประมวลผลงานแบบ Batch และมีความซับซ้อนของข้อมูลสูงช่วยในการประมวลผล
โดยข้อมูลดิบจะถูกเก็บไว้ที่ MongoDB cluster จากนั้นจะถูกส่งไปประมวลผลที่ Hadoop cluster และผลลัพธ์จะกลับมาเก็บไว้ที่ MongoDB

ตัวอย่าง Enron E-mails ฐานข้อมูลขนาดใหญ่ เก็บข้อมูลการส่งอีเมล์ประมาณ 500,000 อีเมล์
https://github.com/mongodb/mongo-hadoop/

System
vm:MongoDB
MasterServer x1 : 2cpu 4 core 4GB Ram 20GB-HD
ConfigServer x3 : 1cpu 2 core 1GB Ram 20GB-HD
SharedServer x2 : 1cpu 2 core 2GB Ram 20GB-HD

vm:Hadoop
x2 node server



Other Videos By pongmadee


2015-08-20Part4 : เริ่มเป็นรูปเป็นร่าง IoT Server(Arduino -- Node.js + Bootstrap + MongoDB + Websocket )
2015-08-01Part3 : Arduino รับ/ส่งข้้อมูลเซนเซอร์พร้อมๆกัน 5 ตัว ผ่านระบบ cloud
2015-06-11Part2 : Arduino ส่งข้อมูลไปยังระบบ Cloud(AWS)ใช้ Node.js
2015-05-29[แนะนำเกม] Pixel Piracy ผจญภัยไปในมหาสมุทร
2015-03-04Dynasty Warrior 8 Empire - First Battle (ตายไปหลายรอบ555)
2015-02-21Nobu14PK การตั้งรัฐบาลเฉพาะการ หรือ รัฐบาลผสม (Coalition)
2015-02-21Nobu14PK ทำลายทัพหลักเพียงทัพเดียวก็ชนะศึกแล้ว(Important target is their main troop)
2015-01-04Nobu14PK สงครามลับ & การใช้หนอนบ่อนใส้(Secret War)
2015-01-01Nobu14PK preAlpha1.01(Test ทดลองเล่นจริง)
2014-12-05[HOI3][TFH] Common & Secret Weapons of WWII (DLC+MOD) [pre-Alpha1.0]
2014-12-01MongoDB + Hadoop กับการประมวลผลข้อมูลที่มีความซับซ้อนของข้อมูลสูง และขนาดใหญ่
2014-11-24[ วันที่ 2 ] : ปิดฉากสงครามเดือด Gettysburg (END)
2014-11-16Python(multi-thread) vs Node.js [ Mongodb~Cluster~ ]
2014-10-31Hadoop(Cluster) เครื่องมือจัดการข้อมูลขนาดใหญ่ที่มาจากเซนเซอร์ต่างๆจาก Pi / Arduino
2014-10-21Nobu14PK ยุทธการเซะกิงะฮะระ (วีดีโอโปรโมท) [ซับไทย]
2014-09-29Part1 : Arduino + Node.js + websocket(HTML5) แรงกว่า,ประหยัดข้อมูล,แถมไม่ต้องรีเฟรชหน้า
2014-08-24สามก๊ก12PK ตอน เทคนิคการโจมตีหลายเมืองพร้อมกัน
2014-08-17[ วันที่ 1 ] : เปิดฉากสงครามเดือด Gettysburg
2014-07-21[HOI3][TFH] แนะนำม็อด Black ICE
2014-07-13Nobu14EngThai[End1]Ban Battles Policy & AI Auto
2014-06-14Ultimate General:Gettysburg ~เล่นครั้งแรก ง่ายดี สนุกมากๆ~


Tags:
Apache Hadoop (Software)
MongoDB (Software)