Duration: 6:21

2,844 views

7

ผมทดกับเครื่องคอมพิวเตอร์ 2 เครื่องต่อคลัสเตอร์(Cluster/SuperComputer) แล้วใช้ Apache Hadoop ช่วยจัดการงาน

Apache Hadoop คือเครื่องมือวิเคราะห์ข้อมูลขนาดใหญ่(มากๆ) สำหรับการสร้างระบบ Distributed Computing ที่มีความเสถียรสูง และสามารถเพิ่มขยายได้อย่างมหาศาล

ตัวอย่าง ภายในไฟล์ข้อมูลหนึ่งไฟล์จะประกอบไปด้วยข้อมูลสภาพอากาศรายชั่วโมงตั้งแต่วันที่ 1 ถึง วันสิ้นเดือน ในที่นี้เรามีไฟล์ข้อมูล 2 เดือนแรกของปี2012
ให้เราออกรายงานสรุปค่าเฉลี่ยรายวันของอุณหภูมิทั้งสองเดือน(ขนาดไฟล์รวมกันประมาณ 1 Gb) คล้ายกับงานของผมเลย :)

ผมจะทดกับเครื่องคอมพิวเตอร์2เครื่องต่อคลัสเตอร์ โดย
node1 เป็น master/namenode,จ่ายงาน,ควบคุม,data-node
node2 เป็น data-node,secondNode

code : http://stackoverflow.com/questions/26328161/error-when-run-avgtemperature

ref:
http://hadoop.apache.org/