Differences between Operational Database and Data Warehouse Data Warehouse Architecture Multidimensional Data Model
OLAP 2
1
1/17/2014
บทนำ (Introduction) Company name
วัตถุประสงค์
อธิบายความหมาย ความสั มพันธ์ ระหว่ างฐานข้ อมูล คลังข้ อมูล แนวคิด ทีม่ าของคลังข้ อมูล อธิบายความสาคัญและประโยชน์ ของคลังข้ อมูล
3
บทนำ (Introduction) Company name
ข้ อมูลและสารสนเทศ (Data Versus Information) ข้ อมูล (Data) • ข้ อมูลแบบมีโครงสร้ าง (Structured Data) • ข้ อมูลแบบไม่ มโี ครงสร้ าง (Unstructured Data) ตัวอย่ างเช่ น อู่ซ่อมรถสามารถนาข้ อมูลทั้งแบบมีโครงสร้ าง (ข้ อมูลลูกค้ า, ข้ อมูล รถ) นามาใช้ ร่วมกับข้ อมูลไม่ มโี ครงสร้ างเช่ นข้ อมูลภาพถ่ ายดิจติ อล ภาพสแกน ของรถที่เกิดอุบัตเิ หตุนาส่ งพร้ อมแบบฟอร์ มข้ อมูลเพือ่ ส่ งเคลมกับบริษทั ประกันภัย 4
2
1/17/2014
บทนำ (Introduction) Company name
ข้ อมูล (Data) - ข้ อ เท็ จจริ ง วั ตถุ หรื อ เหตุ ก ารณ์ ที่ เ กิ ด ขึ้น คื อ เป็ นข้ อ มู ล ที่ ไ ม่ ได้ ผ่ า นการ ประมวลผล สารสนเทศ (Information) - ข้ อ มู ล ที่ ผ่ า นการประมวลผลและสามารถน าไปใช้ ใ ห้ เ กิ ด ประโยชน์ ต าม วัตถุประสงค์ ได้
5
บทนำ (Introduction) Company name
ระบบการจัดการข้ อมูล (Data Management System) บันทึกข้ อมูลลงในสมุด ไม่ มรี ู ปแบบการจดบันทึกที่แน่ นอน บันทึกในเอกสารจัดเก็บในแฟ้ มเอกสารอย่ างเป็ นหมวดหมู่ มีการทาสารบัญ การทาดัชนี บันทึกลงคอมพิวเตอร์ จักเก็บลงในฮาร์ ดดิสก์
6
3
1/17/2014
รู ปแบบกำรจัดกำรข้อมูลในองค์กร Company name
แฟ้มข้ อมูล files
กระดาษ paper
ฐานข้ อมูล database
การจัดการข้ อมูล Data Management
คลังข้ อมูล
มาร์ ทข้ อมูล
Data Warehouse
Data mart 7
บทนำ (Introduction) Company name
กระดาษ (Paper) ข้อมูลที่อยูใ่ นรู ปกระดำษ ทำให้ไม่สำมำรถประมวลผลด้วยโปรแกรม คอมพิวเตอร์ได้ อีกทั้งยังยุง่ ยำกและเสี ยเนื้อที่มำกในกำรจัดเก็บ แฟ้ มข้ อมูล (Files) ข้อมูลที่เก็บในรู ปแบบนี้เรำสำมำรถประมวลผลข้อมูลด้วยโปรแกรมคอมพิวเตอร์ ได้ กำรจัดเก็บข้อมูลทำได้ง่ำยขึ้นและช่วยประหยัดพื้นที่ในกำรจัดเก็บแต่ยงั มี ปัญหำถ้ำมีขอ้ มูลจำนวนมำกไม่มีกำรจัดเก็บข้อมูลอย่ำงเป็ นระบบ ฐานข้ อมูล(Database) มี กำรจัดเก็ บข้อมู ลอย่ ำงเป็ นระบบไว้ในฐำนข้อมู ลเดี ย วกันมี กำรจัด กำร พจนำนุกรมข้อมูล(Data Dictionary หรื อ Metadata)ทำให้ง่ำยต่อกำรปรับปรุ ง ข้อมูล กำรประมวลผล กำรเรี ยกใช้ขอ้ มูล รวมทั้งยังมีกำรรักษำควำมปลอดภัยของ ข้อมูล แต่ฐำนข้อมูลยังไม่เหมำะสำหรับผูบ้ ริ หำรในกำรเรี ยกใช้(Retrieve)และ กำรวิเครำะห์ขอ้ มูล (Analyze) 8
4
1/17/2014
ควำมเป็ นมำเกี่ยวกับคลังข้อมูล Company name
สารสนเทศ (information) ถือว่ำปัจจัยสำคัญที่เป็ นตัวชี้วดั ควำมสำเร็ จของ องค์กรต่ำงๆเดิมทีผบู ้ ริ หำรก็อำศัยระบบฐำนข้อมูลเชิงปฏิบตั ิกำร (operational database) ระบบฐานข้ อมูลเชิงปฏิบัตกิ าร (operational database) มีวตั ถุประสงค์ หลักในการ เก็บข้ อมูลดังนี้ • กำรลดควำมซ้ ำซ้อน (redundancy) • กำรรักษำควำมถูกต้อง (integrity) • กำรลดกำรสูญหำยของข้อมูล (information lost) • กำรลดควำมผิดพลำดที่เกิดจำกกำรแก้ไขข้อมูล (update anomalies) 9
ควำมเป็ นมำเกี่ยวกับคลังข้อมูล Company name
ข้ อจากัดของ operational database คือไม่ตอบสนองต่อผูบ้ ริ หำรที่จะนำมำเป็ น เครื่ องมือหรื อระบบที่ช่วยสนับสนุนกำรตัดสิ นใจ(decision support system) ในกำรดำเนินกำรแต่ละครั้งนั้นต้องมีกำรเรี ยกใช้ขอ้ มูลจำนวนมำกจำกฐำนข้อมูล ขนำดใหญ่ท้ งั ที่เป็ นข้อมูลในอดีตและปัจจุบนั ซึ่ ง operational database ไม่ ตอบสนองควำมต้องกำรในลักษณะนี้เพรำะต้องเสี ยเวลำในกำรรวมข้อมูลอีกอำจ ก่อให้เกิดปัญหำในกำรดำเนินกำรประจำวันต่ำงๆ
10
5
1/17/2014
ควำมเป็ นมำเกี่ยวกับคลังข้อมูล Company name
แนวโน้ มในการพัฒนาเทคโนโลยีเป็ นไปอย่ างต่ อเนื่อง องค์ กรต่ างๆมีการจัดเก็บ ฐานข้ อมูลไว้ เพือ่ ใช้ งาน ซึ่ งการนาเสนอข้ อมูลต่ างๆจากฐานข้ อมูลไม่ ได้ มเี พียง แค่ รายงานประจาวัน รายงานสรุ ปผล แต่ ยงั รวมถึงการพัฒนาระบบฐานข้ อมูลที่ มีการรวบรวมข้ อมูลขนาดใหญ่ มาก ทั้งข้ อมูลภายในและข้ อมูลภายนอกองค์ กร เพือ่ นามาใช้ ในการประกอบการตัดสิ นใจ ดังนั้นจึงเกิดแนวคิดที่จะพัฒนาระบบฐานข้ อมูลที่จดั เก็บข้ อมูลในรู ปแบบของ คลังที่สามารถรองรับข้ อมูลที่เพิม่ ขึน้ เรื่อยๆ และที่สาคัญคือสามารถนาข้ อมูลมา ใช้ เพือ่ ประกอบการตัดสิ นใจของผู้บริหาร
11
ควำมเป็ นมำเกี่ยวกับคลังข้อมูล Company name
ตัวอย่ างเช่ น บริ ษทั แห่งหนึ่งซึ่ งมีใบกำกับสิ นค้ำหรื อ อินวอยส์ ที่จดั เก็บรำยละเอียด สำคัญเช่น ข้อมูลลูกค้ำ รำยกำรสิ นค้ำ วันที่ซ้ื อ และจำนวนเงิน แต่เมื่อมีกำรรวบรวม ข้อมูลเหล่ำนี้เพื่อใช้ในกำรวิเครำะห์ผลิตภัณฑ์เพื่อเพิ่มยอดขำย และพัฒนำผลิตภัณฑ์ ใหม่ กลับพบว่ำข้อมูลมีปริ มำณขนำดใหญ่มำก ดังนั้นจึงจำเป็ นต้องมีเครื่ องมือหรื อ ซอฟต์แวร์เพื่อใช้ในกำรจัดเก็บข้อมูลขำนดใหญ่ ดังนั้น data warehouse จึงจำเป็ นและมีควำมสำคัญสำมำรถ จัดเก็บข้อมูลจำกหลำย แหล่งให้มีประสิ ทธิ ภำพสูง และจัดเก็บข้อมูลแยกออกจำก operational database สำมำรถสื บค้นข้อมูล (query) เพื่อใช้ในกำรวิเครำะห์ทำงธุรกิจได้อย่ำงทัน ต่อสถำณกำรณ์ สำมำรถสนับสนุนในกำรตัดสิ นใจของผูบ้ ริ หำร ในกำรนำ องค์กรมุ่งสู่เป้ ำหมำยที่ต้ งั ไว 12
6
1/17/2014
ควำมสำคัญและประโยชน์ของ Data Warehouse Company name
ลดความซ้าซ้ อนกันของข้ อมูล ในกระบวนกำรพัฒนำ data warehouse จะต้องมีกำร กรองข้อมูล กำร clean ข้อมูล กำรแปลงข้อมูล ทั้งข้อมูลภำยในและภำยนอก องค์ ก ร ให้ อ ยู่ใ นรู ป แบบมำตรฐำนเดี ย วกัน ก่ อ นที่ ข ้อ มู ล จะถู ก เก็ บ ใน data warehouse database ทำให้ลดกำรซ้ ำซ้อนกันของข้อมูล ช่วยให้กำร query ข้อมูล รวดเร็ วและมีควำมถูกต้องสูง เป็ นเครื่องมือช่ วยในการตัดสิ นใจของผู้บริหาร เนื่องจำก data warehouse จัดเก็บ ข้อมูลที่แตกต่ำงกันเป็ นจำนวนมำกตั้งแต่อดีตจนถึงปั จจุบนั ซึ่ งข้อมูลทั้งหมดนั้น จะถูกจัดกำรให้มีควำมสอดคล้องกัน ดังนั้นจึ งเป็ นตัวช่ วยให้ผูบ้ ริ หำรสำมำรถ วิ เ ครำะห์ ถึ ง ปั ญ หำและแนวทำงกำรแก้ไ ข ช่ ว ยเพิ่ ม ประสิ ท ธิ ภ ำพในกำร ดำเนินกำร เช่นแนวโน้มของตลำด ควำมต้องกำรของผูบ้ ริ โภค เป็ นต้น 13
ควำมสำคัญและประโยชน์ของ Data Warehouse Company name
เรี ยกใช้ ข้อมูลได้ อย่ างรวดเร็ วและมีประสิ ทธิภาพมากขึน้ เนื่ องจำกคลังข้อมูลช่ วย ลดปริ มำณในกำรจัดเก็บข้อมูล จึ งประโยชน์ในกำรช่ วยลดปั ญหำควำมล่ำช้ำนี้ ทำให้ระบบกำรประมวลผลมีประสิ ทธิ มำกขึ้น ช่วยทำให้สำมำรถเข้ำถึงข้อมูลได้ ง่ำยและรวดเร็ วขึ้น นอกจำกนั้นยัง สำมำรถในกำรประมวลผลสรุ ปข้อมูลขั้นสู ง ช่ ว ยให้ ผู ้บ ริ หำรสำมำรถค้น หำข้อ มู ล ได้ง่ ำ ย รวดเร็ ว และน ำมำใช้อ ย่ ำ งมี ประสิ ทธิ ภำพมำกขึ้น การนาเสนอข้ อมูลมีความหลากหลาย จำกเดิมข้อมูลจำก operational database สำมำรถนำเสนอข้อมูลในรู ปแบบตำรำง ถ้ำต้องกำรนำเสนอข้อมูลในรู ปแบบ กรำฟ จะต้องคัดลอกข้อมูลจำกฐำนข้อมูลไปลงในโปรแกรมอื่นๆ เช่น เอ็กเซลล์ เป็ นต้น เพื่อสร้ำงกรำฟ ซึ่ งถือเป็ นเรื่ องที่ ยุ่งยำก ดังนั้น data warehouse จึ งมี ประโยชน์ในกำรช่วยตอบสนองตำมควำมต้องกำรของผูบ้ ริ หำรเพรำะสำมำรถ กำรนำเสนอข้อมูลในรู ปแบบกรำฟแท่ง วงกลม ตำรำง ได้ทนั ที 14
7
1/17/2014
ข้อจำกัดของ Data Warehouse Company name
ขั้นตอนในการเตรียมและรวบรวมข้ อมูลใช้ เวลานาน เนื่ องจำกข้อมูลที่จะนำเข้ำเก็บ DW ต้องผ่ำนกระบวนกำรต่ ำงๆ ตั้งแต่ กำรกรอง (extract) แปลงข้อมูล (transform) และกำรนำเข้ำข้อมูล (load) รวมเรี ยกว่ำ กระบวนกำร ETL ซึ่ ง กระบวนกำรนี้ ตอ้ งอำศัยผูท้ ี่ มีควำมชำ นำญในกำรกรองข้อมูล แปลงข้อมูล ทำ ให้เสี ยเวลำนำนมำก ความต้ องการข้ อมูลของผู้ใช้ เพิ่มขึน้ เรื่ อยๆ เนื่ องจำกควำมต้องกำรของผูใ้ ช้ที่มี กำรเปลี่ยนแปลงตลอดเวลำ โดยเฉพำะอย่ำงยิ่งควำมต้องกำรข้อมูลยิ่งเพิ่มมำก เท่ำไหร่ ควำมซับซ้อนในกำรทำงำนก็มำกขึ้นเท่ำนั้น
15
ข้อจำกัดของ Data Warehouse Company name
การพัฒนา Data Warehouse ใช้ เวลานานและลงทุนสู ง Data Warehouse System มีความซั บซ้ อน DW เก็บรวบรวมข้อมูลของทั้ง องค์กรจำกหลำยๆระบบตั้งแต่ อดี ตจนถึ งปั จจุ บนั ซึ่ งทำให้ระบบคลังข้อมูลมี ควำมซับ ซ้อ นสู ง ต้อ งอำศัย ผูท้ ี่ มี ค วำมช ำนำญโดยเฉพำะมำบริ หำรจัด กำร คลังข้อมูล
16
8
1/17/2014
ความแตกต่ างระหว่ าง Data Warehouse กับ Operational database Company name
Data Warehouse (DW) คื อ ฐำนข้อมูลขนำดใหญ่สำหรับทั้งองค์กรซึ่ รวบรวม ข้อมูลจำกฐำนข้อมูลหลำยแหล่งหลำยช่ วงเวลำมำรวมที่ เดี ยวกัน โดยข้อมูลที่ รวบรวมมำนั้นอำจจะเป็ นข้อมูลที่ใช้อยูใ่ นปัจจุบนั กับข้อมูลในอดีตแลฐำนข้อมูล อื่นภำยนอกองค์กร หรื อเรี ยกว่ำ external database ข้อมูลที่จดั เก็บใน DW นั้นจะต้องผ่ำนกระบวนกำร ETL เพื่อทำให้เป็ นมำตรฐำน เดี ยวกันก่อน ทำให้สำมำรถใช้งำนข้อมูลร่ วมกันได้ท้ งั องค์กรไม่ว่ำจะเป็ นกำร สื บค้นข้อมูลในรู ปแบบต่ ำงๆ ช่ น ตำรำง กรำฟ รำยงำน เป็ นต้น เพื่ อวิเครำะห์ ข้อมูลสำหรับใช้ประโยชน์ต่อไป กำรดำเนิ นกำรกับข้อมูลใน DW จะมีเพียงกำร load และ เรี ยกดูขอ้ มูล query เท่ำนั้น 17
Company name
Differences between Operational Database and Data Warehouse
Differences between Operational Database and Data Warehouse วัตถุประสงค์ • อธิบายความแตกต่ างระหว่าง Operational Database และ Data Wharehouse • อธิบายคุณลักษณะสาคัญของ Data Warehouse
18
9
1/17/2014
ความแตกต่ างระหว่ าง Data Warehouse กับ Operational database Company name
นอกจำกนี้ ขอ้ มูลใน data warehouse ยังเป็ นข้อมูลพื้นฐำนสำหรับสำรสนเทศอื่นๆ ต่อไป เช่นระบบสนับสนุนกำรตัดสิ นใจ ( Decision Support System, DSS ) หรื อ ระบบบริ หำรควำมสัมพันธ์กบั ลูกค้ำ (Customer Relationship Management, CRM) รวมไปถึงเป็ นข้อมูลที่สนับสนุนระบบธุ รกิจอัฉริ ยะ ( Business Intelligence System, BIS) Operational Database คือ กำรรวบรวมข้อมูลที่มีควำมสัมพันธ์กนั โดยจัดเก็บข้อมูล เชิ งปฏิ บตั ิ กำรสำหรั บกำรดำเนิ นกำรรำยวันมี ขอ้ มูลมี กำรเปลี่ ยนแปลงตลอดเวลำ กล่ำวคือ มีกำรเพิ่มข้อมูล Insert กำรลบข้อมูล Delete กำรปรับเปลี่ยนข้อมูล Update ให้เป็ นปัจจุบนั อยูเ่ สมอ
19
ความแตกต่ างระหว่ าง Data Warehouse กับ Operational database Company name
Delete
Insert Update
Update
Load Access
Insert
Delete Data Warehouse
Operational Database
20
10
1/17/2014
Company name
ความแตกต่ างระหว่าง Data Warehouse กับ Operational database
คุณลักษณะเฉพาะของข้ อมูลใน DW ข้ อมูลตามหัวข้ อ (Subject-Oriented Data) ในองค์กรแต่ละแห่งมักพัฒนำระบบข้อมูลเพื่อให้สอดคล้องต่อกำรทำงำน ขององค์กรที่แตกต่ำงกันเช่น พัฒนำระบบข้อมูลสำหรับกำรขำยสิ นค้ำ สำหรับ วิเครำะห์ขอ้ มูลกำรขำยสิ นค้ำ พัฒนำระบบข้อมูลสิ นค้ำคงคลัง สำหรับวิเครำะห์ ข้อมูลในกำรสัง่ สิ นค้ำเข้ำ หรื อกำรจ่ำยสิ นค้ำออก ซึ่งกำรจัดระบบข้อมูลแบบนี้ เป็ นกำรจัดตำมกิจกรรมขององค์กร คลังข้อมูลจะต้องถูกสร้ำงจำกหัวข้อหลักทำงธุรกิจที่เน้นเนื้อหำที่สนใจ เช่น ลูกค้ำ (Customer) ผลิตภัณฑ์ (product) ยอดขำย (sales) ใบกำกับภำษีลูกค้ำ (customer invoicing) กำรควบคุมสต็อก (stock control) และ กำรขำยผลิตภัณฑ์ (product sales) สิ่ งเหล่ำนี้แสดงให้เห็นถึงควำมต้องกำรกำรจัดเก็บเพื่อใช้ในกำร สนับสนุนองค์กร 21
Company name
ความแตกต่ างระหว่าง Data Warehouse กับ Operational database
Example Operational Database (ApplicationOriented)
Data Warehouse (Subject-Oriented)
Loans
Customer
Savings
Vendor
Bank Card
Product
22
11
1/17/2014
Company name
ความแตกต่ างระหว่าง Data Warehouse กับ Operational database
คุณลักษณะของข้ อมูลในคลังข้ อมูล ข้ อมูลมีลกั ษณะสอดคล้ องกัน Integrated Data ข้อ มู ล ที่ เ ข้ำ มำสู่ ค ลัง ข้อ มู ล นั้น มี ที่ ม ำจำกหลำยๆ แหล่ ง เช่ น จำกระบบ สำรสนเทศต่ำงๆในองค์กร หรื อจำกแหล่งข้อมูลภำยนอก หรื อกำรจัดเก็บข้อมูล อยูใ่ นรู ปแบบแตกต่ำงกัน ดังนั้นจึงเป็ นไปได้ที่จะเกิดข้อมูลซ้ ำกัน กล่ำวคือข้อมูล ตัวเดียวกัน แต่มีที่มำต่ำงกันหรื อมำตรฐำนข้อมูลแตกต่ำงกัน หน้ำที่ของคลังข้อมูลคือ กำรกำจัดกำรซ้ ำซ้อนของข้อมูลคือกำรทำให้ขอ้ มูลมี สมบัติเป็ น Integrated Data เพื่อไม่ให้เกิดควำมสับสนในกำรวิเครำะห์ขอ้ มูล
23
Company name
ความแตกต่ างระหว่าง Data Warehouse กับ Operational database
ฐานข้ อมูลระดับปฏิบัติการ มีการออกแบบฐานข้ อมูลทีแ่ ตกต่ างกัน เช่ น การอ้ างอิงรู ปแบบวันที่ ทีแ่ ตกต่ างกันอาจจัดในรู ปแบบของ yymmdd , mmddyy หรือ mmddyyyy ดังนั้นระบบ integrated ต้ องมีการจัดเก็บให้ มี รู ปแบบเดียวกัน
24
12
1/17/2014
Company name
ความแตกต่ างระหว่าง Data Warehouse กับ Operational database
Integrated Data Savings Account Checking Account
Subject = Account
Loans Account Data From Applications
Data Warehouse Subjects 25
Company name
ความแตกต่ างระหว่าง Data Warehouse กับ Operational database
คุณลักษณะของข้ อมูลในคลังข้ อมูล ข้ อมูลสั มพันธ์ กบั เวลา (Time-Variant Data) ข้อมูลในฐำนข้อมูลปฏิบตั ิกำร (Operational Database) มุ่งเน้นควำมเป็ น ปัจจุบนั และต้องปรับปรุ งให้ทนั สมัยอยู่ตลอดเวลำอำจเก็บในช่วง 1 ปี แต่ขอ้ มูล ในคลังข้อมูลจะเป็ นข้อมูลที่ มีอดีตช่วงอำยุในระยะเวลำหนึ่ ง (Historical Data) อำจมีระยะเวลำตั้งแต่ 5-10 ปี ทั้งนี้ ข้ ึนกับควำมเหมำะสมเป็ นหลัก กำรนำข้อมูล ย้อนหลังที่ เก็บรวบรวมไว้ก็เพื่อนำมำทำกำรวิเครำะห์เปรี ยบเที ยบหำแนวโน้ม และใช้พยำกรณ์ทำงธุรกิจ
26
13
1/17/2014
Company name
ความแตกต่ างระหว่าง Data Warehouse กับ Operational database
คุณลักษณะของข้ อมูลในคลังข้ อมูล ข้ อมูลสั มพันธ์ กบั เวลา (Time-Variant Data) ตัวอย่ำงเช่น ข้อมูลผูป้ ่ วย ต้องเก็บประวัติกำรรักษำพยำบำลอย่ำงน้อย 10 ปี เพื่อใช้เปรี ยบเทียบ หำแนวโน้มและทำนำยสุ ขภำพอนำมัยในอนำคตได้ โดยจะ สัมพันธ์กบั กำรดำเนินกำรของธุรกิจนั้น เช่นโรงพยำบำลอำจจะพัฒนำระบบกำร เตือนผูป้ ่ วยในแต่ละช่วงเวลำที่อำจเกิดโรคต่ำงๆ เป็ นต้น ดังนั้นกำรตัดสิ นด้ำน กำรบริ หำรต่ำงๆ เช่น กำรจัดเตรี ยมยำรักษำโรคที่จำเป็ นให้เพียงพอกับทุก สถำนกำรณ์ ซึ่ งจำเป็ นต้องอำศัยข้อมูลเปรี ยบเทียบในแต่ละช่วงเวลำ เพื่อกำร วำงแผนและตัดสิ นใจอย่ำงถูกต้อง 27
Company name
ความแตกต่ างระหว่าง Data Warehouse กับ Operational database
คุณลักษณะของข้ อมูลในคลังข้ อมูล Non-Volatile Data ข้อมูลในคลังข้อมูลเป็ นข้อมูลที่ คงอยู่ตลอดไปไม่ว่ำข้อมูลจะเก่ำเพี ยงใด ข้อมูลจะไม่ถูกลบออก ทั้งนี้ เพื่อให้กำรวิเครำะห์ขอ้ มูลแบบ Time-Series Data Analysis ให้ผลลัพธ์ที่มีประสิ ทธิ ภำพ อย่ ำ งไรก็ ต ำม แม้ข ้อ มู ล จะไม่ ถู ก ลบจำกคลัง ข้อ มู ล แต่ เ รำสำมำรถ เปลี่ยนแปลงรู ปแบบกำรจัดเก็บได้ เพื่อให้ขอ้ มูลมีขนำดเล็กลง เรี ยกกระบวนกำร นี้วำ่ Data Packing
28
14
1/17/2014
คลังข้อมูล (Data Warehouse Definition) Company name
Non-Volatile Data OLTP
LOADS Data
Database
Read
Warehouse
Add / Change / Delete
Read
29
คลังข้อมูล (Data Warehouse Definition) Company name
วัตถุประสงค์ ลักษณะข้อมูล
โครงสร้ำงข้อมูล คุณภำพข้อมูล
Data Warehouse Operational Database สนับสนุนกำรตัดสิ นใจ ขึ้นอยูก่ บั ลักษณะงำน 1. ส่วนใหญ่เป็ นข้อมูลสรุ ปหรื อ 1. เป็ นข้อมูลที่ลง ผลรวมซึ่งจะเป็ นตัวเลข รำยละเอียดมีท้ งั ตัว เลขและตัวอักษร 2. เป็ นข้อมูลอดีตและปัจจุบนั 2. เป็ นข้อมูลปั จจุบนั 3. ข้อมูลเคลื่อนไหวเป็ นระยะๆ 3. ข้อมูลเคลื่อนไหว (Batch Processing) ตลอดเวลำ (Real Time Transaction) เปลี่ยนแปลงตำมควำมต้องกำร ไม่เปลี่ยนแปลง เน้นควำมสอดคล้องของข้อมูล เน้นควำมถูกต้องของข้อมูล 30
15
1/17/2014
คลังข้อมูล (Data Warehouse Definition) Company name
กำรเข้ำถึงข้อมูล และจำนวนผูใ้ ช้
กำรเก็บรวบรวม ข้อมูล
กำรประมวลผล
Data Warehouse 1. จำนวนข้อมูลขนำดใหญ่ 2. อ่ำนได้อย่ำงเดียว (read only data) 3. จำนวนผูใ้ ช้เป็ นหลักร้อย 1. เก็บข้อมูลสรุ ปรวมตำม เวลำหรื อตำมหมวดหมู่ 2. เก็บข้อมูลตำมหัวข้อ OLAP
Operational Database 1. จำนวนข้อมูลเล็กกว่ำ DW 2. อ่ำนและเขียนได้ 3. จำนวนผูใ้ ช้เป็ นหลัก 1000 1. เก็บข้อมูลรำยละเอียด 2. เก็บข้อมูลตำมลักษณะ งำน OLTP
31
คลังข้อมูล (Data Warehouse) Company name
ถ้ าองค์ กรมีคลังข้ อมูลหลาย ๆ อันเพือ่ ใช้ ในการวิเคราะห์ ต่าง ๆ แตกต่ างกันไป เช่ นคลังข้ อมูลด้ านการเงิน และ คลังข้ อมูลด้ านทรัพยากร มนุษย์ เรามักเรี ยกคลังข้ อมูลเฉพาะด้ านเหล่ านีว้ ่ า ตลาดข้ อมูล (Data Mart) สาเหตุทตี่ ้ องมีการสร้ าง Data Mart ได้ แก่ มีความเร็วใน query สู ง เพราะว่ ามีข้อมูลน้ อย มีการแย่ งข้ อมูลระหว่ างผู้ใช้ ระบบด้ วยกันน้ อย และสามารถปรับปรุ งข้ อมูลได้ อย่ างรวดเร็ว
32
16
1/17/2014
คลังข้อมูล (Data Warehouse) Company name
องค์ ประกอบหลักๆของคลังข้ อมูล Data Sources
Staging Areas
Data Warehouse Database
Data Marts
Data Usage
Data Warehouse
33
คลังข้อมูล (Data Warehouse ) Company name
องค์ ประกอบหลักๆของคลังข้ อมูล Data Sources ได้แก่ Operational database, spreadsheet หรื อ text file เป็ นต้น ทั้งนี้ยงั รวมถึงข้อมูลภำยนอกองค์กรที่เกี่ยวข้องกับกำรดำเนินธุรกิจ Staging Areas เนื่ องจำกข้อมูลอำจมีควำมหลำกหลำย ทั้งในแง่ของมำตรฐำน และรู ปแบบกำรจัดเก็บ และอำจมีควำมซ้ ำซ้อนกัน ดังนั้นข้อมูลจึ งจำเป็ นต้องถูก ปรั บ ให้ เ ข้ำ กับ มำตรฐำนของคลัง ข้อ มู ล ก่ อ นที่ โดยจะมี ก ระบวนกำร ETL (Extract Transform Load) ที่ทำหน้ำที่เป็ นพักข้อมูล รวมข้อมูล ขณะที่ถูกปรับ ให้เข้ำกับมำตรฐำนของคลังข้อมูล Data Warehouse Database เป็ นฐำนข้อมูลที่ทำหน้ำที่ในกำรจัดเก็บข้อมูล ทำงธุ รกิจขององค์กร Data Warehouse Database จัดเป็ นส่ วนที่มีควำมสำคัญ ที่สุดของคลังข้อมูล 34
17
1/17/2014
คลังข้อมูล (Data Warehouse Definition) Company name
องค์ ประกอบหลักๆของคลังข้ อมูล Data Mart เป็ นพื้นที่สำหรับจัดเก็บข้อมูลที่มีโครงสร้ำงที่เหมำะสมต่อกำรใช้ งำนเพื่อรองรับ single business process เช่น เฉพำะงำนในแผนกใดแผนกหนึ่ ง โดยข้อมูลใน Data Mart เป็ นส่วนย่อยของข้อมูลใน DW ทำให้ใช้เวลำน้อยในกำร พัฒนำ อีกทั้งกำรประมวลผลที่รวดเร็ วกว่ำ
35
บทนำ (Introduction) Company name
มาร์ ทข้ อมูล (Data Marts) มำร์ทข้อมูล คือ คลังข้อมูลย่อยๆของระดับแผนก ในองค์กรอำจจะมีคลังข้อมูล ขององค์กรและในแต่ละแผนกอำจจะมีมำร์ทข้อมูลของแผนกนั้นๆด้วย Data Mart Files
Data Warehouse Database Data Mart
Database Data Mart External Data Data Mart 36
18
1/17/2014
คลังข้อมูล (Data Warehouse Definition) Company name
ขอบเขต หัวข้อที่สนใจ แหล่งข้อมูล ระยะเวลำในกำร วำงระบบ
Data Warehouse Data Mart ทั้งองค์กร เฉพำะแผนกหรื อส่วนงำน มีควำมหลำกหลำยมำกกว่ำ มีควำมหลำกหลำยน้อยกว่ำ มำจำกหลำยแหล่งข้อมูลมำกกว่ำ แหล่งข้อมูลน้อยกว่ำ ใช้เวลำนำนขึ้นกับขนำดของ ใช้เวลำพัฒนำน้อยกว่ำเพรำะ องค์กร สนใจเฉพำะแผนก
37
คลังข้อมูล (Data Warehouse Definition) Company name
ข้ อควรระวังระหว่ าง DW และ Data Mart Data Mart ไม่ ใช่ Data Warehouse Data Mart ไม่ ใช่ Data Warehouse ขนาดเล็ก กลุ่มของ Data Mart ไม่ ใช่ Data Warehouse Data Warehouse ไม่ ใช่ Decision Support System
38
19
1/17/2014
คลังข้อมูล (Data Warehouse Definition) Company name
กระบวนการคลังข้ อมูล (Data Warehousing) Data Propagation Data Sources
Staging Areas
Data Warehouse Database
Data Marts
Data Usage
Metadata 39
คลังข้อมูล (Data Warehouse Definition) Company name
กระบวนการคลังข้ อมูล (Data Warehousing)
40
20
1/17/2014
Company name
ประเภทแบบจำลอง แบบจำลองข้อมูลลำดับชั้น (Hierarchical Data Model) แบบจำลองข้อมูลเครื อข่ำย (Network Data Model) แบบจาลองข้ อมูลเชิ งสั มพันธ์ (Relational Data Model) แบบจำลองข้อมูลเชิงวัตถุ (Object-Oriented Data Model) แบบจาลองข้ อมูลหลายมิติ (Multidimentional Data Model)
41
แบบจำลองข้อมูล (Data Model) Company name
แบบจาลองข้ อมูล (Data Model) • คือสิ่ งที่ทำให้ทรำบว่ำข้อมูลขององค์กรมีอะไรบ้ำง มีโครงสร้ำง อย่ำงไร สัมพันธ์กนั อย่ำงไร วัตถุประสงค์ (Objectives) • เพื่อแสดงโครงสร้ำงข้อมูล ก่อนที่จะสร้ำงโครงสร้ำงข้อมูลจริ งบน Data Warehouse Database • เพื่อใช้เป็ นเครื่ องมือในกำรสื่ อสำรทำควำมเข้ำใจกับบุคลำกรใน องค์กร • เพื่อใช้เป็ นเครื่ องมือในกำรสื่ อสำรทำควำมเข้ำใจภำยในทีมผูพ้ ฒั นำ องค์กร • เพื่อนำไปขยำยผลในกำรสร้ำงส่ วนอื่นๆของคลังข้อมูลต่อไป 42
21
1/17/2014
แบบจำลองข้อมูล (Data Model) Company name
แบบจาลองข้ อมูลทีน่ ิยมใช้ สาหรับ Data Warehouse ในปัจจุบันมี 2 แบบ 1. Relational Data Model 1) Classification Abstraction 2) Aggregation Abstraction 3) Association Abstraction 4) Generalization Abstraction หรือ Specialization Abstraction 2. Dimensional Data Model 1) Measure Dimension Facts and Fact Table 2) Star Schema 3) Snowflake Schema 43 4) OLAP and Cubes
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
การออกแบบ Relational Data Model มีจุดมุ่งหมายเพือ่ • แสดงความสั มพันธ์ ของข้ อมูลต่ างๆ ทีม่ ีอยู่ในองค์ กร • บางครั้ง เนื่องจากความซับซ้ อนของข้ อมูลมีมากดังนั้นจึงทาให้ การ ค้ นหาข้ อมูลเป็ นไปได้ ด้วยความยากลาบาก บางกรณีอาจต้ องเขียน โปรแกรมทีซ่ ับซ้ อนเพือ่ ดึงข้ อมูล • เพือ่ ความสะดวกจึงมีการคิดค้ น Data Model แบบใหม่ ทเี่ หมาะสาหรับ แสดงผลลัพธ์ ทีเ่ รียกว่า Multidimensional Data 44
22
1/17/2014
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Company name
Primary Key คือ Attribute สาหรับระบุความแตกต่ างระหว่ างข้ อมูลใน Entity เดียวกัน เช่ น ID
Son Son ID Son Name
45
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Company name
Foreign Key คือ Attribute สาหรับอ้างอิงความสั มพันธ์ ระหว่าง Entity โดย Foreign Key ทีอ่ ยู่ใน Entity ตัวหนึ่งจะเป็ น Primary Key ของ Entity ทีส่ ั มพันธ์ กนั Son
Mother
Son ID
Mother ID
Mother ID
Mother Name
Son Name
46
23
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
การออกแบบ Data Model เพือ่ เอือ้ ต่ อการเก็บ Historical Data เช่ น รายงานยอดขาย 20/12/2008 สิ นค้ำอุปโภค ของเล่น สิ นค้ำฟุ่ มเฟื อย เครื่ องใช้ไฟฟ้ ำ
10,000 บำท 3,000 บำท 1,200 บำท 4,500 บำท
47
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
วันที่ 30 เรียกดูรายงาน 20/12/2008 สิ นค้ำอุปโภค ของเล่น สิ นค้ำฟุ่ มเฟื อย เครื่ องใช้ไฟฟ้ ำ
10,000 บำท 3,000 บำท 1,200 บำท 3,500 บำท
48
24
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Sales
Sale_History
Branch ID Sale Date Goods Type Sales Account
Branch ID Sale Date Goods Type Sales Account Ineffective Date
49
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Table Sales Branch_ID A A A A
Sale_Date 20/12/2008 20/12/2008 20/12/2008 20/12/2008
Goods_Type สิ นค้ำอุปโภค ของเล่น สิ นค้ำฟุ่ มเฟื อย เครื่ องใช้ไฟฟ้ ำ
Sale_Amount 10,000 3,000 1,200 4,500
Table_Sale_History Branch_ID
Sale_Date
Goods_Type
Sale_Amount
Ineffective_Date
50
25
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Table Sales (30/12/2008) Branch_ID A A A A
Sale_Date 20/12/2008 20/12/2008 20/12/2008 20/12/2008
Goods_Type สิ นค้ำอุปโภค ของเล่น สิ นค้ำฟุ่ มเฟื อย เครื่ องใช้ไฟฟ้ ำ
Sale_Amount 10,000 3,000 1,200 3,500
Table_Sale_History Branch_ID A
Sale_Date 20/12/2008
Goods_Type เครื่ องใช้ไฟฟ้ ำ
Sale_Amount 4,500
Ineffective_Date 30/12/2008
51
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Table Sales (20/1/2009) Branch_ID A A A A
Sale_Date 20/12/2008 20/12/2008 20/12/2008 20/12/2008
Goods_Type สิ นค้ำอุปโภค ของเล่น สิ นค้ำฟุ่ มเฟื อย เครื่ องใช้ไฟฟ้ ำ
Sale_Amount 10,000 3,000 1,200 3,500
Table_Sale_History Branch_ID A A
Sale_Date 20/12/2008 20/12/2008
Goods_Type เครื่ องใช้ไฟฟ้ ำ เครื่ องใช้ไฟฟ้ ำ 52
Sale_Amount 4,500 3,500
Ineffective_Date 30/12/2008 20/12/2008
26
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
ฐานข้ อมูลหลายมิติ (Multidimensional Database) • ช่วยให้ขอ้ มูลที่รวบรวมไว้สำมำรถถูกเรี ยกใช้ได้หลำยมุมมอง • สำมำรถวิเครำะห์ขอ้ มูลเพื่อนำมำใช้ในกำรสนับสนุนกำรตัดสิ นใจได้รวดเร็ ว และได้ประสิ ทธิ ผลที่ดีข้ ึน • ข้อมูลจะถูกเก็บเป็ นรู ปแบบของ Array หลำยมิติ หรื อเรี ยกว่ำ Data Cube • ผูใ้ ช้เข้ำไปเขียนข้อมูลได้เพียงทีละคนเท่ำนั้นแต่อนุญำตให้ query ได้ทีละ หลำยคน •โปรแกรมกำรประมวลผลเพื่อกำรวิเครำะห์แบบออนไลน์ (OnLine Analytical Processing, OLAP) 53
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
CUBE • Cube คือโครงสร้ำงพื้นฐำนของ DW • DW สำมำรถมีได้มำกกว่ำ 1 Cube • ผูใ้ ช้สำมำรถเข้ำถึงข้อมูลได้หลำกหลำยมุมมอง (Dimension)
54
27
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
55
Company name
อย่ำงไรก็ตำมฐำนข้อมูลหลำยมิติกย็ งั มีขอ้ จำกัด เช่น มำตรฐำนกำร อินเตอร์เฟสเป็ นแบบเฉพำะตัว (proprietary) อำจทำให้ไม่เหมำะกับข้อมูลที่มี ปริ มำณมำกๆ และมีรำยละเอียดมำกๆ เป็ นต้น Measures • ตัวชี้วดั ประสิ ทธิ ภำพขององค์กร ตัวอย่ำงประเภทได้แก่ จำนวน ปริ มำณ ขนำด ระยะเวลำ เป็ นต้น • Measure ต้องมีตอ้ งมีชนิดของข้อมูลเป็ นตัวเลขเสมอ • สำมำรถบวกเพิ่มเพื่อหำผลรวมได้ (Aggregation calculation) • ข้อมูลเชิงตัวเลขอำจไม่สำมำรถเป็ น Measure ได้ เช่น ...
56
28
1/17/2014
Company name
Dimension • มิติหรื อมุมมอง (Dimension) คือ สิ่ งที่ใช้ตีควำมหรื อระบุที่มำของ measure หรื อ ต้องกำรดูค่ำ measure แบบใด เช่น ยอดขำยรำยเดือน ยอดขำยตำมชนิดของสิ นค้ำ เป็ นต้น Dimension • Time Dimension • Person Dimension • Sale Channel Dimension • Product Dimension 57 • Employee Dimension
Company name
Dimension • Year – Semester – Quarter – Month – Day • Product Category – Product Subcategory - Product • Country – Region – City
58
29
1/17/2014
Company name
Facts and Fact Table • Fact หมำยถึงเหตุกำรณ์หรื อสิ่ งที่เกิดขึ้นที่มำจำกควำมสัมพันธ์ ระหว่ำง measure กับ dimension ที่ทำให้เกิดค่ำใดค่ำหนึ่งที่มี ควำมหมำยสำมำรถวัดค่ำได้ และบอกเล่ำข้อเท็จจริ งอย่ำงใดอย่ำง หนึ่ง • 1 fact แทนได้จำก 1 transaction หรื อ 1 event Fact Table ประกอบด้ วย • Fact Identifier • Dimension Keys • Measures • Supportive (Additional) Attributes 59
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Company name
Measures Dimensions Facts and Fact Table Dimension Fact 1 Fact 2 Fact 3
Measure
วันที่
ร้ านค้า
ประเภทสิ นค้า
ยอดขาย (บาท)
12/6/2545
ร้ำน ก
ของเล่น
5000
13/6/2545
ร้ำน ก
ของเล่น
7000
13/6/2545
ร้ำน ข
สิ นค้ำบริ โภค
5500
60
30
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Measures Dimensions Facts and Fact Table ประเภท Measure 1 Measure 2 Dimension 1
ชื่อ ยอดขำย จำนวนสิ นค้ำทีขำย ประเภทสิ นค้ำ
ค่าที่เป็ นไปได้ จำนวนจริ ง จำนวนเต็ม สิ นค้ำบริ โภค สิ นค้ำ ควบคุม ฯลฯ
Dimension 2
วันที่
5 มกรำคม 2548 , เดือนสิ งหำคม
61
Multidimensinal Data Modeling Company name
การสร้ าง Multidimensional Data Model • What is the users want to see? • Business Question • (Candidate) Measure • (Candidate) Dimension • (Candidate) Fact • Grains of dimensions, and granularities of measures and facts • Dimension Hierarchies 62
31
1/17/2014
Multidimensinal Data Modeling Company name
Example: Users analyzing the performance of the movie theater ticket selling process will basically be interested in the numbers of tickets sold. This leads us to the data item labeled QTY_Tickets_Sold as a candidate measure for the multidimensional data model. What is the users want to see? Quantity of Sales Other performance indicator: revenue, possible discounts being given per sale, tickets being handed out for free, and so forth
63
Multidimensinal Data Modeling Company name
Business Question • ยอดขำยตัว๋ หนังประจำปี เป็ นอย่ำงไร • ยอดขำยตัว๋ หนังแยกเป็ นไตรมำศเป็ นอย่ำงไร • วันไหนในหนึ่งสัปดำห์ที่ขำยตัว๋ หนังได้มำกที่สุดในสำมเดือนแรก • วันไหนในหนึ่งสัปดำห์ที่ขำยตัว๋ หนังได้ต่ำที่สุด ในสำมเดือนแรก • สำขำไหนที่ขำยตัว๋ หนังได้มำกที่สุดในครึ่ งปี นี้ • สำขำไหนที่ขำยตัว๋ หนังได้มำกที่สุดในครึ่ งปี นี้ • ยอดขำยตัว๋ หนังแยกประเภทกำรขำยเป็ นอย่ำงไร • อื่นๆ 64
32
1/17/2014
Multidimensinal Data Modeling Company name
Measure
65
Multidimensinal Data Modeling Company name
Dimensions
66
33
1/17/2014
Multidimensinal Data Modeling Company name
Dimensions
67
Multidimensinal Data Modeling Company name
Facts and Fact Table
68
34
1/17/2014
Multidimensinal Data Modeling Company name
Facts and Fact Table • Fact ID : MOVIE SALES KEY • Dimension Keys: MOVIE KEY, DAY KEY and THEATER ID • Measures: SALES UNITS • Supportive Attributes: SALES USD, SALE EUR
69
Multidimensinal Data Modeling Company name
Grains of dimensions, and granularities of measures and facts • Grain ใน Dimension คือ ระดับที่ต่ำที่สุดของ Dimension • Granularity ใน Measure คือ ระดับที่ต่ำที่สุดในกำรบันทึก รำยละเอียดที่ได้จำกค่ำที่ระบุจำกทุกๆGrain เพื่อนำมำวิเครำะห์ Measure • The finer the granularity, the more detailed the information analysis can be performed • The finer the granularity, the more the volume of the data will be recorded 70
35
1/17/2014
Multidimensinal Data Modeling Company name
• Granularities of measures and facts • The size of DW or Data Mart • The performance and resource consumption of the user analysis Dimension Hierarchies • Dimension : one or more dimension hierarchies • Each dimension hierarchy can include several aggregation levels
71
Multidimensional Data Modeling Company name
72
36
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Another Example An automobile manufacturer wants to increase sale volumes by examining sales data collected throughout the organization. The evaluation would require viewing historical sales volume figures from multiple dimensions such as - Sales volume by model - Sales volume by color - Sales volume by dealer - Sales volume over time
Company name
73
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Relational Structure
74
37
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Multidimensional Structure
75
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Schemas for Dimensional Data Model or Dimension Model • Star Schema • Snowflake Schema
76
38
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Star Schema
77
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Star Schema
78
39
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Star Schema
79
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Star Schema
80
40
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Star Schema Date Date Id Dd/mm/yyyy
Sales Shop Id
Shop
Product
Shop Id
Product Id
Product Id
Shop Name
Date Id
Product Name
Sales Amount 81
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
แสดงโครงสร้ าง Shop Name
Product Id
Product Name
001
aaa
112
Potato
002
bbb
113
Cake
003
ccc
114
Biscuit
Shop Id
Shop Id
Product Id
Date Id
Sales Amount
001
112
2130
800
001
113
2156
900
002
113
2156
700
003
114
2156
600
Date Id
DD/MM/YYYY
2130
13/01/2008
2165
14/01/2008
2174
15/01/2008 82
41
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Star Schema
83
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Star Schema
84
42
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
• Snowflake Schema
85
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
• Snowflake Schema
86
43
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Snowflake Schema
Region
Date
Product Type
Region Id
Date Id
Product Type Id
Region Name
Dd/mm/yyyy
Product Type Name
Shop Region Id Shop Id Shop Name
Sales
Product
Region Id
Product Type Id
Shop Id
Product Id
Product Type Id
Product Name
Product Id Date Id Sales Amount 87
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Snowflake Schema
88
44
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Snowflake Schema
89
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Star Schema Denormalized Model Easy for user to understand
Snowflake Schema Normalized Model Quite complex for user to understand Fast response to queries More flexible to requirements Simple metadata More complex metadata Suitable for multidimensional data Not suitable for multidimensional model data model Does not support to history support to history 90
45
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
constellation schema
91
Company name
Online-Analytic Processing OLAP and Cubes OLTP & OLAP
92
46
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
กำรเข้ำถึงข้อมูล และจำนวนผูใ้ ช้
กำรเก็บรวบรวม ข้อมูล
กำรประมวลผล
Data Warehouse 1. จำนวนข้อมูลขนำดใหญ่ 2. อ่ำนได้อย่ำงเดียว (read only data) 3. จำนวนผูใ้ ช้เป็ นหลักร้อย 1. เก็บข้อมูลสรุ ปรวมตำม เวลำหรื อตำมหมวดหมู่ 2. เก็บข้อมูลตำมหัวข้อ OLAP
Operational Database 1. จำนวนข้อมูลเล็กกว่ำ DW 2. อ่ำนและเขียนได้ 3. จำนวนผูใ้ ช้เป็ นหลัก 1000 1. เก็บข้อมูลรำยละเอียด 2. เก็บข้อมูลตำมลักษณะ งำน OLTP
93
Online-Analytic Processing OLAP and Cubes Company name
การประมวลผลธุรกรรมออนไลน์ (Online Transactional Processing, OLTP) และ การประมวลผลเชิงวิเคราะห์ ออนไลน์ (Online Analytical Processing, OLAP) - OLTP เป็ นกำรประมวลผลที่จดั กำรกับข้อมูลปัจจุบนั เป็ นหลักซึ่ ง แตกต่ำงจำก OLAP ที่จดั กำรกับข้อมูลที่เก็บในคลังข้อมูล
94
47
1/17/2014
Company name
ระบบการประมวลผลธุรกรรมออนไลน์ (Online Transactional Processing, OLTP)
ระบบฐานข้ อมูลมักถูกสร้ างขึน้ เพือ่ ใช้ งานในระบบ OLTP ซึ่ง เป็ นการจัดการกับข้ อมูลปัจจุบัน รายงานทีส่ ร้ างจากระบบ OLTP จะมีการอัพเดทข้ อมูลให้ ทนั สมัย อยู่เสมอ แนวคิดการออกแบบระบบ OLTP มุ่งเน้ นให้ ระบบทางานได้ อย่ าง รวดเร็วและถูกต้ องพร้ อมทั้งรองรับการเข้ าถึงจากผู้ใช้ หลายๆคน พร้ อมกันเรียกว่ า ระบบมัลทิยูสเซอร์
95
Company name
ระบบการประมวลผลเชิงวิเคราะห์ ออนไลน์ (Online Analytical Processing, OLAP)
ระบบ OLAP มุ่งเน้ นข้ อมูลประวัติของทรานแซ็กชัน ในช่ วง ระยะเวลาหนึ่งแตกต่ างจากระบบ OLTP ทีต่ ้ องมีการอัพเด็ทข้ อมูล อยู่เสมอเพือ่ เรียกดูข้อมูลในขณะนั้น ผู้ใช้ ระบบ OLAP ส่ วนใหญ่ จะเป็ นผู้บริหารหรือผู้ใช้ อนื่ ๆที่ ต้ องการข้ อมูลเชิงวิเคราะห์ ในการเรียกดูข้อมูลในระบบ OLAP ต้ องมีความรวดเร็วเนื่องจาก ต้ องจัดการกับข้ อมูลทีม่ คี วามจุขนาดใหญ่ ดังนั้นจึงอาจนา เทคโนโลยีการประมวลผลแบบขนานมาใช้ งานเพือ่ การประมวลผล มีความรวดเร็ว 96
48
1/17/2014
เปรียบเทียบการทางานระหว่าง OLTP กับ OLAP Company name
OLTP จัดเก็บข้ อมูลปัจจุบัน ข้ อมูลที่จัดเก็บเป็ นข้ อมูลรายละเอียด
OLAP จัดเก็บข้ อมูลย้ อนหลัง ข้ อมูลที่จัดเก็บเป็ นข้ อมูลรายละเอียด ข้ อมูลสรุ ป อย่ างง่ าย และข้ อมูลสรุ ปขั้นสู ง
ข้ อมูลมีความเคลือ่ นไหวอยู่เสมอ เป็ นการประมวลผลซ้าๆที่มีโครงสร้ างชัดเจน
ข้ อมูลคงที่
ใช้ ข้อมูลทรานแซกชันเป็ นตัวขับเคลือ่ น สนับสนุนการทางานในลักษณะวันต่ อวัน ให้ บริการผู้ใช้ เพือ่ ปฏิบัติงานพร้ อมกันจานวน มาก
ใช้ การวิเคราห์ เป็ นตัวขับเคลือ่ น สนับสนุนการตัดสิ นใจเชิงกลยุทธ์ ให้ บริการผู้ใช้ งานในระดับผู้บริ หาร ซึ่งมีจานวน น้ อย
เป็ นการประมวลผลแบบ Ad-Hoc แบบ ไม่ มีโครงสร้ างชัดเจน
97
Online-Analytic Processing OLAP and Cubes Company name
Online-Analytic Processing (OLAP) and Cubes • คือ วิธีกำรที่ใช้ในกำรวิเครำะห์ขอ้ มูลด้วย Dimension และ Fact Table โดย Fact Table และ Dimension Table จะถูกประมวลผลสำหรับกำร นำไปใช้งำนโดยภำพที่ผใู ้ ช้เพื่อมองผลที่ได้จำกกำรประมวลผล จะอยูใ่ น รู ปลูกบำศก์หลำยมิติ (Multidimension) เรี ยกว่ำ Cube โดยจะมีจำนวนมิติ เท่ำกับจำนวน Dimension • OLAP is a software technology that enables analysts, managers, and executives (sometimes called knowledge workers) to access data using an easy and efficient query analysis tools
98
49
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
Online-Analytic Processing (OLAP) and Cubes • OLAP transforms raw data so that it reflects the real dimensionality of the enterprise as understood by user • OLAP is a decision support tool which enable sophisticated analysis of an organization’s performance by providing access to views which characterize the multidimensional nature of the enterprise [Codd et at 1993] 99
Online-Analytic Processing OLAP and Cubes Company name
2 st Dimension
2 st Dimension
Online-Analytic Processing (OLAP) and Cubes
1 st Dimension 4 th Dimension
1 st Dimension
100
50
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
Online-Analytic Processing (OLAP) and Cubes Product ID 125
657 897
500
200
124 123
Shop ID
Date ID 750 350
001
004
1567
1567
003 101
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Relational Structure
102
51
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Multidimensional Structure
103
Viewing Data - An Example
Company name
Sales Volumes
M O D E L DEALERSHIP COLOR
Assume that each dimension has 10 positions, as shown in the cube above
52
1/17/2014
Company name
แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model)
Multidimensional Structure
105
Online-Analytic Processing OLAP and Cubes Company name
Online-Analytic Processing (OLAP) and Cubes
106
53
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
Online-Analytic Processing (OLAP) and Cubes
107
Online-Analytic Processing OLAP and Cubes Company name
Type of OLAP Server • Multidimensional OLAP (MOLAP) • Relational OLAP (ROLAP) • Hybrid OLAP (HOLAP) • Desktop OLAP(DOLAP)
108
54
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
Multidimensional OLAP (MOLAP) • ใน MOLAP จะทำกำรข้อมูลจำก Data Warehouse Database ที่จะต้องสอดคล้อง กับ Data Cube ที่เรำสร้ำงขึ้น โดยข้อมูลใน Data Warehouse Database จะถูก โหลดเข้ำมำเก็บไว้ใน Data Cube ผูใ้ ช้สำมำรถวิเครำะห์ขอ้ มูลได้โดยตรง ผ่ำน MOLAP ได้โดยตรง และหำกต้องกำรวิเครำะห์ขอ้ มูลชุดใหม่จะต้องทำกำรโหลด ข้อมูลลง Data Cube จึงประมวลผลต่อไป • ข้ อดี กำรดึงข้อมูลจำก MOLAP จะเร็ วมำกเพรำะไม่ตอ้ งคำนวณค่ำใดๆอีก MOLAP เหมำะกับงำนที่ถูกเรี ยกใช้บ่อย และไม่จำเป็ นต้องติดตำมกำร เปลี่ยนแปลงข้อมูลอย่ำงใกล้ชิด • ข้ อด้ อย 109
Online-Analytic Processing OLAP and Cubes Company name
Multidimensional OLAP (MOLAP) • ข้อด้อย ข้อจำกัดในกำรโหลดข้อมูลเพรำะต้องขึ้นกับขนำดของ Data Cube ที่เรำ สร้ำงขึ้นด้วย ดังนั้นจึงเหมำะกับฐำนข้อมูลขนำดเล็ก อำจต้องลงทุนเพิ่มเกี่ยวกับ Cube Technology
110
55
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
Multidimensional OLAP (MOLAP)
111
Online-Analytic Processing OLAP and Cubes Company name
Relational OLAP (ROLAP) • คือ OLAP หรื อ Cube ที่ไม่ตอ้ งมีกำรประมวลผล OLAP แต่ ประยุกต์ใช้ ฐำนข้อมูลเชิงสัมพันธ์ Relational Database • ROLAP เป็ นซอฟแวร์ในกำรดึงข้อมูลจำก Relational Database • กำรเรี ยกใช้ขอ้ มูลระบบสร้ำง Query ดึงข้อมูลจำก Fact Table • ข้อดี รองรับข้อมูลปริ มำณมำกๆได้กล่ำวคือสำมำรถรองรับได้เท่ำกับ ขนำดของ Relational Database ที่มีอยู่ ข้อมูลที่ได้จะมีควำมทันสมัยอยูเ่ สมอ 112
56
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
Relational OLAP (ROLAP) • ข้อด้อย เมื่อมีกำรเรี ยกใช้ขอ้ มูลระบบจะสร้ำง Query เพื่อดึงข้อมูลมำจำก Fact Table ซึ่งวิธีกำรนี้จะช้ำกว่ำกำรเรี ยกใช้ขอ้ มูลจำก MOLAP ROLAP ไม่เหมำะกับงำนที่ใช้งำนบ่อย แต่เหมำะกับระบบที่ตอ้ งติดตำม ควำมเป็ นไปของข้อมูลอย่ำงใกล้ชิด • Software: Microsoft Analysis Service, SAP Business Objects, Oracle Business Intelligence Suite Enterprise Edition
113
Online-Analytic Processing OLAP and Cubes Company name
Hybrid OLAP (HOLAP) • คือ OLAP หรื อ Cube ที่มีกำรแบ่งพื้นที่ออกเป็ นส่ วนโดยแต่ ละส่ วนอำจใช้วธิ ีกำรจัดเก็บข้อมูลแบบ MOLAP และบำงส่ วน เก็บข้อมูลแบบ ROLAP • กำรใช้ HOLAP ช่วยให้กำรเข้ำถึงข้อมูลแบบ Drill Down เป็ นไปได้อย่ำงมีประสิ ทธิภำพมำกขึ้น โดย HOLAP จะใช้ MOLAP เพื่อจัดเก็บข้อมูลที่เป็ นข้อมูลสรุ ป และใช้ ROLAP เพื่อจัดเก็บข้อมูลที่เป็ นรำยละเอียด เช่น ใช้ MOLAP เก็บข้อมูล กำรขำยรำยภำคและรำยจังหวัด แต่ ROLAP เก็บข้อมูลกำรขำย รำยอำเภอและข้อมูลรำยรำยกำร 114
57
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
Desktop OLAP (DOLAP) • เป็ นกำรดึง Cube จำก Server มำเก็บไว้ที่ Client เลย จำกนั้นก็วเิ ครำะห์ ด้วย desktop เอง ทำให้ไม่ตอ้ งดึงข้อมูลส่ งไปมำทำให้ดูเหมือนว่ำน่ำจะ ทำงำนได้เร็ ว แต่ถำ้ ข้อมูลขนำดใหญ่ก็ยงั คงช้ำ เพรำะว่ำ desktop ไม่มี ทรัพยำกรที่เพียงพอในกำรจัดกำรกับข้อมูลขนำดใหญ่
115
Company name
OLAP Operations in the Multidimensional Data Model
OLAP Operations • Roll Up และ Drill Down • Slice และ Dice
116
58
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
Roll Up และ Drill Down • คือกำรเปลี่ยนระดับควำมละเอียดในกำรพิจำรณำข้อมูล ซึ่ง วิธีกำรนี้จะใช้กบั Snowflakes Dimensional Data Model • Drill Down คือกำรเพิ่มควำมละเอียดในกำรพิจำรณำข้อมูลจำด ระดับที่หยำบไปหำระดับที่ละเอียดมำกขึ้น • Roll Up คือกำรพิจำรณำข้อมูล จำกระดับที่ละเอียดขึ้นมำระดับ ที่หยำบมำกขึ้น
117
Online-Analytic Processing OLAP and Cubes Company name
Fact Table รำยกำรขำยสิ นค้ำ Region
Shop
Date
Product
Amount
12/12/2003
Product Type เครื่ องเขียน
ภำคเหนือ
A
สมุด
5000
B
13/12/2003
ภำคเหนือ ภำคเหนือ
สิ นค้ำบริ โภค
ข้ำวสำร
1000
A
13/12/2003
เครื่ องเขียน
ปำกกำ
ภำคเหนือ
10000
B
12/12/2003
สิ นค้ำบริ โภค
น้ ำดื่ม
7000
ภำคใต้
C
13/12/2003
เครื่ องเขียน
ปำกกำ
6000
ภำคใต้
C
12/12/2003
เครื่ องเขียน
สมุด
4000
ภำคใต้
C
13/12/2003
เครื่ องเขียน
ยำงลบ
2000
ภำคใต้
C
13/12/2003
สิ นค้ำบริ โภค
ข้ำวสำร
2000
118
59
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
Cube ที่ได้จำก Fact Table
Region ภำคเหนือ ภำคเหนือ
Product Type Product Shop A B
ภำคใต้
C
สิ นค้ าอุปโภค ข้ำวสำร
เครื่องเขียน
น้ ำดื่ม
1000 2000
สมุด
ปำกกำ
ยำงลบ
5000
10000 6000
2000
7000 4000
119
Online-Analytic Processing OLAP and Cubes Company name
Region
Sum
ภำคเหนือ
31,000
ภำคใต้
6,000
Product Type
เครื่องเขียน
สิ นค้ าอุปโภค
ภำคเหนือ
23,000
8000
ภำคใต้
4,000
2000
Roll Up
Drill Down
Region
Product Type
Roll Up
Product
สินค้าอุปโภค ข้ำวสำร
Region
Shop
ภำคเหนือ
A
ภำคเหนือ
B
1000
ภำคใต้
C
2000
น้ ำดื่ม
เครื่องเขียน สมุด
ปำกกำ
5000
10000
7000
6000
ยำงลบ
Drill Down
2000
4000 120
60
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
Roll up and drill down
121
Online-Analytic Processing OLAP and Cubes Company name
Drill Down
122
61
1/17/2014
Online-Analytic Processing OLAP and Cubes Company name
Slice และ Dice • Slice คือ กำรเลือกพิจำรณำผลลัพธ์บำงส่ วนที่เรำสนใจ โดยเลือก ค่ำของบำง Dimension เช่น กำรดูรำยกำรสิ นค้ำจำกมุมมองของ ประเภทสิ นค้ำ เป็ นต้น • Slice ต่ำงจำก Drill Down and Roll Up ตรงที่กำร Slice สำมำรถทำ ได้ท้ งั Star Schema และ Snowflake Schema • Dice คือ กระบวนกำรดูขอ้ มูลด้วยกำรเปลื่ยนมุมมอง ให้ตรงกับ ควำมต้องกำรของผูบ้ ริ โภคเช่น กำรดูค่ำระหว่ำง Shop – Product Type หรื อ Shop – Product เป็ นต้น 123
OLAP คืออะไร มีรูปแบบการวิเคราะห์ข้อมูลอย่างไร
OLAP (Online Analytical Processing) เป็นการวิเคราะห์ข้อมูลจากคลังข้อมูลเพื่อนำไปใช้ในการวิเคราะห์และสนับสนุนการตัดสินทางธุรกิจอย่างมีประสิทธิภาพ สามารถค้นหาคำตอบที่ต้องการ และสามารถแก้ปัญหาที่มีความซับซ้อนโดยใช้เวลาสั้นๆ ดังนั้นข้อมูลจะไม่มีการแก้ไขนำมาประมวลผลเป็น Summary Report ต่างๆ ลักษณะการวิเคราะห์ข้อมูลเป็นแบบ ...
ระบบ OLTP และ OLAP มีความแตกต่างกันอย่างไร
OLAP ใช้ข้อมูลในอดีตและข้อมูลที่รวบรวมจากหลายแหล่ง OLTP ใช้ข้อมูลแบบเรียลไทม์รวมถึงข้อมูลธุรกรรมจากแหล่งเดียว โครงสร้างข้อมูล OLAP ใช้ฐานข้อมูลหลายมิติ (คิวบ์) หรือฐานข้อมูลแบบเชิงสัมพันธ์
โครงสร้างข้อมูลใน OLAP นั้นมีโครงสร้างแบบใด
สำหรับโครงสร้างของข้อมูล OLAP นั้นเป็นแบบลำดับชั้น (Hierarchical) ช่วยให้ผู้ใช้สามารถเข้าใจภาพรวมและความเกี่ยวข้องของข้อมูลในองค์กรได้ง่าย
OLTP ย่อมาจากอะไร
OLTP (On-Line Transaction Processing) คือ การประมวลผล ขอมูลตามลักษณะการปฏิบัติงานปกติของหนวยงานนั้นจาก ฐานขอมูล