Differences between Operational Database and Data Warehouse Data Warehouse Architecture Multidimensional Data Model Show OLAP 2 1 1/17/2014 บทนำ (Introduction) Company name วัตถุประสงค์ อธิบายความหมาย ความสั มพันธ์ ระหว่ างฐานข้ อมูล คลังข้ อมูล แนวคิด ทีม่ าของคลังข้ อมูล อธิบายความสาคัญและประโยชน์ ของคลังข้ อมูล 3 บทนำ (Introduction) Company name ข้ อมูลและสารสนเทศ (Data Versus Information) ข้ อมูล (Data) • ข้ อมูลแบบมีโครงสร้ าง (Structured Data) • ข้ อมูลแบบไม่ มโี ครงสร้ าง (Unstructured Data) ตัวอย่ างเช่ น อู่ซ่อมรถสามารถนาข้ อมูลทั้งแบบมีโครงสร้ าง (ข้ อมูลลูกค้ า, ข้ อมูล รถ) นามาใช้ ร่วมกับข้ อมูลไม่ มโี ครงสร้ างเช่ นข้ อมูลภาพถ่ ายดิจติ อล ภาพสแกน ของรถที่เกิดอุบัตเิ หตุนาส่ งพร้ อมแบบฟอร์ มข้ อมูลเพือ่ ส่ งเคลมกับบริษทั ประกันภัย 4 2 1/17/2014 บทนำ (Introduction) Company name ข้ อมูล (Data) - ข้ อ เท็ จจริ ง วั ตถุ หรื อ เหตุ ก ารณ์ ที่ เ กิ ด ขึ้น คื อ เป็ นข้ อ มู ล ที่ ไ ม่ ได้ ผ่ า นการ ประมวลผล สารสนเทศ (Information) - ข้ อ มู ล ที่ ผ่ า นการประมวลผลและสามารถน าไปใช้ ใ ห้ เ กิ ด ประโยชน์ ต าม วัตถุประสงค์ ได้ 5 บทนำ (Introduction) Company name ระบบการจัดการข้ อมูล (Data Management System) บันทึกข้ อมูลลงในสมุด ไม่ มรี ู ปแบบการจดบันทึกที่แน่ นอน บันทึกในเอกสารจัดเก็บในแฟ้ มเอกสารอย่ างเป็ นหมวดหมู่ มีการทาสารบัญ การทาดัชนี บันทึกลงคอมพิวเตอร์ จักเก็บลงในฮาร์ ดดิสก์ 6 3 1/17/2014 รู ปแบบกำรจัดกำรข้อมูลในองค์กร Company name แฟ้มข้ อมูล files กระดาษ paper ฐานข้ อมูล database การจัดการข้ อมูล Data Management คลังข้ อมูล มาร์ ทข้ อมูล Data Warehouse Data mart 7 บทนำ (Introduction) Company name กระดาษ (Paper) ข้อมูลที่อยูใ่ นรู ปกระดำษ ทำให้ไม่สำมำรถประมวลผลด้วยโปรแกรม คอมพิวเตอร์ได้ อีกทั้งยังยุง่ ยำกและเสี ยเนื้อที่มำกในกำรจัดเก็บ แฟ้ มข้ อมูล (Files) ข้อมูลที่เก็บในรู ปแบบนี้เรำสำมำรถประมวลผลข้อมูลด้วยโปรแกรมคอมพิวเตอร์ ได้ กำรจัดเก็บข้อมูลทำได้ง่ำยขึ้นและช่วยประหยัดพื้นที่ในกำรจัดเก็บแต่ยงั มี ปัญหำถ้ำมีขอ้ มูลจำนวนมำกไม่มีกำรจัดเก็บข้อมูลอย่ำงเป็ นระบบ ฐานข้ อมูล(Database) มี กำรจัดเก็ บข้อมู ลอย่ ำงเป็ นระบบไว้ในฐำนข้อมู ลเดี ย วกันมี กำรจัด กำร พจนำนุกรมข้อมูล(Data Dictionary หรื อ Metadata)ทำให้ง่ำยต่อกำรปรับปรุ ง ข้อมูล กำรประมวลผล กำรเรี ยกใช้ขอ้ มูล รวมทั้งยังมีกำรรักษำควำมปลอดภัยของ ข้อมูล แต่ฐำนข้อมูลยังไม่เหมำะสำหรับผูบ้ ริ หำรในกำรเรี ยกใช้(Retrieve)และ กำรวิเครำะห์ขอ้ มูล (Analyze) 8 4 1/17/2014 ควำมเป็ นมำเกี่ยวกับคลังข้อมูล Company name สารสนเทศ (information) ถือว่ำปัจจัยสำคัญที่เป็ นตัวชี้วดั ควำมสำเร็ จของ องค์กรต่ำงๆเดิมทีผบู ้ ริ หำรก็อำศัยระบบฐำนข้อมูลเชิงปฏิบตั ิกำร (operational database) ระบบฐานข้ อมูลเชิงปฏิบัตกิ าร (operational database) มีวตั ถุประสงค์ หลักในการ เก็บข้ อมูลดังนี้ • กำรลดควำมซ้ ำซ้อน (redundancy) • กำรรักษำควำมถูกต้อง (integrity) • กำรลดกำรสูญหำยของข้อมูล (information lost) • กำรลดควำมผิดพลำดที่เกิดจำกกำรแก้ไขข้อมูล (update anomalies) 9 ควำมเป็ นมำเกี่ยวกับคลังข้อมูล Company name ข้ อจากัดของ operational database คือไม่ตอบสนองต่อผูบ้ ริ หำรที่จะนำมำเป็ น เครื่ องมือหรื อระบบที่ช่วยสนับสนุนกำรตัดสิ นใจ(decision support system) ในกำรดำเนินกำรแต่ละครั้งนั้นต้องมีกำรเรี ยกใช้ขอ้ มูลจำนวนมำกจำกฐำนข้อมูล ขนำดใหญ่ท้ งั ที่เป็ นข้อมูลในอดีตและปัจจุบนั ซึ่ ง operational database ไม่ ตอบสนองควำมต้องกำรในลักษณะนี้เพรำะต้องเสี ยเวลำในกำรรวมข้อมูลอีกอำจ ก่อให้เกิดปัญหำในกำรดำเนินกำรประจำวันต่ำงๆ 10 5 1/17/2014 ควำมเป็ นมำเกี่ยวกับคลังข้อมูล Company name แนวโน้ มในการพัฒนาเทคโนโลยีเป็ นไปอย่ างต่ อเนื่อง องค์ กรต่ างๆมีการจัดเก็บ ฐานข้ อมูลไว้ เพือ่ ใช้ งาน ซึ่ งการนาเสนอข้ อมูลต่ างๆจากฐานข้ อมูลไม่ ได้ มเี พียง แค่ รายงานประจาวัน รายงานสรุ ปผล แต่ ยงั รวมถึงการพัฒนาระบบฐานข้ อมูลที่ มีการรวบรวมข้ อมูลขนาดใหญ่ มาก ทั้งข้ อมูลภายในและข้ อมูลภายนอกองค์ กร เพือ่ นามาใช้ ในการประกอบการตัดสิ นใจ ดังนั้นจึงเกิดแนวคิดที่จะพัฒนาระบบฐานข้ อมูลที่จดั เก็บข้ อมูลในรู ปแบบของ คลังที่สามารถรองรับข้ อมูลที่เพิม่ ขึน้ เรื่อยๆ และที่สาคัญคือสามารถนาข้ อมูลมา ใช้ เพือ่ ประกอบการตัดสิ นใจของผู้บริหาร 11 ควำมเป็ นมำเกี่ยวกับคลังข้อมูล Company name ตัวอย่ างเช่ น บริ ษทั แห่งหนึ่งซึ่ งมีใบกำกับสิ นค้ำหรื อ อินวอยส์ ที่จดั เก็บรำยละเอียด สำคัญเช่น ข้อมูลลูกค้ำ รำยกำรสิ นค้ำ วันที่ซ้ื อ และจำนวนเงิน แต่เมื่อมีกำรรวบรวม ข้อมูลเหล่ำนี้เพื่อใช้ในกำรวิเครำะห์ผลิตภัณฑ์เพื่อเพิ่มยอดขำย และพัฒนำผลิตภัณฑ์ ใหม่ กลับพบว่ำข้อมูลมีปริ มำณขนำดใหญ่มำก ดังนั้นจึงจำเป็ นต้องมีเครื่ องมือหรื อ ซอฟต์แวร์เพื่อใช้ในกำรจัดเก็บข้อมูลขำนดใหญ่ ดังนั้น data warehouse จึงจำเป็ นและมีควำมสำคัญสำมำรถ จัดเก็บข้อมูลจำกหลำย แหล่งให้มีประสิ ทธิ ภำพสูง และจัดเก็บข้อมูลแยกออกจำก operational database สำมำรถสื บค้นข้อมูล (query) เพื่อใช้ในกำรวิเครำะห์ทำงธุรกิจได้อย่ำงทัน ต่อสถำณกำรณ์ สำมำรถสนับสนุนในกำรตัดสิ นใจของผูบ้ ริ หำร ในกำรนำ องค์กรมุ่งสู่เป้ ำหมำยที่ต้ งั ไว 12 6 1/17/2014 ควำมสำคัญและประโยชน์ของ Data Warehouse Company name ลดความซ้าซ้ อนกันของข้ อมูล ในกระบวนกำรพัฒนำ data warehouse จะต้องมีกำร กรองข้อมูล กำร clean ข้อมูล กำรแปลงข้อมูล ทั้งข้อมูลภำยในและภำยนอก องค์ ก ร ให้ อ ยู่ใ นรู ป แบบมำตรฐำนเดี ย วกัน ก่ อ นที่ ข ้อ มู ล จะถู ก เก็ บ ใน data warehouse database ทำให้ลดกำรซ้ ำซ้อนกันของข้อมูล ช่วยให้กำร query ข้อมูล รวดเร็ วและมีควำมถูกต้องสูง เป็ นเครื่องมือช่ วยในการตัดสิ นใจของผู้บริหาร เนื่องจำก data warehouse จัดเก็บ ข้อมูลที่แตกต่ำงกันเป็ นจำนวนมำกตั้งแต่อดีตจนถึงปั จจุบนั ซึ่ งข้อมูลทั้งหมดนั้น จะถูกจัดกำรให้มีควำมสอดคล้องกัน ดังนั้นจึ งเป็ นตัวช่ วยให้ผูบ้ ริ หำรสำมำรถ วิ เ ครำะห์ ถึ ง ปั ญ หำและแนวทำงกำรแก้ไ ข ช่ ว ยเพิ่ ม ประสิ ท ธิ ภ ำพในกำร ดำเนินกำร เช่นแนวโน้มของตลำด ควำมต้องกำรของผูบ้ ริ โภค เป็ นต้น 13 ควำมสำคัญและประโยชน์ของ Data Warehouse Company name เรี ยกใช้ ข้อมูลได้ อย่ างรวดเร็ วและมีประสิ ทธิภาพมากขึน้ เนื่ องจำกคลังข้อมูลช่ วย ลดปริ มำณในกำรจัดเก็บข้อมูล จึ งประโยชน์ในกำรช่ วยลดปั ญหำควำมล่ำช้ำนี้ ทำให้ระบบกำรประมวลผลมีประสิ ทธิ มำกขึ้น ช่วยทำให้สำมำรถเข้ำถึงข้อมูลได้ ง่ำยและรวดเร็ วขึ้น นอกจำกนั้นยัง สำมำรถในกำรประมวลผลสรุ ปข้อมูลขั้นสู ง ช่ ว ยให้ ผู ้บ ริ หำรสำมำรถค้น หำข้อ มู ล ได้ง่ ำ ย รวดเร็ ว และน ำมำใช้อ ย่ ำ งมี ประสิ ทธิ ภำพมำกขึ้น การนาเสนอข้ อมูลมีความหลากหลาย จำกเดิมข้อมูลจำก operational database สำมำรถนำเสนอข้อมูลในรู ปแบบตำรำง ถ้ำต้องกำรนำเสนอข้อมูลในรู ปแบบ กรำฟ จะต้องคัดลอกข้อมูลจำกฐำนข้อมูลไปลงในโปรแกรมอื่นๆ เช่น เอ็กเซลล์ เป็ นต้น เพื่อสร้ำงกรำฟ ซึ่ งถือเป็ นเรื่ องที่ ยุ่งยำก ดังนั้น data warehouse จึ งมี ประโยชน์ในกำรช่วยตอบสนองตำมควำมต้องกำรของผูบ้ ริ หำรเพรำะสำมำรถ กำรนำเสนอข้อมูลในรู ปแบบกรำฟแท่ง วงกลม ตำรำง ได้ทนั ที 14 7 1/17/2014 ข้อจำกัดของ Data Warehouse Company name ขั้นตอนในการเตรียมและรวบรวมข้ อมูลใช้ เวลานาน เนื่ องจำกข้อมูลที่จะนำเข้ำเก็บ DW ต้องผ่ำนกระบวนกำรต่ ำงๆ ตั้งแต่ กำรกรอง (extract) แปลงข้อมูล (transform) และกำรนำเข้ำข้อมูล (load) รวมเรี ยกว่ำ กระบวนกำร ETL ซึ่ ง กระบวนกำรนี้ ตอ้ งอำศัยผูท้ ี่ มีควำมชำ นำญในกำรกรองข้อมูล แปลงข้อมูล ทำ ให้เสี ยเวลำนำนมำก ความต้ องการข้ อมูลของผู้ใช้ เพิ่มขึน้ เรื่ อยๆ เนื่ องจำกควำมต้องกำรของผูใ้ ช้ที่มี กำรเปลี่ยนแปลงตลอดเวลำ โดยเฉพำะอย่ำงยิ่งควำมต้องกำรข้อมูลยิ่งเพิ่มมำก เท่ำไหร่ ควำมซับซ้อนในกำรทำงำนก็มำกขึ้นเท่ำนั้น 15 ข้อจำกัดของ Data Warehouse Company name การพัฒนา Data Warehouse ใช้ เวลานานและลงทุนสู ง Data Warehouse System มีความซั บซ้ อน DW เก็บรวบรวมข้อมูลของทั้ง องค์กรจำกหลำยๆระบบตั้งแต่ อดี ตจนถึ งปั จจุ บนั ซึ่ งทำให้ระบบคลังข้อมูลมี ควำมซับ ซ้อ นสู ง ต้อ งอำศัย ผูท้ ี่ มี ค วำมช ำนำญโดยเฉพำะมำบริ หำรจัด กำร คลังข้อมูล 16 8 1/17/2014 ความแตกต่ างระหว่ าง Data Warehouse กับ Operational database Company name Data Warehouse (DW) คื อ ฐำนข้อมูลขนำดใหญ่สำหรับทั้งองค์กรซึ่ รวบรวม ข้อมูลจำกฐำนข้อมูลหลำยแหล่งหลำยช่ วงเวลำมำรวมที่ เดี ยวกัน โดยข้อมูลที่ รวบรวมมำนั้นอำจจะเป็ นข้อมูลที่ใช้อยูใ่ นปัจจุบนั กับข้อมูลในอดีตแลฐำนข้อมูล อื่นภำยนอกองค์กร หรื อเรี ยกว่ำ external database ข้อมูลที่จดั เก็บใน DW นั้นจะต้องผ่ำนกระบวนกำร ETL เพื่อทำให้เป็ นมำตรฐำน เดี ยวกันก่อน ทำให้สำมำรถใช้งำนข้อมูลร่ วมกันได้ท้ งั องค์กรไม่ว่ำจะเป็ นกำร สื บค้นข้อมูลในรู ปแบบต่ ำงๆ ช่ น ตำรำง กรำฟ รำยงำน เป็ นต้น เพื่ อวิเครำะห์ ข้อมูลสำหรับใช้ประโยชน์ต่อไป กำรดำเนิ นกำรกับข้อมูลใน DW จะมีเพียงกำร load และ เรี ยกดูขอ้ มูล query เท่ำนั้น 17 Company name Differences between Operational Database and Data Warehouse Differences between Operational Database and Data Warehouse วัตถุประสงค์ • อธิบายความแตกต่ างระหว่าง Operational Database และ Data Wharehouse • อธิบายคุณลักษณะสาคัญของ Data Warehouse 18 9 1/17/2014 ความแตกต่ างระหว่ าง Data Warehouse กับ Operational database Company name นอกจำกนี้ ขอ้ มูลใน data warehouse ยังเป็ นข้อมูลพื้นฐำนสำหรับสำรสนเทศอื่นๆ ต่อไป เช่นระบบสนับสนุนกำรตัดสิ นใจ ( Decision Support System, DSS ) หรื อ ระบบบริ หำรควำมสัมพันธ์กบั ลูกค้ำ (Customer Relationship Management, CRM) รวมไปถึงเป็ นข้อมูลที่สนับสนุนระบบธุ รกิจอัฉริ ยะ ( Business Intelligence System, BIS) Operational Database คือ กำรรวบรวมข้อมูลที่มีควำมสัมพันธ์กนั โดยจัดเก็บข้อมูล เชิ งปฏิ บตั ิ กำรสำหรั บกำรดำเนิ นกำรรำยวันมี ขอ้ มูลมี กำรเปลี่ ยนแปลงตลอดเวลำ กล่ำวคือ มีกำรเพิ่มข้อมูล Insert กำรลบข้อมูล Delete กำรปรับเปลี่ยนข้อมูล Update ให้เป็ นปัจจุบนั อยูเ่ สมอ 19 ความแตกต่ างระหว่ าง Data Warehouse กับ Operational database Company name Delete Insert Update Update Load Access Insert Delete Data Warehouse Operational Database 20 10 1/17/2014 Company name ความแตกต่ างระหว่าง Data Warehouse กับ Operational database คุณลักษณะเฉพาะของข้ อมูลใน DW ข้ อมูลตามหัวข้ อ (Subject-Oriented Data) ในองค์กรแต่ละแห่งมักพัฒนำระบบข้อมูลเพื่อให้สอดคล้องต่อกำรทำงำน ขององค์กรที่แตกต่ำงกันเช่น พัฒนำระบบข้อมูลสำหรับกำรขำยสิ นค้ำ สำหรับ วิเครำะห์ขอ้ มูลกำรขำยสิ นค้ำ พัฒนำระบบข้อมูลสิ นค้ำคงคลัง สำหรับวิเครำะห์ ข้อมูลในกำรสัง่ สิ นค้ำเข้ำ หรื อกำรจ่ำยสิ นค้ำออก ซึ่งกำรจัดระบบข้อมูลแบบนี้ เป็ นกำรจัดตำมกิจกรรมขององค์กร คลังข้อมูลจะต้องถูกสร้ำงจำกหัวข้อหลักทำงธุรกิจที่เน้นเนื้อหำที่สนใจ เช่น ลูกค้ำ (Customer) ผลิตภัณฑ์ (product) ยอดขำย (sales) ใบกำกับภำษีลูกค้ำ (customer invoicing) กำรควบคุมสต็อก (stock control) และ กำรขำยผลิตภัณฑ์ (product sales) สิ่ งเหล่ำนี้แสดงให้เห็นถึงควำมต้องกำรกำรจัดเก็บเพื่อใช้ในกำร สนับสนุนองค์กร 21 Company name ความแตกต่ างระหว่าง Data Warehouse กับ Operational database Example Operational Database (ApplicationOriented) Data Warehouse (Subject-Oriented) Loans Customer Savings Vendor Bank Card Product 22 11 1/17/2014 Company name ความแตกต่ างระหว่าง Data Warehouse กับ Operational database คุณลักษณะของข้ อมูลในคลังข้ อมูล ข้ อมูลมีลกั ษณะสอดคล้ องกัน Integrated Data ข้อ มู ล ที่ เ ข้ำ มำสู่ ค ลัง ข้อ มู ล นั้น มี ที่ ม ำจำกหลำยๆ แหล่ ง เช่ น จำกระบบ สำรสนเทศต่ำงๆในองค์กร หรื อจำกแหล่งข้อมูลภำยนอก หรื อกำรจัดเก็บข้อมูล อยูใ่ นรู ปแบบแตกต่ำงกัน ดังนั้นจึงเป็ นไปได้ที่จะเกิดข้อมูลซ้ ำกัน กล่ำวคือข้อมูล ตัวเดียวกัน แต่มีที่มำต่ำงกันหรื อมำตรฐำนข้อมูลแตกต่ำงกัน หน้ำที่ของคลังข้อมูลคือ กำรกำจัดกำรซ้ ำซ้อนของข้อมูลคือกำรทำให้ขอ้ มูลมี สมบัติเป็ น Integrated Data เพื่อไม่ให้เกิดควำมสับสนในกำรวิเครำะห์ขอ้ มูล 23 Company name ความแตกต่ างระหว่าง Data Warehouse กับ Operational database ฐานข้ อมูลระดับปฏิบัติการ มีการออกแบบฐานข้ อมูลทีแ่ ตกต่ างกัน เช่ น การอ้ างอิงรู ปแบบวันที่ ทีแ่ ตกต่ างกันอาจจัดในรู ปแบบของ yymmdd , mmddyy หรือ mmddyyyy ดังนั้นระบบ integrated ต้ องมีการจัดเก็บให้ มี รู ปแบบเดียวกัน 24 12 1/17/2014 Company name ความแตกต่ างระหว่าง Data Warehouse กับ Operational database Integrated Data Savings Account Checking Account Subject = Account Loans Account Data From Applications Data Warehouse Subjects 25 Company name ความแตกต่ างระหว่าง Data Warehouse กับ Operational database คุณลักษณะของข้ อมูลในคลังข้ อมูล ข้ อมูลสั มพันธ์ กบั เวลา (Time-Variant Data) ข้อมูลในฐำนข้อมูลปฏิบตั ิกำร (Operational Database) มุ่งเน้นควำมเป็ น ปัจจุบนั และต้องปรับปรุ งให้ทนั สมัยอยู่ตลอดเวลำอำจเก็บในช่วง 1 ปี แต่ขอ้ มูล ในคลังข้อมูลจะเป็ นข้อมูลที่ มีอดีตช่วงอำยุในระยะเวลำหนึ่ ง (Historical Data) อำจมีระยะเวลำตั้งแต่ 5-10 ปี ทั้งนี้ ข้ ึนกับควำมเหมำะสมเป็ นหลัก กำรนำข้อมูล ย้อนหลังที่ เก็บรวบรวมไว้ก็เพื่อนำมำทำกำรวิเครำะห์เปรี ยบเที ยบหำแนวโน้ม และใช้พยำกรณ์ทำงธุรกิจ 26 13 1/17/2014 Company name ความแตกต่ างระหว่าง Data Warehouse กับ Operational database คุณลักษณะของข้ อมูลในคลังข้ อมูล ข้ อมูลสั มพันธ์ กบั เวลา (Time-Variant Data) ตัวอย่ำงเช่น ข้อมูลผูป้ ่ วย ต้องเก็บประวัติกำรรักษำพยำบำลอย่ำงน้อย 10 ปี เพื่อใช้เปรี ยบเทียบ หำแนวโน้มและทำนำยสุ ขภำพอนำมัยในอนำคตได้ โดยจะ สัมพันธ์กบั กำรดำเนินกำรของธุรกิจนั้น เช่นโรงพยำบำลอำจจะพัฒนำระบบกำร เตือนผูป้ ่ วยในแต่ละช่วงเวลำที่อำจเกิดโรคต่ำงๆ เป็ นต้น ดังนั้นกำรตัดสิ นด้ำน กำรบริ หำรต่ำงๆ เช่น กำรจัดเตรี ยมยำรักษำโรคที่จำเป็ นให้เพียงพอกับทุก สถำนกำรณ์ ซึ่ งจำเป็ นต้องอำศัยข้อมูลเปรี ยบเทียบในแต่ละช่วงเวลำ เพื่อกำร วำงแผนและตัดสิ นใจอย่ำงถูกต้อง 27 Company name ความแตกต่ างระหว่าง Data Warehouse กับ Operational database คุณลักษณะของข้ อมูลในคลังข้ อมูล Non-Volatile Data ข้อมูลในคลังข้อมูลเป็ นข้อมูลที่ คงอยู่ตลอดไปไม่ว่ำข้อมูลจะเก่ำเพี ยงใด ข้อมูลจะไม่ถูกลบออก ทั้งนี้ เพื่อให้กำรวิเครำะห์ขอ้ มูลแบบ Time-Series Data Analysis ให้ผลลัพธ์ที่มีประสิ ทธิ ภำพ อย่ ำ งไรก็ ต ำม แม้ข ้อ มู ล จะไม่ ถู ก ลบจำกคลัง ข้อ มู ล แต่ เ รำสำมำรถ เปลี่ยนแปลงรู ปแบบกำรจัดเก็บได้ เพื่อให้ขอ้ มูลมีขนำดเล็กลง เรี ยกกระบวนกำร นี้วำ่ Data Packing 28 14 1/17/2014 คลังข้อมูล (Data Warehouse Definition) Company name Non-Volatile Data OLTP LOADS Data Database Read Warehouse Add / Change / Delete Read 29 คลังข้อมูล (Data Warehouse Definition) Company name วัตถุประสงค์ ลักษณะข้อมูล โครงสร้ำงข้อมูล คุณภำพข้อมูล Data Warehouse Operational Database สนับสนุนกำรตัดสิ นใจ ขึ้นอยูก่ บั ลักษณะงำน 1. ส่วนใหญ่เป็ นข้อมูลสรุ ปหรื อ 1. เป็ นข้อมูลที่ลง ผลรวมซึ่งจะเป็ นตัวเลข รำยละเอียดมีท้ งั ตัว เลขและตัวอักษร 2. เป็ นข้อมูลอดีตและปัจจุบนั 2. เป็ นข้อมูลปั จจุบนั 3. ข้อมูลเคลื่อนไหวเป็ นระยะๆ 3. ข้อมูลเคลื่อนไหว (Batch Processing) ตลอดเวลำ (Real Time Transaction) เปลี่ยนแปลงตำมควำมต้องกำร ไม่เปลี่ยนแปลง เน้นควำมสอดคล้องของข้อมูล เน้นควำมถูกต้องของข้อมูล 30 15 1/17/2014 คลังข้อมูล (Data Warehouse Definition) Company name กำรเข้ำถึงข้อมูล และจำนวนผูใ้ ช้ กำรเก็บรวบรวม ข้อมูล กำรประมวลผล Data Warehouse 1. จำนวนข้อมูลขนำดใหญ่ 2. อ่ำนได้อย่ำงเดียว (read only data) 3. จำนวนผูใ้ ช้เป็ นหลักร้อย 1. เก็บข้อมูลสรุ ปรวมตำม เวลำหรื อตำมหมวดหมู่ 2. เก็บข้อมูลตำมหัวข้อ OLAP Operational Database 1. จำนวนข้อมูลเล็กกว่ำ DW 2. อ่ำนและเขียนได้ 3. จำนวนผูใ้ ช้เป็ นหลัก 1000 1. เก็บข้อมูลรำยละเอียด 2. เก็บข้อมูลตำมลักษณะ งำน OLTP 31 คลังข้อมูล (Data Warehouse) Company name ถ้ าองค์ กรมีคลังข้ อมูลหลาย ๆ อันเพือ่ ใช้ ในการวิเคราะห์ ต่าง ๆ แตกต่ างกันไป เช่ นคลังข้ อมูลด้ านการเงิน และ คลังข้ อมูลด้ านทรัพยากร มนุษย์ เรามักเรี ยกคลังข้ อมูลเฉพาะด้ านเหล่ านีว้ ่ า ตลาดข้ อมูล (Data Mart) สาเหตุทตี่ ้ องมีการสร้ าง Data Mart ได้ แก่ มีความเร็วใน query สู ง เพราะว่ ามีข้อมูลน้ อย มีการแย่ งข้ อมูลระหว่ างผู้ใช้ ระบบด้ วยกันน้ อย และสามารถปรับปรุ งข้ อมูลได้ อย่ างรวดเร็ว 32 16 1/17/2014 คลังข้อมูล (Data Warehouse) Company name องค์ ประกอบหลักๆของคลังข้ อมูล Data Sources Staging Areas Data Warehouse Database Data Marts Data Usage Data Warehouse 33 คลังข้อมูล (Data Warehouse ) Company name องค์ ประกอบหลักๆของคลังข้ อมูล Data Sources ได้แก่ Operational database, spreadsheet หรื อ text file เป็ นต้น ทั้งนี้ยงั รวมถึงข้อมูลภำยนอกองค์กรที่เกี่ยวข้องกับกำรดำเนินธุรกิจ Staging Areas เนื่ องจำกข้อมูลอำจมีควำมหลำกหลำย ทั้งในแง่ของมำตรฐำน และรู ปแบบกำรจัดเก็บ และอำจมีควำมซ้ ำซ้อนกัน ดังนั้นข้อมูลจึ งจำเป็ นต้องถูก ปรั บ ให้ เ ข้ำ กับ มำตรฐำนของคลัง ข้อ มู ล ก่ อ นที่ โดยจะมี ก ระบวนกำร ETL (Extract Transform Load) ที่ทำหน้ำที่เป็ นพักข้อมูล รวมข้อมูล ขณะที่ถูกปรับ ให้เข้ำกับมำตรฐำนของคลังข้อมูล Data Warehouse Database เป็ นฐำนข้อมูลที่ทำหน้ำที่ในกำรจัดเก็บข้อมูล ทำงธุ รกิจขององค์กร Data Warehouse Database จัดเป็ นส่ วนที่มีควำมสำคัญ ที่สุดของคลังข้อมูล 34 17 1/17/2014 คลังข้อมูล (Data Warehouse Definition) Company name องค์ ประกอบหลักๆของคลังข้ อมูล Data Mart เป็ นพื้นที่สำหรับจัดเก็บข้อมูลที่มีโครงสร้ำงที่เหมำะสมต่อกำรใช้ งำนเพื่อรองรับ single business process เช่น เฉพำะงำนในแผนกใดแผนกหนึ่ ง โดยข้อมูลใน Data Mart เป็ นส่วนย่อยของข้อมูลใน DW ทำให้ใช้เวลำน้อยในกำร พัฒนำ อีกทั้งกำรประมวลผลที่รวดเร็ วกว่ำ 35 บทนำ (Introduction) Company name มาร์ ทข้ อมูล (Data Marts) มำร์ทข้อมูล คือ คลังข้อมูลย่อยๆของระดับแผนก ในองค์กรอำจจะมีคลังข้อมูล ขององค์กรและในแต่ละแผนกอำจจะมีมำร์ทข้อมูลของแผนกนั้นๆด้วย Data Mart Files Data Warehouse Database Data Mart Database Data Mart External Data Data Mart 36 18 1/17/2014 คลังข้อมูล (Data Warehouse Definition) Company name ขอบเขต หัวข้อที่สนใจ แหล่งข้อมูล ระยะเวลำในกำร วำงระบบ Data Warehouse Data Mart ทั้งองค์กร เฉพำะแผนกหรื อส่วนงำน มีควำมหลำกหลำยมำกกว่ำ มีควำมหลำกหลำยน้อยกว่ำ มำจำกหลำยแหล่งข้อมูลมำกกว่ำ แหล่งข้อมูลน้อยกว่ำ ใช้เวลำนำนขึ้นกับขนำดของ ใช้เวลำพัฒนำน้อยกว่ำเพรำะ องค์กร สนใจเฉพำะแผนก 37 คลังข้อมูล (Data Warehouse Definition) Company name ข้ อควรระวังระหว่ าง DW และ Data Mart Data Mart ไม่ ใช่ Data Warehouse Data Mart ไม่ ใช่ Data Warehouse ขนาดเล็ก กลุ่มของ Data Mart ไม่ ใช่ Data Warehouse Data Warehouse ไม่ ใช่ Decision Support System 38 19 1/17/2014 คลังข้อมูล (Data Warehouse Definition) Company name กระบวนการคลังข้ อมูล (Data Warehousing) Data Propagation Data Sources Staging Areas Data Warehouse Database Data Marts Data Usage Metadata 39 คลังข้อมูล (Data Warehouse Definition) Company name กระบวนการคลังข้ อมูล (Data Warehousing) 40 20 1/17/2014 Company name ประเภทแบบจำลอง แบบจำลองข้อมูลลำดับชั้น (Hierarchical Data Model) แบบจำลองข้อมูลเครื อข่ำย (Network Data Model) แบบจาลองข้ อมูลเชิ งสั มพันธ์ (Relational Data Model) แบบจำลองข้อมูลเชิงวัตถุ (Object-Oriented Data Model) แบบจาลองข้ อมูลหลายมิติ (Multidimentional Data Model) 41 แบบจำลองข้อมูล (Data Model) Company name แบบจาลองข้ อมูล (Data Model) • คือสิ่ งที่ทำให้ทรำบว่ำข้อมูลขององค์กรมีอะไรบ้ำง มีโครงสร้ำง อย่ำงไร สัมพันธ์กนั อย่ำงไร วัตถุประสงค์ (Objectives) • เพื่อแสดงโครงสร้ำงข้อมูล ก่อนที่จะสร้ำงโครงสร้ำงข้อมูลจริ งบน Data Warehouse Database • เพื่อใช้เป็ นเครื่ องมือในกำรสื่ อสำรทำควำมเข้ำใจกับบุคลำกรใน องค์กร • เพื่อใช้เป็ นเครื่ องมือในกำรสื่ อสำรทำควำมเข้ำใจภำยในทีมผูพ้ ฒั นำ องค์กร • เพื่อนำไปขยำยผลในกำรสร้ำงส่ วนอื่นๆของคลังข้อมูลต่อไป 42 21 1/17/2014 แบบจำลองข้อมูล (Data Model) Company name แบบจาลองข้ อมูลทีน่ ิยมใช้ สาหรับ Data Warehouse ในปัจจุบันมี 2 แบบ 1. Relational Data Model 1) Classification Abstraction 2) Aggregation Abstraction 3) Association Abstraction 4) Generalization Abstraction หรือ Specialization Abstraction 2. Dimensional Data Model 1) Measure Dimension Facts and Fact Table 2) Star Schema 3) Snowflake Schema 43 4) OLAP and Cubes Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) การออกแบบ Relational Data Model มีจุดมุ่งหมายเพือ่ • แสดงความสั มพันธ์ ของข้ อมูลต่ างๆ ทีม่ ีอยู่ในองค์ กร • บางครั้ง เนื่องจากความซับซ้ อนของข้ อมูลมีมากดังนั้นจึงทาให้ การ ค้ นหาข้ อมูลเป็ นไปได้ ด้วยความยากลาบาก บางกรณีอาจต้ องเขียน โปรแกรมทีซ่ ับซ้ อนเพือ่ ดึงข้ อมูล • เพือ่ ความสะดวกจึงมีการคิดค้ น Data Model แบบใหม่ ทเี่ หมาะสาหรับ แสดงผลลัพธ์ ทีเ่ รียกว่า Multidimensional Data 44 22 1/17/2014 แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Company name Primary Key คือ Attribute สาหรับระบุความแตกต่ างระหว่ างข้ อมูลใน Entity เดียวกัน เช่ น ID Son Son ID Son Name 45 แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Company name Foreign Key คือ Attribute สาหรับอ้างอิงความสั มพันธ์ ระหว่าง Entity โดย Foreign Key ทีอ่ ยู่ใน Entity ตัวหนึ่งจะเป็ น Primary Key ของ Entity ทีส่ ั มพันธ์ กนั Son Mother Son ID Mother ID Mother ID Mother Name Son Name 46 23 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) การออกแบบ Data Model เพือ่ เอือ้ ต่ อการเก็บ Historical Data เช่ น รายงานยอดขาย 20/12/2008 สิ นค้ำอุปโภค ของเล่น สิ นค้ำฟุ่ มเฟื อย เครื่ องใช้ไฟฟ้ ำ 10,000 บำท 3,000 บำท 1,200 บำท 4,500 บำท 47 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) วันที่ 30 เรียกดูรายงาน 20/12/2008 สิ นค้ำอุปโภค ของเล่น สิ นค้ำฟุ่ มเฟื อย เครื่ องใช้ไฟฟ้ ำ 10,000 บำท 3,000 บำท 1,200 บำท 3,500 บำท 48 24 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Sales Sale_History Branch ID Sale Date Goods Type Sales Account Branch ID Sale Date Goods Type Sales Account Ineffective Date 49 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Table Sales Branch_ID A A A A Sale_Date 20/12/2008 20/12/2008 20/12/2008 20/12/2008 Goods_Type สิ นค้ำอุปโภค ของเล่น สิ นค้ำฟุ่ มเฟื อย เครื่ องใช้ไฟฟ้ ำ Sale_Amount 10,000 3,000 1,200 4,500 Table_Sale_History Branch_ID Sale_Date Goods_Type Sale_Amount Ineffective_Date 50 25 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Table Sales (30/12/2008) Branch_ID A A A A Sale_Date 20/12/2008 20/12/2008 20/12/2008 20/12/2008 Goods_Type สิ นค้ำอุปโภค ของเล่น สิ นค้ำฟุ่ มเฟื อย เครื่ องใช้ไฟฟ้ ำ Sale_Amount 10,000 3,000 1,200 3,500 Table_Sale_History Branch_ID A Sale_Date 20/12/2008 Goods_Type เครื่ องใช้ไฟฟ้ ำ Sale_Amount 4,500 Ineffective_Date 30/12/2008 51 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Table Sales (20/1/2009) Branch_ID A A A A Sale_Date 20/12/2008 20/12/2008 20/12/2008 20/12/2008 Goods_Type สิ นค้ำอุปโภค ของเล่น สิ นค้ำฟุ่ มเฟื อย เครื่ องใช้ไฟฟ้ ำ Sale_Amount 10,000 3,000 1,200 3,500 Table_Sale_History Branch_ID A A Sale_Date 20/12/2008 20/12/2008 Goods_Type เครื่ องใช้ไฟฟ้ ำ เครื่ องใช้ไฟฟ้ ำ 52 Sale_Amount 4,500 3,500 Ineffective_Date 30/12/2008 20/12/2008 26 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) ฐานข้ อมูลหลายมิติ (Multidimensional Database) • ช่วยให้ขอ้ มูลที่รวบรวมไว้สำมำรถถูกเรี ยกใช้ได้หลำยมุมมอง • สำมำรถวิเครำะห์ขอ้ มูลเพื่อนำมำใช้ในกำรสนับสนุนกำรตัดสิ นใจได้รวดเร็ ว และได้ประสิ ทธิ ผลที่ดีข้ ึน • ข้อมูลจะถูกเก็บเป็ นรู ปแบบของ Array หลำยมิติ หรื อเรี ยกว่ำ Data Cube • ผูใ้ ช้เข้ำไปเขียนข้อมูลได้เพียงทีละคนเท่ำนั้นแต่อนุญำตให้ query ได้ทีละ หลำยคน •โปรแกรมกำรประมวลผลเพื่อกำรวิเครำะห์แบบออนไลน์ (OnLine Analytical Processing, OLAP) 53 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) CUBE • Cube คือโครงสร้ำงพื้นฐำนของ DW • DW สำมำรถมีได้มำกกว่ำ 1 Cube • ผูใ้ ช้สำมำรถเข้ำถึงข้อมูลได้หลำกหลำยมุมมอง (Dimension) 54 27 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) 55 Company name อย่ำงไรก็ตำมฐำนข้อมูลหลำยมิติกย็ งั มีขอ้ จำกัด เช่น มำตรฐำนกำร อินเตอร์เฟสเป็ นแบบเฉพำะตัว (proprietary) อำจทำให้ไม่เหมำะกับข้อมูลที่มี ปริ มำณมำกๆ และมีรำยละเอียดมำกๆ เป็ นต้น Measures • ตัวชี้วดั ประสิ ทธิ ภำพขององค์กร ตัวอย่ำงประเภทได้แก่ จำนวน ปริ มำณ ขนำด ระยะเวลำ เป็ นต้น • Measure ต้องมีตอ้ งมีชนิดของข้อมูลเป็ นตัวเลขเสมอ • สำมำรถบวกเพิ่มเพื่อหำผลรวมได้ (Aggregation calculation) • ข้อมูลเชิงตัวเลขอำจไม่สำมำรถเป็ น Measure ได้ เช่น ... 56 28 1/17/2014 Company name Dimension • มิติหรื อมุมมอง (Dimension) คือ สิ่ งที่ใช้ตีควำมหรื อระบุที่มำของ measure หรื อ ต้องกำรดูค่ำ measure แบบใด เช่น ยอดขำยรำยเดือน ยอดขำยตำมชนิดของสิ นค้ำ เป็ นต้น Dimension • Time Dimension • Person Dimension • Sale Channel Dimension • Product Dimension 57 • Employee Dimension Company name Dimension • Year – Semester – Quarter – Month – Day • Product Category – Product Subcategory - Product • Country – Region – City 58 29 1/17/2014 Company name Facts and Fact Table • Fact หมำยถึงเหตุกำรณ์หรื อสิ่ งที่เกิดขึ้นที่มำจำกควำมสัมพันธ์ ระหว่ำง measure กับ dimension ที่ทำให้เกิดค่ำใดค่ำหนึ่งที่มี ควำมหมำยสำมำรถวัดค่ำได้ และบอกเล่ำข้อเท็จจริ งอย่ำงใดอย่ำง หนึ่ง • 1 fact แทนได้จำก 1 transaction หรื อ 1 event Fact Table ประกอบด้ วย • Fact Identifier • Dimension Keys • Measures • Supportive (Additional) Attributes 59 แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Company name Measures Dimensions Facts and Fact Table Dimension Fact 1 Fact 2 Fact 3 Measure วันที่ ร้ านค้า ประเภทสิ นค้า ยอดขาย (บาท) 12/6/2545 ร้ำน ก ของเล่น 5000 13/6/2545 ร้ำน ก ของเล่น 7000 13/6/2545 ร้ำน ข สิ นค้ำบริ โภค 5500 60 30 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Measures Dimensions Facts and Fact Table ประเภท Measure 1 Measure 2 Dimension 1 ชื่อ ยอดขำย จำนวนสิ นค้ำทีขำย ประเภทสิ นค้ำ ค่าที่เป็ นไปได้ จำนวนจริ ง จำนวนเต็ม สิ นค้ำบริ โภค สิ นค้ำ ควบคุม ฯลฯ Dimension 2 วันที่ 5 มกรำคม 2548 , เดือนสิ งหำคม 61 Multidimensinal Data Modeling Company name การสร้ าง Multidimensional Data Model • What is the users want to see? • Business Question • (Candidate) Measure • (Candidate) Dimension • (Candidate) Fact • Grains of dimensions, and granularities of measures and facts • Dimension Hierarchies 62 31 1/17/2014 Multidimensinal Data Modeling Company name Example: Users analyzing the performance of the movie theater ticket selling process will basically be interested in the numbers of tickets sold. This leads us to the data item labeled QTY_Tickets_Sold as a candidate measure for the multidimensional data model. What is the users want to see? Quantity of Sales Other performance indicator: revenue, possible discounts being given per sale, tickets being handed out for free, and so forth 63 Multidimensinal Data Modeling Company name Business Question • ยอดขำยตัว๋ หนังประจำปี เป็ นอย่ำงไร • ยอดขำยตัว๋ หนังแยกเป็ นไตรมำศเป็ นอย่ำงไร • วันไหนในหนึ่งสัปดำห์ที่ขำยตัว๋ หนังได้มำกที่สุดในสำมเดือนแรก • วันไหนในหนึ่งสัปดำห์ที่ขำยตัว๋ หนังได้ต่ำที่สุด ในสำมเดือนแรก • สำขำไหนที่ขำยตัว๋ หนังได้มำกที่สุดในครึ่ งปี นี้ • สำขำไหนที่ขำยตัว๋ หนังได้มำกที่สุดในครึ่ งปี นี้ • ยอดขำยตัว๋ หนังแยกประเภทกำรขำยเป็ นอย่ำงไร • อื่นๆ 64 32 1/17/2014 Multidimensinal Data Modeling Company name Measure 65 Multidimensinal Data Modeling Company name Dimensions 66 33 1/17/2014 Multidimensinal Data Modeling Company name Dimensions 67 Multidimensinal Data Modeling Company name Facts and Fact Table 68 34 1/17/2014 Multidimensinal Data Modeling Company name Facts and Fact Table • Fact ID : MOVIE SALES KEY • Dimension Keys: MOVIE KEY, DAY KEY and THEATER ID • Measures: SALES UNITS • Supportive Attributes: SALES USD, SALE EUR 69 Multidimensinal Data Modeling Company name Grains of dimensions, and granularities of measures and facts • Grain ใน Dimension คือ ระดับที่ต่ำที่สุดของ Dimension • Granularity ใน Measure คือ ระดับที่ต่ำที่สุดในกำรบันทึก รำยละเอียดที่ได้จำกค่ำที่ระบุจำกทุกๆGrain เพื่อนำมำวิเครำะห์ Measure • The finer the granularity, the more detailed the information analysis can be performed • The finer the granularity, the more the volume of the data will be recorded 70 35 1/17/2014 Multidimensinal Data Modeling Company name • Granularities of measures and facts • The size of DW or Data Mart • The performance and resource consumption of the user analysis Dimension Hierarchies • Dimension : one or more dimension hierarchies • Each dimension hierarchy can include several aggregation levels 71 Multidimensional Data Modeling Company name 72 36 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Another Example An automobile manufacturer wants to increase sale volumes by examining sales data collected throughout the organization. The evaluation would require viewing historical sales volume figures from multiple dimensions such as - Sales volume by model - Sales volume by color - Sales volume by dealer - Sales volume over time Company name 73 แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Relational Structure 74 37 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Multidimensional Structure 75 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Schemas for Dimensional Data Model or Dimension Model • Star Schema • Snowflake Schema 76 38 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Star Schema 77 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Star Schema 78 39 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Star Schema 79 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Star Schema 80 40 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Star Schema Date Date Id Dd/mm/yyyy Sales Shop Id Shop Product Shop Id Product Id Product Id Shop Name Date Id Product Name Sales Amount 81 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) แสดงโครงสร้ าง Shop Name Product Id Product Name 001 aaa 112 Potato 002 bbb 113 Cake 003 ccc 114 Biscuit Shop Id Shop Id Product Id Date Id Sales Amount 001 112 2130 800 001 113 2156 900 002 113 2156 700 003 114 2156 600 Date Id DD/MM/YYYY 2130 13/01/2008 2165 14/01/2008 2174 15/01/2008 82 41 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Star Schema 83 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Star Schema 84 42 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) • Snowflake Schema 85 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) • Snowflake Schema 86 43 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Snowflake Schema Region Date Product Type Region Id Date Id Product Type Id Region Name Dd/mm/yyyy Product Type Name Shop Region Id Shop Id Shop Name Sales Product Region Id Product Type Id Shop Id Product Id Product Type Id Product Name Product Id Date Id Sales Amount 87 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Snowflake Schema 88 44 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Snowflake Schema 89 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Star Schema Denormalized Model Easy for user to understand Snowflake Schema Normalized Model Quite complex for user to understand Fast response to queries More flexible to requirements Simple metadata More complex metadata Suitable for multidimensional data Not suitable for multidimensional model data model Does not support to history support to history 90 45 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) constellation schema 91 Company name Online-Analytic Processing OLAP and Cubes OLTP & OLAP 92 46 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name กำรเข้ำถึงข้อมูล และจำนวนผูใ้ ช้ กำรเก็บรวบรวม ข้อมูล กำรประมวลผล Data Warehouse 1. จำนวนข้อมูลขนำดใหญ่ 2. อ่ำนได้อย่ำงเดียว (read only data) 3. จำนวนผูใ้ ช้เป็ นหลักร้อย 1. เก็บข้อมูลสรุ ปรวมตำม เวลำหรื อตำมหมวดหมู่ 2. เก็บข้อมูลตำมหัวข้อ OLAP Operational Database 1. จำนวนข้อมูลเล็กกว่ำ DW 2. อ่ำนและเขียนได้ 3. จำนวนผูใ้ ช้เป็ นหลัก 1000 1. เก็บข้อมูลรำยละเอียด 2. เก็บข้อมูลตำมลักษณะ งำน OLTP 93 Online-Analytic Processing OLAP and Cubes Company name การประมวลผลธุรกรรมออนไลน์ (Online Transactional Processing, OLTP) และ การประมวลผลเชิงวิเคราะห์ ออนไลน์ (Online Analytical Processing, OLAP) - OLTP เป็ นกำรประมวลผลที่จดั กำรกับข้อมูลปัจจุบนั เป็ นหลักซึ่ ง แตกต่ำงจำก OLAP ที่จดั กำรกับข้อมูลที่เก็บในคลังข้อมูล 94 47 1/17/2014 Company name ระบบการประมวลผลธุรกรรมออนไลน์ (Online Transactional Processing, OLTP) ระบบฐานข้ อมูลมักถูกสร้ างขึน้ เพือ่ ใช้ งานในระบบ OLTP ซึ่ง เป็ นการจัดการกับข้ อมูลปัจจุบัน รายงานทีส่ ร้ างจากระบบ OLTP จะมีการอัพเดทข้ อมูลให้ ทนั สมัย อยู่เสมอ แนวคิดการออกแบบระบบ OLTP มุ่งเน้ นให้ ระบบทางานได้ อย่ าง รวดเร็วและถูกต้ องพร้ อมทั้งรองรับการเข้ าถึงจากผู้ใช้ หลายๆคน พร้ อมกันเรียกว่ า ระบบมัลทิยูสเซอร์ 95 Company name ระบบการประมวลผลเชิงวิเคราะห์ ออนไลน์ (Online Analytical Processing, OLAP) ระบบ OLAP มุ่งเน้ นข้ อมูลประวัติของทรานแซ็กชัน ในช่ วง ระยะเวลาหนึ่งแตกต่ างจากระบบ OLTP ทีต่ ้ องมีการอัพเด็ทข้ อมูล อยู่เสมอเพือ่ เรียกดูข้อมูลในขณะนั้น ผู้ใช้ ระบบ OLAP ส่ วนใหญ่ จะเป็ นผู้บริหารหรือผู้ใช้ อนื่ ๆที่ ต้ องการข้ อมูลเชิงวิเคราะห์ ในการเรียกดูข้อมูลในระบบ OLAP ต้ องมีความรวดเร็วเนื่องจาก ต้ องจัดการกับข้ อมูลทีม่ คี วามจุขนาดใหญ่ ดังนั้นจึงอาจนา เทคโนโลยีการประมวลผลแบบขนานมาใช้ งานเพือ่ การประมวลผล มีความรวดเร็ว 96 48 1/17/2014 เปรียบเทียบการทางานระหว่าง OLTP กับ OLAP Company name OLTP จัดเก็บข้ อมูลปัจจุบัน ข้ อมูลที่จัดเก็บเป็ นข้ อมูลรายละเอียด OLAP จัดเก็บข้ อมูลย้ อนหลัง ข้ อมูลที่จัดเก็บเป็ นข้ อมูลรายละเอียด ข้ อมูลสรุ ป อย่ างง่ าย และข้ อมูลสรุ ปขั้นสู ง ข้ อมูลมีความเคลือ่ นไหวอยู่เสมอ เป็ นการประมวลผลซ้าๆที่มีโครงสร้ างชัดเจน ข้ อมูลคงที่ ใช้ ข้อมูลทรานแซกชันเป็ นตัวขับเคลือ่ น สนับสนุนการทางานในลักษณะวันต่ อวัน ให้ บริการผู้ใช้ เพือ่ ปฏิบัติงานพร้ อมกันจานวน มาก ใช้ การวิเคราห์ เป็ นตัวขับเคลือ่ น สนับสนุนการตัดสิ นใจเชิงกลยุทธ์ ให้ บริการผู้ใช้ งานในระดับผู้บริ หาร ซึ่งมีจานวน น้ อย เป็ นการประมวลผลแบบ Ad-Hoc แบบ ไม่ มีโครงสร้ างชัดเจน 97 Online-Analytic Processing OLAP and Cubes Company name Online-Analytic Processing (OLAP) and Cubes • คือ วิธีกำรที่ใช้ในกำรวิเครำะห์ขอ้ มูลด้วย Dimension และ Fact Table โดย Fact Table และ Dimension Table จะถูกประมวลผลสำหรับกำร นำไปใช้งำนโดยภำพที่ผใู ้ ช้เพื่อมองผลที่ได้จำกกำรประมวลผล จะอยูใ่ น รู ปลูกบำศก์หลำยมิติ (Multidimension) เรี ยกว่ำ Cube โดยจะมีจำนวนมิติ เท่ำกับจำนวน Dimension • OLAP is a software technology that enables analysts, managers, and executives (sometimes called knowledge workers) to access data using an easy and efficient query analysis tools 98 49 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name Online-Analytic Processing (OLAP) and Cubes • OLAP transforms raw data so that it reflects the real dimensionality of the enterprise as understood by user • OLAP is a decision support tool which enable sophisticated analysis of an organization’s performance by providing access to views which characterize the multidimensional nature of the enterprise [Codd et at 1993] 99 Online-Analytic Processing OLAP and Cubes Company name 2 st Dimension 2 st Dimension Online-Analytic Processing (OLAP) and Cubes 1 st Dimension 4 th Dimension 1 st Dimension 100 50 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name Online-Analytic Processing (OLAP) and Cubes Product ID 125 657 897 500 200 124 123 Shop ID Date ID 750 350 001 004 1567 1567 003 101 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Relational Structure 102 51 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Multidimensional Structure 103 Viewing Data - An Example Company name Sales Volumes M O D E L DEALERSHIP COLOR Assume that each dimension has 10 positions, as shown in the cube above 52 1/17/2014 Company name แบบจำลองข้อมูลแบบพหุมิติ (Multidimensional Data Model) Multidimensional Structure 105 Online-Analytic Processing OLAP and Cubes Company name Online-Analytic Processing (OLAP) and Cubes 106 53 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name Online-Analytic Processing (OLAP) and Cubes 107 Online-Analytic Processing OLAP and Cubes Company name Type of OLAP Server • Multidimensional OLAP (MOLAP) • Relational OLAP (ROLAP) • Hybrid OLAP (HOLAP) • Desktop OLAP(DOLAP) 108 54 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name Multidimensional OLAP (MOLAP) • ใน MOLAP จะทำกำรข้อมูลจำก Data Warehouse Database ที่จะต้องสอดคล้อง กับ Data Cube ที่เรำสร้ำงขึ้น โดยข้อมูลใน Data Warehouse Database จะถูก โหลดเข้ำมำเก็บไว้ใน Data Cube ผูใ้ ช้สำมำรถวิเครำะห์ขอ้ มูลได้โดยตรง ผ่ำน MOLAP ได้โดยตรง และหำกต้องกำรวิเครำะห์ขอ้ มูลชุดใหม่จะต้องทำกำรโหลด ข้อมูลลง Data Cube จึงประมวลผลต่อไป • ข้ อดี กำรดึงข้อมูลจำก MOLAP จะเร็ วมำกเพรำะไม่ตอ้ งคำนวณค่ำใดๆอีก MOLAP เหมำะกับงำนที่ถูกเรี ยกใช้บ่อย และไม่จำเป็ นต้องติดตำมกำร เปลี่ยนแปลงข้อมูลอย่ำงใกล้ชิด • ข้ อด้ อย 109 Online-Analytic Processing OLAP and Cubes Company name Multidimensional OLAP (MOLAP) • ข้อด้อย ข้อจำกัดในกำรโหลดข้อมูลเพรำะต้องขึ้นกับขนำดของ Data Cube ที่เรำ สร้ำงขึ้นด้วย ดังนั้นจึงเหมำะกับฐำนข้อมูลขนำดเล็ก อำจต้องลงทุนเพิ่มเกี่ยวกับ Cube Technology 110 55 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name Multidimensional OLAP (MOLAP) 111 Online-Analytic Processing OLAP and Cubes Company name Relational OLAP (ROLAP) • คือ OLAP หรื อ Cube ที่ไม่ตอ้ งมีกำรประมวลผล OLAP แต่ ประยุกต์ใช้ ฐำนข้อมูลเชิงสัมพันธ์ Relational Database • ROLAP เป็ นซอฟแวร์ในกำรดึงข้อมูลจำก Relational Database • กำรเรี ยกใช้ขอ้ มูลระบบสร้ำง Query ดึงข้อมูลจำก Fact Table • ข้อดี รองรับข้อมูลปริ มำณมำกๆได้กล่ำวคือสำมำรถรองรับได้เท่ำกับ ขนำดของ Relational Database ที่มีอยู่ ข้อมูลที่ได้จะมีควำมทันสมัยอยูเ่ สมอ 112 56 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name Relational OLAP (ROLAP) • ข้อด้อย เมื่อมีกำรเรี ยกใช้ขอ้ มูลระบบจะสร้ำง Query เพื่อดึงข้อมูลมำจำก Fact Table ซึ่งวิธีกำรนี้จะช้ำกว่ำกำรเรี ยกใช้ขอ้ มูลจำก MOLAP ROLAP ไม่เหมำะกับงำนที่ใช้งำนบ่อย แต่เหมำะกับระบบที่ตอ้ งติดตำม ควำมเป็ นไปของข้อมูลอย่ำงใกล้ชิด • Software: Microsoft Analysis Service, SAP Business Objects, Oracle Business Intelligence Suite Enterprise Edition 113 Online-Analytic Processing OLAP and Cubes Company name Hybrid OLAP (HOLAP) • คือ OLAP หรื อ Cube ที่มีกำรแบ่งพื้นที่ออกเป็ นส่ วนโดยแต่ ละส่ วนอำจใช้วธิ ีกำรจัดเก็บข้อมูลแบบ MOLAP และบำงส่ วน เก็บข้อมูลแบบ ROLAP • กำรใช้ HOLAP ช่วยให้กำรเข้ำถึงข้อมูลแบบ Drill Down เป็ นไปได้อย่ำงมีประสิ ทธิภำพมำกขึ้น โดย HOLAP จะใช้ MOLAP เพื่อจัดเก็บข้อมูลที่เป็ นข้อมูลสรุ ป และใช้ ROLAP เพื่อจัดเก็บข้อมูลที่เป็ นรำยละเอียด เช่น ใช้ MOLAP เก็บข้อมูล กำรขำยรำยภำคและรำยจังหวัด แต่ ROLAP เก็บข้อมูลกำรขำย รำยอำเภอและข้อมูลรำยรำยกำร 114 57 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name Desktop OLAP (DOLAP) • เป็ นกำรดึง Cube จำก Server มำเก็บไว้ที่ Client เลย จำกนั้นก็วเิ ครำะห์ ด้วย desktop เอง ทำให้ไม่ตอ้ งดึงข้อมูลส่ งไปมำทำให้ดูเหมือนว่ำน่ำจะ ทำงำนได้เร็ ว แต่ถำ้ ข้อมูลขนำดใหญ่ก็ยงั คงช้ำ เพรำะว่ำ desktop ไม่มี ทรัพยำกรที่เพียงพอในกำรจัดกำรกับข้อมูลขนำดใหญ่ 115 Company name OLAP Operations in the Multidimensional Data Model OLAP Operations • Roll Up และ Drill Down • Slice และ Dice 116 58 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name Roll Up และ Drill Down • คือกำรเปลี่ยนระดับควำมละเอียดในกำรพิจำรณำข้อมูล ซึ่ง วิธีกำรนี้จะใช้กบั Snowflakes Dimensional Data Model • Drill Down คือกำรเพิ่มควำมละเอียดในกำรพิจำรณำข้อมูลจำด ระดับที่หยำบไปหำระดับที่ละเอียดมำกขึ้น • Roll Up คือกำรพิจำรณำข้อมูล จำกระดับที่ละเอียดขึ้นมำระดับ ที่หยำบมำกขึ้น 117 Online-Analytic Processing OLAP and Cubes Company name Fact Table รำยกำรขำยสิ นค้ำ Region Shop Date Product Amount 12/12/2003 Product Type เครื่ องเขียน ภำคเหนือ A สมุด 5000 B 13/12/2003 ภำคเหนือ ภำคเหนือ สิ นค้ำบริ โภค ข้ำวสำร 1000 A 13/12/2003 เครื่ องเขียน ปำกกำ ภำคเหนือ 10000 B 12/12/2003 สิ นค้ำบริ โภค น้ ำดื่ม 7000 ภำคใต้ C 13/12/2003 เครื่ องเขียน ปำกกำ 6000 ภำคใต้ C 12/12/2003 เครื่ องเขียน สมุด 4000 ภำคใต้ C 13/12/2003 เครื่ องเขียน ยำงลบ 2000 ภำคใต้ C 13/12/2003 สิ นค้ำบริ โภค ข้ำวสำร 2000 118 59 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name Cube ที่ได้จำก Fact Table Region ภำคเหนือ ภำคเหนือ Product Type Product Shop A B ภำคใต้ C สิ นค้ าอุปโภค ข้ำวสำร เครื่องเขียน น้ ำดื่ม 1000 2000 สมุด ปำกกำ ยำงลบ 5000 10000 6000 2000 7000 4000 119 Online-Analytic Processing OLAP and Cubes Company name Region Sum ภำคเหนือ 31,000 ภำคใต้ 6,000 Product Type เครื่องเขียน สิ นค้ าอุปโภค ภำคเหนือ 23,000 8000 ภำคใต้ 4,000 2000 Roll Up Drill Down Region Product Type Roll Up Product สินค้าอุปโภค ข้ำวสำร Region Shop ภำคเหนือ A ภำคเหนือ B 1000 ภำคใต้ C 2000 น้ ำดื่ม เครื่องเขียน สมุด ปำกกำ 5000 10000 7000 6000 ยำงลบ Drill Down 2000 4000 120 60 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name Roll up and drill down 121 Online-Analytic Processing OLAP and Cubes Company name Drill Down 122 61 1/17/2014 Online-Analytic Processing OLAP and Cubes Company name Slice และ Dice • Slice คือ กำรเลือกพิจำรณำผลลัพธ์บำงส่ วนที่เรำสนใจ โดยเลือก ค่ำของบำง Dimension เช่น กำรดูรำยกำรสิ นค้ำจำกมุมมองของ ประเภทสิ นค้ำ เป็ นต้น • Slice ต่ำงจำก Drill Down and Roll Up ตรงที่กำร Slice สำมำรถทำ ได้ท้ งั Star Schema และ Snowflake Schema • Dice คือ กระบวนกำรดูขอ้ มูลด้วยกำรเปลื่ยนมุมมอง ให้ตรงกับ ควำมต้องกำรของผูบ้ ริ โภคเช่น กำรดูค่ำระหว่ำง Shop – Product Type หรื อ Shop – Product เป็ นต้น 123 OLAP คืออะไร มีรูปแบบการวิเคราะห์ข้อมูลอย่างไรOLAP (Online Analytical Processing) เป็นการวิเคราะห์ข้อมูลจากคลังข้อมูลเพื่อนำไปใช้ในการวิเคราะห์และสนับสนุนการตัดสินทางธุรกิจอย่างมีประสิทธิภาพ สามารถค้นหาคำตอบที่ต้องการ และสามารถแก้ปัญหาที่มีความซับซ้อนโดยใช้เวลาสั้นๆ ดังนั้นข้อมูลจะไม่มีการแก้ไขนำมาประมวลผลเป็น Summary Report ต่างๆ ลักษณะการวิเคราะห์ข้อมูลเป็นแบบ ... ระบบ OLTP และ OLAP มีความแตกต่างกันอย่างไรOLAP ใช้ข้อมูลในอดีตและข้อมูลที่รวบรวมจากหลายแหล่ง OLTP ใช้ข้อมูลแบบเรียลไทม์รวมถึงข้อมูลธุรกรรมจากแหล่งเดียว โครงสร้างข้อมูล OLAP ใช้ฐานข้อมูลหลายมิติ (คิวบ์) หรือฐานข้อมูลแบบเชิงสัมพันธ์ โครงสร้างข้อมูลใน OLAP นั้นมีโครงสร้างแบบใดสำหรับโครงสร้างของข้อมูล OLAP นั้นเป็นแบบลำดับชั้น (Hierarchical) ช่วยให้ผู้ใช้สามารถเข้าใจภาพรวมและความเกี่ยวข้องของข้อมูลในองค์กรได้ง่าย OLTP ย่อมาจากอะไรOLTP (On-Line Transaction Processing) คือ การประมวลผล ขอมูลตามลักษณะการปฏิบัติงานปกติของหนวยงานนั้นจาก ฐานขอมูล |