Data Architecture คืออะไร? ทำไมเราถึงควรรู้จักคำศัพท์คำนี้
เมื่อกระโจนเข้าสู่โลกของ Data & Information แล้ว ก็จะมีศัพท์ใหม่ๆ ให้เราได้เรียนรู้กันเรื่อยๆ ซึ่ง “Data Architecture” หรือ “สถาปัตยกรรมข้อมูล” ก็เป็นหนึ่งในเรื่องที่หากศึกษาเกี่ยวกับ Data แล้วก็จะพลาดไม่ได้
ยิ่งสำหรับองค์กรหรือคนที่ต้องทำงานเกี่ยวกับข้อมูล เรื่องนี้ถือเป็นอีกเรื่องจำเป็นที่จะช่วยให้เราจัดการกับข้อมูลได้อย่างเป็นระบบตั้งแต่ฐานราก
บทความนี้จะช่วยให้คุณเข้าใจแนวคิดของ “Data Architecture” หรือ “สถาปัตยกรรมข้อมูล” มากขึ้น ไปพร้อมกับเข้าใจถึงความสำคัญของการวางระบบข้อมูลในองค์กร ให้คุณได้นำไปใช้เป็นแนวทางในการเลือกเครื่องมือ หรือปรับใช้กระบวนการวางระบบในองค์กรต่อไป
Data Architecture คืออะไร?
Data Architecture คือ การออกแบบและวางระบบการจัดการข้อมูลในทุกกระบวนการ หรือหมายถึงการวาง workflow การไหลของข้อมูลภายในองค์กร ซึ่งอาจรวมทั้งงานฮาร์ดแวร์ ซอฟต์แวร์ รวมไปถึงหน้าที่ในการจัดการข้อมูลด้วย
คล้ายๆ กับ ‘สถาปนิก’ ที่ออกแบบอาคาร วางประตู กำหนดห้องต่างๆ ตามหน้าที่ (function) ให้สะดวกและเป็นระบบ
โดย Data Architecture มีหน้าที่ในการกำหนดโครงสร้างหรือ infrastructure สำหรับจัดการกับข้อมูลตั้งแต่ต้นน้ำยันปลายน้ำว่า ข้อมูลจะได้มาจากแหล่งไหน ถูกเก็บไว้ที่ใดและในรูปแบบใด จัดการกับข้อมูลอย่างไร จนไปถึงปลายน้ำคือการใช้ข้อมูล
ทั้งนี้ สำหรับรูปแบบของ Data Architecture ก็มีหลากหลายรูปแบบด้วยกัน ซึ่งแต่ละองค์กรก็อาจออกแบบสถาปัตยกรรมข้อมูลแตกต่างกันไป ตามลักษณะของข้อมูลและเป้าหมายในการใช้ข้อมูล
ในรูปตัวอย่างเป็นโครงรูปแบบสถาปัตยกรรมที่ดูเรียบง่ายที่เรียกว่า “Lambda Architecture” ประกอบไปด้วย 3 layers ได้แก่
1) Batch Layer กระบวนการประมวลผลข้อมูลแบบรายครั้ง (batch)
2) Speed Layer กระบวนการประมวลผลข้อมูลแบบ Real-time
3) Serving Layer หรือชั้นนำเสนอข้อมูลจากคำถามหรือโจทย์ที่ถูกคีย์เข้ามา (Query) นำเสนอเป็น Information ในรูปแบบต่างๆ หรือ Data Visualization แบบแดชบอร์ด
สำหรับการออกแบบ Data Architecture ในแต่ละองค์กร อาจระบุเทคโนโลยีจัดการข้อมูลที่จะใช้ในกระบวนการแต่ละกระบวนการไว้เพื่อระบุว่าต้องใช้อะไรบ้าง และเห็นภาพการทำงานและ workflow ของข้อมูลได้ชัดเจนยิ่งขึ้น
องค์ประกอบสำคัญของ Data Architecture แบ่งออกได้เป็น 3 ช่วง
หากคุณลองไปค้นหารูปภาพด้วยคำว่า “Data Architecture” หรือ “สถาปัตยกรรมข้อมูล” ในอินเทอร์เน็ต คุณจะพบกับรูปองค์ประกอบหรือ workflow ข้อมูลที่สลับซับซ้อน อย่างไรก็ตาม องค์ประกอบหลักๆ ของ Data Architecture เหล่านั้น สามารถแบ่งออกได้เป็น 3 ช่วงที่เข้าใจง่ายด้วยกัน ได้แก่
- Data Lake
- Data Warehouse
- Data Mart
1. Data Lake
Data Lake คือ แหล่งข้อมูลเปรียบเสมือนทะเลสาบที่กักเก็บข้อมูลทั้งหมดเอาไว้จากต้นทาง ซึ่งข้อมูลที่เก็บไว้จะเป็นข้อมูลที่มีความ “ดิบ” หรือ “original” ใกล้เคียงกับข้อเท็จจริงที่เก็บได้ เป็นข้อมูลที่ยังไม่มีการเปลี่ยนแปลง จัดหมวดหมู่ เรียบเรียง หรือผ่านกระบวนการจัดการข้อมูลใดๆ ทั้งสิ้น
องค์ประกอบของ Data Architecture ในช่วง Data Lake จึงเป็นเทคโนโลยีจำพวก Data pipeline, Cloud storage, APIs ฯลฯ ที่ใช้ดึงหรือเก็บข้อมูล
2. Data Warehouse
Data Warehouse หรือ แหล่งเก็บข้อมูลที่มีความสัมพันธ์กัน (relational data) มีการจัดหมวดหมู่ จัดเรียง ทำ Data Cleansing เป็นช่วงที่วิเคราะห์ข้อมูลต้นทางตามเป้าหมายของธุรกิจหรือองค์กรผ่านเครื่องมือวิเคราะห์และจัดการข้อมูลต่างๆ ทำให้ได้ข้อมูลที่พร้อมใช้งานมากขึ้นจากข้อมูลดิบใน Data Lake
เทคโนโลยีที่อยู่ในช่วง Data Warehouse ยกตัวอย่างเช่น Al & ML Model, Data Server, Data Management Software, Cloud computing, Analytics Tools ฯลฯ
3. Data Mart
Data Mart คือ ช่วงกระบวนการ/เทคโนโลยีที่ใช้จัดการและนำเสนอข้อมูล ข้อมูลที่ได้จาก Data Architecture ช่วงนี้ จะเป็นข้อมูลที่ผ่านการ Cleansing และจัดเรียงให้พร้อมใช้งาน สามารถใช้ในการนำเสนอ ทำรายงาน ใช้ตัดสินใจได้แล้ว เป็นหน้าต่างหรือ Dashboard ที่ผู้ใช้งานทั่วไปเข้าใจ สามารถใช้งานได้ โดยไม่จำเป็นต้องเป็นทีม IT หรือ Develper
เทคโนโลยีในช่วง Data Architecture นี้ จะคาบเกี่ยวระหว่างเทคโนโลยีใน Data Warehouse ยกตัวอย่างเช่น Data Management Software, Analytics Tools รวมไปถึงเทคโนโลยีอย่าง BI: Business Intelligence, CRM: Customer Relationship Management, ERP: Enterprise Resource Planning ฯลฯ ซึ่งเป็นเทคโนโลยีที่นักการตลาดหรือผู้บริหารสามารถใช้งานได้โดยจำเป็นต้องมีความรู้ในเชิงเทคนิคหรือ Coding
สถาปัตยกรรมข้อมูลหรือ Data Architecture มีความสำคัญอย่างไร
ใช่ว่าทุกองค์กรจะต้องการ Data Architecture เพื่อจัดการข้อมูล แต่ในทางกลับกัน หลายองค์กรที่ขับเคลื่อนธุรกิจ/องค์กรด้วยข้อมูล (data-driven) ก็มองข้ามขั้นตอนสำคัญในการวางแผนและออกแบบการจัดการข้อมูลอย่างเป็นระบบไป
เป้าหมายสำคัญของการออกแบบ Data Architecture คือ กำหนดโมเดล (model) ในการจัดการข้อมูลทั้งหมดองค์กร ระบุว่าต้องการข้อมูลจากไหน รูปแบบใด ผ่านเครื่องมือใด รวมถึงกระบวนการอื่นๆ ทั้งหมดที่เกี่ยวกับการจัดการข้อมูลตั้งแต่ต้นนำ้ (เก็บข้อมูล) จนปลายน้ำ (นำเสนอหรือใช้ข้อมูล)
ซึ่งจำเป็นอย่างยิ่งกับองค์กรที่ต้องจัดการกับข้อมูลปริมาณมหาศาล เช่น โรงพยาบาล โรงงาน หรือธุรกิจขนาดกลาง-ใหญ่ ฯลฯ เพื่อหลีกเลี่ยงปัญหาการจัดการกับข้อมูลในอนาคต ที่ยิ่งมีแต่จะมากขึ้นและซับซ้อนยิ่งขึ้น
นอกจากนี้ ประโยชน์ของการมี Data Architecture ยังช่วยให้องค์กรจัดการกับข้อมูลในแง่มุมต่างๆ ได้อีกมากมาย ไม่ว่าจะเป็น
- ช่วยให้องค์กรเข้าใจข้อมูลและการจัดการข้อมูลได้ดีขึ้น
- ช่วยให้มีแนวทางในการจัดการกับข้อมูลตั้งแต่การจัดเก็บ ไปจนถึงการแปลงเป็นสารสนเทศพร้อมใช้ประโยชน์
- ช่วยให้มีโครงสร้างสำหรับการพัฒนา ปรับปรุง หรือติดตั้งเทคโนโลยีใหม่ๆ ในการจัดการกับข้อมูล
- ช่วยให้สามารถสอบทานและเพิ่มความปลอดภัยของข้อมูลได้ (security and privacy)
- ช่วยให้องค์กรรวบรวมและเชื่อมต่อ (integration) ข้อมูลเข้าด้วยกันเพื่อให้ได้ข้อมูลเชิงลึกทางธุรกิจ (business insight) ได้แม่นยำมากขึ้น
- ช่วยให้จัดการกับข้อมูลที่อยู่ในรูปแบบที่แตกต่างกันได้ โดยการจัด architecture ให้แปลงข้อมูลมาอยู่ในรูปแบบ/ไฟล์ที่ต้องการโดยอัตโนมัติ
ลักษณะของ Data Architecture ที่ควรคำนึงถึงในการออกแบบ
เมื่อเข้าใจความสำคัญและเข้าใจถึงพื้นฐานแนวคิดการทำ Data Architecture กันแล้ว หากต้องการวางระบบข้อมูล สร้างเป็น workflow การไหลของข้อมูลบ้างล่ะ ควรเริ่มต้นอย่างไร?
หากองค์กรของคุณมีแผนก IT หรือหน่วยงานที่รับผิดชอบการจัดการกับข้อมูลโดยเฉพาะ อาจขอให้หน่วยงานนั้น ศึกษาเกี่ยวกับการทำ Data Architecture หรือการสร้างมาตรฐานในการจัดการกับข้อมูลขึ้น เพื่อใช้ในการดำเนินงาน และอาจศึกษาตัวอย่างและรูปแบบต่างๆ ของ Data Archutecrue จากองค์กรอื่นที่มีลักษณะงานใกล้เคียงกับองค์กรของคุณ จากนั้นจึงค่อยดำเนินการปรับใช้รูปแบบที่ออกแบบไว้
ในอีกมุมหนึ่ง หากคุณจ้างบริษัทจัดการข้อมูลหรือผู้ให้บริการข้อมูล อาจขอรับคำปรึกษาและร่วมออกแบบสถาปัตยกรรมข้อมูลที่ตรงกับเป้าหมาย และความต้องการทางธุรกิจของคุณ (business objectives and requirements)
อย่างไรตาม มีหลักการในการออกแบบ Data Architecture ที่เหมาะกับการบริหารข้อมูลปริมาณมหาศาลในปัจจุบันอยู่ด้วยกัน 5 ข้อ ที่คุณสามารถนำไปปรึกษากับทีมหรือพิจารณาเลือกผู้ให้บริการฯ ได้
1. สามารถคัดแยกข้อมูลที่มีคุณภาพได้ (Identify Valuable Data)
จากองค์ประกอบของ Data Architecture ในช่วง Data Lake องค์กรจะมีข้อมูลปริมาณมหาศาลให้จัดการ ซึ่งการออกแบบการจัดการข้อมูล ควรจะเริ่มต้นตั้งแต่การทำ Data Cleansing เพื่อคัดกรองเฉพาะข้อมูลที่จำเป็นและมีคุณค่าสำหรับองค์กรหรือเป้าหมายทางธุรกิจเท่านั้นให้เข้ามาในช่วง Data Warehouse เพื่อลดปริมาณข้อมูลที่ต้องประมวลผล ลดเวลาในการทำงาน และช่วยเพื่อความชัดเจนของข้อมูล
ดังนั้น องค์กรจึงควรนิยามข้อมูลคุณภาพ (valuable data) ที่ต้องการไว้ ซึ่งแปลงมาจากโจทย์และเป้าหมายทางธุรกิจ และออกแบบ Data Architecture ให้สามารถคัดแยกข้อมูลที่ต้องการออกมาได้ตั้งแต่ต้น
2. บริหารข้อมูลได้อย่างมีประสิทธิภาพและสอดคล้องกับการใช้งาน
ในช่วง Data Warehouse และ Data Mart เป็นช่วงที่เราจะเข้ามาใช้งานข้อมูล การออกแบบ architecture ในสองช่วงนี้ จึงต้องคำนึงถึงโจทย์การใช้ข้อมูลและผู้ใช้งานเป็นหลัก
ในช่วง Data Warehouse จะเป็นช่วงที่ข้อมูลต้องถูกจัดเรียงให้ทำความเข้าใจง่ายแล้ว และสามารถ sourcing เพื่อหาคำตอบหรือข้อสังเกตบางอย่างได้ง่าย โดยผู้ที่ใช้งานอาจเป็นได้ทั้งผู้ที่เกี่ยวข้องกับงาน IT หรือ Data Science ระบบที่นำมาใช้ควรจะอำนวยความสะดวกให้คน 2 กลุ่มนี้เป็นหลัก
ส่วนช่วงช่วง Data Mart ผู้ที่ใช้งานจะเป็นได้ตั้งแต่ผู้บริหาร นักการตลาด ลูกค้า หรือผู้ใช้งานทั่วไป เป็นช่วงที่นำเสนอข้อมูล ดังนั้น ในการออกแบบหรือเลือกซอฟต์แวร์เข้ามาใน architecture ช่วงนี้ จึงต้องมีหน้าต่างใช้งานหรือ interface ที่เข้าใจง่าย เห็นข้อมูลเป็น Visualized Data
3. สถาปัตยกรรมมีความยืดหยุ่น (Flexible System)
ข้อมูลมีแต่จะมากขึ้นและมีความเปลี่ยนแปลงอยู่เสมอ และไม่ว่าจะเป็นวิธีการจัดการกับข้อมูล เทคโนโลยี หรือวิธีการดำเนินธุรกิจและการตลาด ก็เปลี่ยนแปลงอยู่เสมอ ดังน้ัน หนึ่งในลักษณะสำคัญที่ Data Architecture ควรมีจึงเป็น ‘ความยืดหยุ่น’ (flexibility)
ความยืดหยุ่นในที่นี้ หมายถึง workflow หรือ architecture ที่เราออกแบบควรจะสามารถรองรับเทคโนโลยีใหม่ๆ เข้ามาแทนที่เทคโนโลยีที่ทำหน้าที่เดียวกันได้ในอนาคต ซึ่งสามารถ integrate กับเครื่องมืออื่นๆ ที่ยังอยู่ใน workflow ได้อยู่
นอกจากนี้ architecture ควรจะมีความยืดหยุ่นในการรับข้อมูล/ไฟล์ประเภทต่างๆ ที่หลากหลาย พร้อมสำหรับการประมวลผล หรือสามารถแปลงเป็นไฟล์ที่ระบบสามารถประมวลผลได้
4. รองรับระบบคลาวด์ (Cloud System) และบริหารข้อมูลได้แบบ Real-time
Data Architecture แบบโมเดิร์นในปัจจุบันได้เป็นระบบ Cloud-based กันหมดแล้ว เพราะองค์กรหลายองค์กรต้องการใช้ข้อมูลแบบปัจจุบันทันด่วน (real-time data) ในการประมวลผล นอกจากนี้ การวางระบบจัดการข้อมูลไว้บนคลาวด์ยังช่วยให้สามารถบริหารงานจากที่ใดก็ได้ สามารถเข้าถึงข้อมูลที่ต้องการได้ทันทีจากทุกที่ อีกทั้ง การสร้าง Data Warehouse ไว้บนคลาวด์ยังมีความปลอดภัยมากกว่าอีกด้วย
5. มีหน้า Interface ที่ Non-dev/IT สามารถใช้งานได้ง่าย
Data Architecture ช่วยให้เรามีแผนผังสำหรับรีวิวว่า การออกแบบการไหลของข้อมูลในองค์กรมีที่มาที่ไปอย่างไร และยังช่วยให้เรากลับมาทบทวนได้อีกด้วยว่า เทคโนโลยีที่ใช้สอดคล้องกับเป้าหมายองค์กรหรือไม่
แต่นอกจากนั้น อีกสิ่งที่ควรทบทวน คือ ‘ความยาก-ง่าย ในการใช้งาน’ เพราะในองค์กรทุกวันนี้ ไม่ใช่เพียงแค่ฝ่าย IT หรือฝ่ายข้อมูลเท่านั้นที่ใช้ข้อมูล ฝ่ายอื่นๆ ผู้บริหาร นักการตลาด หรือแม้กระทั่งลูกค้าเองก็ต้องการเข้าถึงข้อมูลเช่นเดียวกัน คนเหล่านี้ควรสามารถที่จะใช้งานผ่านหน้าต่างควบคุมได้ โดยที่ไม่จำเป็นต้องรอเจ้าหน้าที่ IT เพื่อปรับเปลี่ยน หรือ customize หน้าแดชบอร์ด การดึงและใช้ข้อมูลต่างๆ
สรุปท้ายบทความ: Data architecture และองค์กรของคุณ
แต่ละองค์กรและธุรกิจใช้ประโยชน์จากข้อมูล และพยายามจัดการข้อมูลอย่างเป็นระบบที่สุดด้วยการนำเทคโนโลยีต่างๆ เข้ามาใช้ดำเนินการ แต่ข้อมูลและเทคโนโลยีมีแต่จะเปลี่ยนแปลงและซับซ้อนยิ่งขึ้น การวางฐานรากการจัดการข้อมูลหรือทำ Data Architecture จึงสำคัญมากๆ
สถาปัตยกรรมข้อมูลหรือ Data Architecture คือ แผนผังสำหรับกำหนดมาตรฐานในการรวบรวมข้อมูล จัดเก็บ จัดการ ประมวลและวิเคราะห์ข้อมูล ตลอดจนการนำเสนอข้อมูลให้องค์กร และผู้ใช้งานสามารถเข้าถึงข้อมูลที่มีคุณภาพได้อย่างรวดเร็ว โดยสถาปัตยกรรมข้อมูลที่ดีนั้น จะต้องสอดคล้องกับเป้าหมายธุรกิจหรือกลยุทธ์ในการดำเนินงานขององค์กร
หากองค์กรของคุณก็ต้องการจัดการข้อมูลอย่างเป็นระบบตั้งแต่ฐานราก 1stCraft เป็นผู้ให้บริการซอฟต์แวร์จัดการข้อมูลเต็มรูปแบบ เราสามารถช่วยคุณออกแบบมาตรฐานในการจัดการข้อมูลในองค์กร พร้อมปรับแต่งซอฟต์แวร์จัดการของมูลของเราให้สอดคล้องกับเป้าหมายองค์กรของคุณได้
ปรึกษาเรื่องการจัดการกับข้อมูล การวางระบบจัดการข้อมูลกับเรา สามารถปรึกษาเราได้ฟรีที่นี่
