เซ็นเซอร์กำลังกลายเป็นสิ่งที่มีอยู่ทั่วไปมากขึ้นเรื่อย ๆ เนื่องจากราคาและความพร้อมใช้งานดีขึ้นอย่างต่อเนื่อง อย่างไรก็ตาม ข้อมูลจากเซ็นเซอร์นั้นไม่ง่ายนักและมีแนวโน้มที่จะเกิดสัญญาณรบกวนและการแทรกแซงอื่น ๆ ความซับซ้อนของข้อมูลจากเซ็นเซอร์นำไปสู่การรวมข้อมูลจากเซ็นเซอร์ (sensor fusion) ซึ่งมีเป้าหมายเพื่อให้มีประสิทธิภาพดีกว่าการใช้เซ็นเซอร์เพียงตัวเดียว โดยการปรับปรุงอัตราส่วนสัญญาณต่อสัญญาณรบกวน ลดความไม่แน่นอนและความคลุมเครือ และเพิ่มความน่าเชื่อถือ ความทนทาน ความละเอียด ความแม่นยำ และคุณสมบัติอื่น ๆ โดยใช้เซ็นเซอร์ที่เลือกมาเพื่อชดเชยจุดอ่อนของเซ็นเซอร์อื่น ๆ หรือเพื่อปรับปรุงความแม่นยำโดยรวมหรือความน่าเชื่อถือของกระบวนการตัดสินใจ ในการใช้งานส่วนใหญ่ ทรัพยากรการประมวลผลมีจำกัด และปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง (AI/ML) สามารถกำหนดกลยุทธ์การรวมข้อมูลจากเซ็นเซอร์ (fusion) ที่ดีที่สุดโดยอิงจากสภาวะการทำงานแบบเรียลไทม์ได้

คำถามที่พบบ่อยนี้จะทบทวนระดับการรวมข้อมูลและวิธีการสร้างแบบจำลองต่างๆ และนำเสนอแพลตฟอร์มบางส่วนสำหรับการพัฒนาและใช้งานแอปพลิเคชันการรวมข้อมูลจากเซ็นเซอร์ในอุตสาหกรรม 4.0 อินเทอร์เน็ตของสิ่งต่างๆ (IoT) และแอปพลิเคชันการมองเห็นด้วยเครื่องจักรและการประมวลผลภาพ การใช้งานการรวมข้อมูลจากเซ็นเซอร์สามารถแบ่งออกเป็นสามประเภทตามระดับนามธรรม:

การรวมข้อมูลในระดับข้อมูล (Fusion at the data level) คือการรวมหรือรวบรวมกระแสข้อมูลจากเซ็นเซอร์หลายตัวเข้าด้วยกัน ทำให้ได้ข้อมูลปริมาณมากขึ้น โดยมีสมมติฐานว่าการรวมแหล่งข้อมูลที่คล้ายคลึงกันจะส่งผลให้มีความแม่นยำและข้อมูลที่ดีขึ้น การรวมข้อมูลในระดับข้อมูลนี้ใช้เพื่อลดสัญญาณรบกวนและเพิ่มความทนทานต่อความผิดพลาด

การรวมข้อมูลในระดับคุณลักษณะใช้คุณลักษณะที่ได้มาจากโหนดเซ็นเซอร์อิสระหลายตัวหรือโหนดเดียวที่มีเซ็นเซอร์หลายตัว โดยจะรวมคุณลักษณะเหล่านั้นเข้าด้วยกันเป็นเวกเตอร์หลายมิติที่สามารถนำไปใช้ในอัลกอริธึมการจดจำรูปแบบได้ การมองเห็นด้วยเครื่องจักรและฟังก์ชันการระบุตำแหน่งเป็นแอปพลิเคชันทั่วไปของการรวมข้อมูลในระดับคุณลักษณะ

การผสานรวมในระดับการตัดสินใจจะรวมผลลัพธ์เฉพาะที่จากตัวจำแนกการตัดสินใจหลายตัวเข้าเป็นผลลัพธ์การตัดสินใจโดยรวมเพียงหนึ่งเดียว

มีการนำเสนอวิธีการต่างๆ ที่ใช้การเรียนรู้ของเครื่องเพื่อพัฒนาอัลกอริทึมการรวมข้อมูลจากเซ็นเซอร์ที่เหมาะสมที่สุด แนวทางหนึ่งคือการเปรียบเทียบผลลัพธ์ของวิธีการรวมข้อมูลจากเซ็นเซอร์หลายวิธีโดยใช้การทดสอบของฟรีดแมนเพื่อวิเคราะห์ความแปรปรวนตามลำดับ และวิธีการของโฮล์มเพื่อยอมรับและปฏิเสธสมมติฐานเกี่ยวกับวิธีการรวมข้อมูลที่ดีที่สุดแบบวนซ้ำ แนวทางนี้สามารถใช้ได้ผลดีเมื่อใช้เซ็นเซอร์จำนวนจำกัดในโดเมนที่ค่อนข้างง่าย เช่น การจดจำกิจกรรมของมนุษย์อย่างง่าย (SHAs) เมื่อโดเมนที่ซับซ้อนกว่า เช่น การจดจำการแสดงออกทางสีหน้าตามหลักไวยากรณ์ ต้องการเซ็นเซอร์เพิ่มเติม จะสามารถได้ผลลัพธ์ที่ดีขึ้นโดยการเพิ่ม 'ขั้นตอนการสรุปผล' ในขั้นตอนชุดข้อมูลลายเซ็นทางสถิติ(รูปที่ 1)ขั้นตอนการสรุปผลนี้จะรวมลายเซ็นทางสถิติของชุดข้อมูลจากโดเมนต่างๆ เข้าด้วยกัน ทำให้เกิดชุดข้อมูลเมตาขนาดใหญ่และสรุปผลได้ ซึ่งสามารถรองรับกิจกรรมการรวมข้อมูลจากเซ็นเซอร์ที่ซับซ้อนและมีประสิทธิภาพมากขึ้น

อัลกอริทึมการคำนวณถูกนำมาใช้ในการรวมข้อมูลจากเซ็นเซอร์ต่างๆ เพื่อรับข้อมูลจากเซ็นเซอร์หลายๆ ตัว และสร้างผลลัพธ์รวมที่มีความแม่นยำและมีประโยชน์มากกว่าข้อมูลจากเซ็นเซอร์แต่ละตัว อัลกอริทึมสามารถเชื่อมต่อกันเพื่อให้ได้ผลลัพธ์ที่ดียิ่งขึ้นเรื่อยๆ อัลกอริทึมการรวมข้อมูลจากเซ็นเซอร์มีลักษณะทั่วไปและอาจรวมถึง:

การปรับเรียบ (Smoothing)ใช้การวัดหลายครั้งเพื่อประมาณค่าของตัวแปร เช่น การระบุตำแหน่งด้วยดาวเทียมทั่วโลก (GPS) ทั้งแบบออฟไลน์หรือแบบเรียลไทม์

การกรองข้อมูลใช้การวัดค่าในปัจจุบันและในอดีตเพื่อกำหนดสถานะของตัวแปร เช่น ความเร็ว ในแบบเรียลไทม์

การประมาณสถานะการคาดการณ์จะวิเคราะห์ค่าที่วัดได้ก่อนหน้าของตัวแปรต่างๆ เช่น ทิศทางและความเร็วแบบเรียลไทม์ เพื่อคาดการณ์สถานะปัจจุบันหรืออนาคต เช่น ตำแหน่ง GPS

ตัวกรอง Kalman

ตัวกรอง Kalman ซึ่งเป็นรูปแบบหนึ่งของการประมาณค่าเชิงเส้นกำลังสอง เป็นอัลกอริธึมการรวมข้อมูลจากเซ็นเซอร์ที่ใช้กันทั่วไป มันทำงานแบบเรียกซ้ำ โดยต้องการเพียงค่าการวัดจากเซ็นเซอร์ในปัจจุบัน สถานะที่ประมาณค่าล่าสุด และความไม่แน่นอนที่ทราบแล้ว นอกจากการรวมข้อมูลจากเซ็นเซอร์แล้ว ตัวกรอง Kalman ยังเป็นพื้นฐานสำหรับอัลกอริธึมการเรียนรู้ของเครื่องบางอย่างอีกด้วย ตัวกรอง Kalman ทำงานในสองขั้นตอน:

• การทำนายจะประเมินตัวแปรสถานะปัจจุบันและความไม่แน่นอนต่างๆ เช่น ปัจจัยด้านสิ่งแวดล้อมและปัจจัยอื่นๆ ที่ส่งผลต่อการวัดค่าจากเซ็นเซอร์
• การอัปเดตจะขึ้นอยู่กับชุดการวัดเซ็นเซอร์ชุดถัดไปเมื่อตัวกรองอัปเดตสถานะที่คาดการณ์ไว้ โดยจะถ่วงน้ำหนักค่าประมาณโดยใช้ค่าความไม่แน่นอนที่คำนวณได้

นักพัฒนาการรวมข้อมูลจากเซ็นเซอร์สามารถใช้ตัวกรอง Kalman เพื่อให้ได้ข้อมูลที่ค่อนข้างแม่นยำจากสถานการณ์ที่มีความไม่แน่นอนโดยธรรมชาติ และเพื่อลดอคติ สัญญาณรบกวน และข้อผิดพลาดสะสม ตัวกรอง Kalman ใช้ในแอปพลิเคชันควบคุมการเคลื่อนที่เพื่อประมาณตำแหน่งเมื่อเวลาผ่านไปโดยใช้ข้อมูลในอดีตและเซ็นเซอร์รอง เช่น มาตรวัดความเร่งและไจโรสโคป เมื่อไม่มีข้อมูลจากแหล่งหลัก เช่น สัญญาณ GPS ตัวกรอง Kalman พบได้ทั่วไปในหุ่นยนต์เคลื่อนที่ โดรน และระบบ Industry 4.0 อื่นๆ

แพลตฟอร์มการรวมเซ็นเซอร์สำหรับอุตสาหกรรม 4.0 และ IoT

ด้วยจำนวนเซ็นเซอร์ที่เพิ่มขึ้นในระบบอุตสาหกรรม 4.0 ทำให้ความต้องการการรวมข้อมูลจากเซ็นเซอร์ (sensor fusion) เพิ่มมากขึ้น เพื่อทำความเข้าใจข้อมูลจำนวนมหาศาลที่เซ็นเซอร์เหล่านั้นสร้างขึ้น ผู้ผลิตจึงตอบสนองความต้องการนี้ด้วยอุปกรณ์รวมข้อมูลจากเซ็นเซอร์แบบบูรณาการ ตัวอย่างเช่น มีกล่องตรวจสอบสภาพอัจฉริยะ (intelligent condition monitoring box) ที่ออกแบบมาสำหรับการตรวจสอบสภาพเครื่องจักรโดยอาศัยการรวมข้อมูลจากเซ็นเซอร์วัดการสั่นสะเทือน เสียง อุณหภูมิ และสนามแม่เหล็ก นอกจากนี้ยังสามารถเพิ่มเซ็นเซอร์วัดความเร่ง ความเร็วรอบ และแรงกระแทกและการสั่นสะเทือนได้อีกด้วย

ระบบนี้ใช้การรวมข้อมูลจากเซ็นเซอร์ผ่านอัลกอริธึม AI เพื่อจำแนกสภาวะการทำงานที่ผิดปกติด้วยความละเอียดที่ดียิ่งขึ้น ส่งผลให้การตัดสินใจมีความน่าจะเป็นสูง(รูปที่ 2)สถาปัตยกรรม AI บนเครื่องปลายทางนี้สามารถลดความซับซ้อนในการจัดการข้อมูลขนาดใหญ่ที่เกิดจากการรวมข้อมูลจากเซ็นเซอร์ ทำให้มั่นใจได้ว่าเฉพาะข้อมูลที่เกี่ยวข้องมากที่สุดเท่านั้นที่จะถูกส่งไปยังโปรเซสเซอร์ AI บนเครื่องปลายทางหรือไปยังคลาวด์เพื่อการวิเคราะห์เพิ่มเติมและอาจนำไปใช้ในการฝึกอบรมอัลกอริธึม ML ได้

การใช้ AI/ML มีประโยชน์หลายประการ:

• อัลกอริทึม AI สามารถใช้การรวมข้อมูลจากเซ็นเซอร์หลายตัวเพื่อใช้ข้อมูลจากเซ็นเซอร์ตัวหนึ่งชดเชยจุดอ่อนของข้อมูลจากเซ็นเซอร์ตัวอื่นๆ ได้
• อัลกอริทึม AI สามารถจำแนกความสำคัญของเซ็นเซอร์แต่ละตัวต่อภารกิจเฉพาะ และลดหรือละเว้นข้อมูลจากเซ็นเซอร์ที่ถูกพิจารณาว่ามีความสำคัญน้อยกว่า
• ด้วยการฝึกฝนอย่างต่อเนื่องทั้งที่อุปกรณ์ปลายทางหรือบนคลาวด์ อัลกอริทึม AI/ML สามารถเรียนรู้ที่จะระบุการเปลี่ยนแปลงในพฤติกรรมของระบบที่ก่อนหน้านี้ไม่เคยได้รับการตรวจพบมาก่อนได้
• อัลกอริทึม AI สามารถคาดการณ์แหล่งที่มาของความล้มเหลวที่อาจเกิดขึ้นได้ ทำให้สามารถบำรุงรักษาเชิงป้องกันและปรับปรุงประสิทธิภาพการทำงานโดยรวมได้

ชุดอุปกรณ์รวมข้อมูลจากเซ็นเซอร์ (Sensor Fusion Kits) ก็มีให้ใช้งานสำหรับแอปพลิเคชัน IoT เช่นกัน บางชุดได้รับการออกแบบให้เป็นไปตามข้อกำหนด “Feather” ของ Adafruit โดยอิงจากข้อกำหนดของบอร์ดซึ่งเป็นส่วนหนึ่งของ “ระบบนิเวศ Adafruit Feather” ชุดอุปกรณ์นี้ประกอบด้วยแผงวงจรขนาดเล็กสองแผง ได้แก่ ตัวควบคุม “Feather” และส่วนรวมข้อมูลจากเซ็นเซอร์ “Feather Wing” ที่วางซ้อนอยู่บน Feather (รูปที่ 3) Wing ประกอบด้วยเซ็นเซอร์วัดความดันบรรยากาศที่มีความแม่นยำสูง ไมโครโฟน MEMS ที่มีอัตราส่วนสัญญาณต่อเสียงรบกวนสูง (High SNR) หน่วยวัดความเฉื่อย (IMU) และไมโครคอนโทรลเลอร์ ไมโครคอนโทรลเลอร์นี้รองรับ AI แบบ Edge Computing และสามารถประมวลผลข้อมูลจากไมโครโฟนและเซ็นเซอร์อื่นๆ ผ่านอัลกอริธึมการรวมข้อมูลจากเซ็นเซอร์ในพื้นที่เพื่อกระตุ้นการแจ้งเตือนหรือสัญญาณเตือน

ตัวควบคุม Feather Controller ที่ติดตั้งเฟิร์มแวร์ FreeRTOS ทำหน้าที่เป็นตัวควบคุม IoT ที่เชื่อมต่อกับ Wing ผ่าน Wi-Fi/Bluetooth ทำให้สามารถอัปโหลดข้อมูลเซ็นเซอร์ที่ผ่านการประมวลผลแล้วหรือข้อมูลดิบจาก Wing ไปยัง AWS Cloud เพื่อการประมวลผลเพิ่มเติมได้

ชุดอุปกรณ์รวมข้อมูลจากเซ็นเซอร์สำหรับเรดาร์และกล้อง

ผู้พัฒนาแอปพลิเคชันระบบช่วยเหลือผู้ขับขี่ขั้นสูง (ADAS), ยานยนต์ไร้คนขับ, ร้านค้าปลีกอัจฉริยะ, อุตสาหกรรม 4.0, หุ่นยนต์, อาคารอัจฉริยะ และเมืองอัจฉริยะ สามารถหันมาใช้ชุดเซ็นเซอร์ฟิวชั่นที่เปิดใช้งาน AI แบบโมดูล (AI-SFK) ซึ่งผสานรวมข้อมูลจากกล้องและเรดาร์ mmWave เพื่อการเรียนรู้เชิงลึกและการวิเคราะห์วิดีโอ(รูปที่ 4)ข้อมูลจากกล้องและเรดาร์ mmWave นั้นเสริมซึ่งกันและกัน และสนับสนุนการตรวจจับวัตถุ การจำแนกประเภท ระยะทาง ความเร็ว และพารามิเตอร์อื่นๆ แบบเรียลไทม์ เรดาร์ทำงานที่ความถี่ 77 GHz และกล้องสี 8 MP, 4K สามารถให้ภาพได้สูงสุด 21 เฟรมต่อวินาที

AI-SFK นี้สามารถลดเวลาในการพัฒนาได้อย่างมาก มีแผงแสดงผลสองแผงที่แสดงภาพวัตถุที่ตรวจจับได้ด้วยเซ็นเซอร์เรดาร์บนแผงหนึ่ง และวิดีโอที่บันทึกโดยกล้องในจุดเดียวกันบนอีกแผงหนึ่ง รองรับอินเทอร์เฟซฮาร์ดแวร์มาตรฐานหลากหลาย เช่น CAN และ USB ทำให้การรวม SFK นี้เข้ากับสภาพแวดล้อมการพัฒนาระบบโดยรวมง่ายขึ้น

ไลบรารี AI ที่มีให้ใช้งานนั้นครอบคลุมถึงแอปพลิเคชันด้านคอมพิวเตอร์วิชั่น กราฟิก และมัลติมีเดีย ชุดเครื่องมือนี้สามารถรวมเอาเซ็นเซอร์ชนิดอื่นๆ เช่น การถ่ายภาพความร้อนและ LiDAR และสามารถขยายเพิ่มเติมด้วยอัลกอริธึมการเรียนรู้ของเครื่องและการเรียนรู้เชิงลึกได้อีกด้วย

สรุป

การรวมข้อมูลจากเซ็นเซอร์เข้ากับ AI/ML ทำให้เกิดเครื่องมืออันทรงพลังที่จะช่วยเพิ่มประโยชน์สูงสุดเมื่อใช้เซ็นเซอร์หลากหลายประเภท การรวมข้อมูลจากเซ็นเซอร์ที่ได้รับการปรับปรุงด้วย AI/ML สามารถนำไปใช้ได้หลายระดับในระบบ รวมถึงระดับข้อมูล ระดับการรวม และระดับการตัดสินใจ ฟังก์ชันพื้นฐานในการใช้งานการรวมข้อมูลจากเซ็นเซอร์ ได้แก่ การปรับให้เรียบและกรองข้อมูลจากเซ็นเซอร์ และการคาดการณ์สถานะของเซ็นเซอร์และระบบ นักออกแบบมีชุดอุปกรณ์และแพลตฟอร์มการรวมข้อมูลจากเซ็นเซอร์มากมายให้เลือกใช้ เพื่อเร่งการพัฒนาของระบบการรวมข้อมูลจากเซ็นเซอร์ในแอปพลิเคชันต่างๆ รวมถึงอุตสาหกรรม 4.0, IoT, ยานยนต์, การประมวลผลภาพ และอื่นๆ