Google ประกาศฟีเจอร์ค้นหาด้วยเสียงและวิดีโอสำหรับ Google Lens ในงาน I/O 2024 เมื่อเดือนพฤษภาคม ที่ผ่านมา และล่าสุดบริษัทได้นำฟีเจอร์เหล่านี้มาใช้ใน Google Lens แล้ว
Google กำลังทยอยเปิดตัวฟีเจอร์นี้ใน Search Labs บน Android และ iOS แต่ถึงกระนั้น ณ ตอนนี้ ฟีเจอร์ค้นหาด้วยเสียงใน Lens ยังรองรับเฉพาะชุดคำถามที่เป็นภาษาอังกฤษ
ฟีเจอร์นี้จะแสดงภาพรวม AI และผลการค้นหาตามเนื้อหาของวิดีโอและคำถามของผู้ใช้ ดังตัวอย่างในวิดีโอที่แสดงให้เห็นว่า ผู้ใช้อยากทราบข้อมูลเกี่ยวกับปลาที่เห็นในสวนสัตว์ ซึ่งเขาสามารถยกมือถือแล้วเปิดแอป Google Lens และกดค้างที่ปุ่มชัตเตอร์เพื่อถ่ายวีดีโอได้เลย
เมื่อ Lens เริ่มบันทึกวีดีโอ ผู้ใช้สามารถถามคำถามตามสิ่งที่พวกเขากำลังเห็นได้ ซึ่งในการตอบคำถาม “ทำไมพวกมันถึงว่ายน้ำด้วยกัน” Lens ก็ตอบโดยใช้ Google Gemini
ด้วยความสามารถในการค้นหาด้วยวิดีโอจะทำให้ Google Lens มีประโยชน์มากขึ้นสำหรับสถานการณ์บางอย่าง โดยที่สามารถใช้ฟีเจอร์นี้ได้โดยเข้าร่วมการทดลอง “AI Overviews and more” ใน Search Labs
สำหรับหลักการทำงานของฟีเจอร์นี้ Rajan Patel รองประธานฝ่ายวิศวกรรมของ Google ได้อธิบายว่า Google กำลังบันทึกวิดีโอ “เป็นชุดของเฟรมภาพและจากนั้นนำเทคนิควิทยาคอมพิวเตอร์เดียวกัน” ที่ Lens ใช้ อย่างไรก็ตาม Google การตอบสนองนั้นมาจากโมเดล Gemini แบบปรับแต่งเองที่บริษัทได้ออกแบบมาเพื่อทำความเข้าใจเฟรมหลายเฟรมตามลำดับ หลังจากประมวลผลเฟรมแล้ว โมเดลจะใช้ข้อมูลจากเว็บที่เกี่ยวข้องกับหัวข้อเพื่อสร้างคำตอบ
Google Lens เตรียมอัพเกรดใหม่! สามารถค้นหาสิ่งที่ปรากฏบนหน้าจอได้เลย
