เทคโนโลยี AI ใหม่: พลิกโฉมวงการด้วยสถาปัตยกรรมใหม่

สถาปัตยกรรม AI ใหม่: การเปลี่ยนแปลงที่อาจพลิกโฉมการเรียนรู้ของปัญญาประดิษฐ์

เร็วๆ นี้ นักวิจัยจาก Google และ Sakana ได้เผยแพร่การออกแบบเครือข่ายประสาทใหม่ ที่อาจพลิกโฉมวงการ AI เสนอสองเทคโนโลยีใหม่เพื่อแก้ไขปัญหาที่มีอยู่ของเทคโนโลยี transformers ซึ่งเคยเป็นเทคโนโลยีหลักในการพัฒนา AI ในช่วงหกปีที่ผ่านมานี้ สิ่งเหล่านี้คือ “Titans” ของ Google และ “Transformers Squared” ของ Sakana เพื่อเพิ่มความสามารถในการปรับตัวและประสิทธิภาพในการประมวลผล

รายละเอียดของนวัตกรรม

Titans: หน่วยความจำระยะยาว

Titans เป็นสถาปัตยกรรมใหม่จาก Google ที่เปลี่ยนแปลงการจัดเก็บและการเข้าถึงข้อมูล AI โดยใช้หน่วยความจำระยะยาวที่เลียนแบบการทำงานของหน่วยความจำมนุษย์เพื่อปรับปรุง AI แทนที่จะปรับเปลี่ยนกระบวนการทำงานเดิมของโมเดล

“Titans” ผสานรวมระบบหน่วยความจำสามแบบ: หน่วยความจำระยะสั้น, หน่วยความจำระยะยาว และหน่วยความจำถาวร ซึ่งช่วยให้จัดการกับลำดับที่ยาวกว่า 2 ล้านโทเค็น

จากการวิจัย, Titans มีการปรับปรุงอย่างมีนัยสำคัญในหลายงาน เช่น การสร้างแบบจำลองภาษา และการวิเคราะห์จีโนมส์

Transformers Squared: AI ที่ปรับตัวเอง

ในขณะเดียวกัน Sakana ได้พัฒนา “Transformers Squared” ซึ่งเป็นโครงสร้างพื้นฐานที่ปรับพฤติกรรมของ AI ตามลักษณะของงานที่ดำเนินการ โดยใช้สิ่งที่เรียกว่า “Singular Value Fine-tuning (SVF)” เพื่อลดภาระของการคำนวณและรักษาประสิทธิภาพ

ระบบได้แสดงความสามารถในการใช้งานที่หลากหลายและเห็นผลลัพธ์ที่ดีในการทดสอบความคล่องตัวในการใช้งานต่างๆ

การปรับโครงสร้างของโมเดลใช้ในการปรับปรุง AI ใหม่ สามารถใช้ในการพัฒนาความยืดหยุ่นให้กับ AI เพื่อตอบสนองสถานการณ์ใหม่

สรุป

นวัตกรรมจาก Google และ Sakana แสดงถึงการเปลี่ยนแปลงที่อาจจะเปลี่ยนวิธีที่ AI ถูกพัฒนาและใช้งานในอนาคต หากโมเดลเครือข่ายประสาทใหม่ได้รับการยอมรับและเริ่มใช้อย่างแพร่หลาย โมเดลในอนาคตจะไม่ต้องพึ่งพาขนาดที่ใหญ่เพื่อเพิ่มความหลากหลายและประสิทธิภาพ

ในปัจจุบัน transformers ครอบครองตลาด AI แต่การพัฒนาใหม่นี้อาจจะเป็นการปูทางสำหรับการเปลี่ยนแปลงครั้งใหญ่ และด้วยความสำเร็จของเทคโนโลยีใหม่นี้ สามารถช่วยให้ AI ที่มีความสามารถและความยืดหยุ่นมากขึ้นในอนาคต

Source: https://decrypt.co/301639/beyond-transformers-ai-architecture-revolution

#AvareumNews #AI #Google #Sakana #Transformers

This newsletter is produced with assistance from OpenAI's ChatGPT-4. All analyses are reviewed and verified by our research team. © 2024 Avareum Research. All Rights Reserved. This article is provided for informational purposes only. It is not offered or intended to be used as legal, tax, investment, financial, or other advice.