โคลน ChatGPT Open Source ใหม่ - ชื่อ Dolly

แชท GPT โอเพ่นซอร์สเร้าขึ้นอีกขั้นตอนหนึ่งด้วยการเปิดตัว Dolly Large Language Model (DLL) ที่ถูกสร้างขึ้นโดยบริษัทซอฟต์แวร์ Databricks ที่เชี่ยวชาญในการพัฒนาธุรกิจองค์กร

ชุดคลังกลอนใหม่ถูกเรียกว่า Dolly ตามชื่อแกะที่มีชื่อเดียวกันที่เป็นสัตว์เลี้ยงลูกคนแรกที่ถูกโคลน

โมเดลภาษาใหญ่โอเพนซอร์ส

ดอลลี LLM คือการแสดงตัวล่าสุดของการปฏิวัติทางด้าน AI แบบโอเพนซอร์ส ที่มุ่งหวังที่จะให้การเข้าถึงเทคโนโลยีนี้มีมากขึ้น เพื่อให้ไม่ถูกควบคุมและควบคุมโดย บริษัท ใหญ่

หนึ่งในความกังวลที่สนับสนุนการเคลื่อนไหวเพื่อรับรองภายใน AI คือธุรกิจอาจจะไม่เต็มใจที่จะส่งมอบข้อมูลที่อ่อนไหวให้กับคู่ค้าบุคคลที่สามที่ควบคุมเทคโนโลยี AI

ขึ้นอยู่กับแหล่งที่มาเปิดเผย

แดลลี่ถูกสร้างขึ้นจากแบบจำลองแห่งจุลนิพนธ์ที่สร้างโดยสถาบันวิจัย EleutherAI ที่ไม่แสวงหาผลกำไรและจากแบบจำลองอัลพาก้าของมหาวิทยาลัยสแตนฟอร์ด ซึ่งมาจากแบบจำลอง LLaMA แบบเปิดที่มีพารามิเตอร์ตัวเลข 65 พันล้านที่สร้างขึ้นโดย Meta

LLaMA ซึ่งเป็นย่อมาจาก Large Language Model Meta AI เป็นระบบแบบจำลองภาษาที่ถูกฝึกสอนด้วยข้อมูลที่มีอยู่ในสาธารณะ

ตามบทความโดย Weights & Biases, LLaMA สามารถทำงานได้ดีกว่าหลายโมเดลภาษาชั้นนำ (OpenAI GPT-3, Gopher โดย Deep Mind และ Chinchilla โดย DeepMind) แม้จะมีขนาดเล็กกว่าเดิม

การสร้างชุดข้อมูลที่ดีขึ้น

เกิดความสนใจมาอีกทางหนึ่งจากงานวิจัยทางวิชาการ (SELF-INSTRUCT:การจัดเรียงแบบโครงสร้างข้อมูลแบบสร้างตน PDF) ซึ่งอธิบายถึงวิธีการสร้างข้อมูลการฝึกอบรมด้วยคำถามและคำตอบที่มีคุณภาพสูง ซึ่งดีกว่าข้อมูลสาธารณะที่ถูกจำกัด

งานวิจัย Self-Instruct อธิบาย:

"...เราจัดเตรียมชุดคำแนะนำที่เขียนโดยผู้เชี่ยวชาญสำหรับงานที่ใหม่แล้วเราแสดงผลการประเมินจากมนุษย์ว่าการปรับแต่ง GPT3 ด้วย SELF-INSTRUCT ดีกว่าการใช้ชุดข้อมูลคำสั่งสาธารณะที่มีอยู่อย่างมากโดยความแตกต่างที่มีคุณภาพชัดเจน เหลือแค่ความแตกต่างระหว่าง InstructGPT เพียง 5% ในการประเมิน..."

"...การประยุกต์ใช้วิธีของเรากับ GPT3 แบบต้นแบบ เราแสดงให้เห็นถึงการปรับปรุงแบบสมบูรณ์ของโมเดลต้นฉบับได้อย่างสูงสุดถึง 33% ใน SUPERNATURALINSTRUCTIONS ที่ใกล้เคียงกับผลลัพธ์ของ InstructGPT... ซึ่งได้รับการฝึกอบรมด้วยข้อมูลผู้ใช้ส่วนตัวและการประปรากฏการณ์ของมนุษย์"

ความสำคัญของ Dolly คือการแสดงให้เห็นว่า สามารถสร้างโมเดลภาษาขนาดใหญ่ที่มีประโยชน์ได้ด้วยชุดข้อมูลที่เล็กกว่า แต่มีคุณภาพสูง

Databricks มองเห็น:

“Dolly ทำงานโดยการเอาโมเดล open source ที่มีพารามิเตอร์อยู่ 6 พันล้านตัวจาก EleutherAI และปรับเปลี่ยนมันเล็กน้อยเพื่อให้สามารถทำงานตามคำสั่งเช่นการสร้างความคิดและการสร้างข้อความที่ไม่มีในโมเดลเดิมโดยใช้ข้อมูลจาก Alpaca.

...เราแสดงให้เห็นว่าใครก็สามารถนำแบบจำลองภาษาขนาดใหญ่แบบโอเพนซอร์สที่เป็นสินค้าพร้อมบริการเดทเอาท์ (LLM) และให้ความสามารถในการติดตามคำแนะนำแบบ ChatGPT แบบมีความเหมือนกัน โดยฝึกฝนให้มันเป็นเช่นนี้ในเวลา 30 นาทีบนเครื่องเดียว โดยใช้ข้อมูลการฝึกฝนคุณภาพสูง

แปลกด้วย เหตุการณ์ที่ต้องทำตามคำสั่งดูเหมือนจะไม่ต้องใช้ต้นแบบที่ใหม่ล่าสุดหรือใหญ่ที่สุด: รุ่นของเรามีเพียง 6 พันล้านพารามิเตอร์เท่านั้นเทียบกับ 175 พันล้านของ GPT-3"

ดาต้าบริคส์ Open Source AI

Dolly ถูกกล่าวว่าเป็นผู้ก่อตั้งของไอเดียที่เผยแพร่ไปสู่สาธารณชนได้เป็นที่ประจักษ์ ภายใต้ความเคลื่อนไหวที่เพิ่มขึ้น ที่องค์กรไม่แสวงหาผลกำไร Mozilla ได้เข้าร่วมโดยสร้าง Mozilla.ai เพื่อสนับสนุนความก้าวหน้าทางวิชาการและประสิทธิภาพ โดย Mozilla ซึ่งเป็นสถานประกอบการของเบราว์เซอร์ Firefox และซอฟต์แวร์เปิดซอร์สอื่น ๆ