ปล่อยโมเดล GPT ฟรี 7 รุ่น Open Source

Silicon Valley บริษัท AI ชื่อ Cerebras ปล่อยแบบจำลองที่เปิดเผยทั้งหมด 7 รุ่นของ GPT เพื่อให้เป็นทางเลือกแทนระบบที่ควบคุมและเป็นกรรมสิทธิ์ที่มีอยู่ในปัจจุบัน

โมเดล GPT ฟรีโลหะใช้งานได้อย่างอิสระ ประกอบด้วยน้ำหนักและสูตรการฝึกอบรม ถูกเปิดเผยภายใต้ใบอนุญาต Apache 2.0 ที่มีการอนุญาตอย่างกว้างขวางโดย Cerebras บริษัทพื้นฐาน AI ที่ตั้งที่ Silicon Valley สำหรับการประยุกต์ใช้งาน AI

ในบางปริมาณ เรื่องทั้งเจ็ดของโมเดล GPT เป็นการพิสูจน์การจัดหน้าใหม่ของเครื่องคอมพิวเตอร์ AI Cerebras Andromeda

พื้นฐานสถาปัตยกรรมของ Cerebras ช่วยให้ลูกค้าของพวกเขา เช่น Jasper AI Copywriter สามารถฝึกสอนโมเดลภาษาที่กำหนดเองได้อย่างรวดเร็ว

โพสต์บล็อกเกี่ยวกับเทคโนโลยีฮาร์ดแวร์ของ Cerebras ที่ระบุ:

"เราฝึกอบรมโมเดล Cerebras-GPT ทั้งหมดบนคลัสเตอร์ Cerebras Wafer-Scale ขนาด 16x CS-2 ที่ชื่อ Andromeda."

คลัสเตอร์นี้ช่วยให้การทดลองทั้งหมดเสร็จสิ้นได้อย่างรวดเร็วโดยไม่ต้องใช้ Distributed Systems Engineering และการปรับแต่ง Model Parallel ที่จำเป็นกับคลัสเตอร์ GPU ตามแบบเดิม

สิ่งสำคัญที่สุดคือมันช่วยให้นักวิจัยของเราสามารถใช้เวลาในการออกแบบเทคโนโลยีการเรียนรู้เชิงลึก (ML) ได้อย่างต่อเนื่องโดยไม่ต้องกังวลเรื่อง Distributed Systems เราเชื่อว่าความสามารถในการฝึกโมเดลขนาดใหญ่อย่างง่ายนี้จะเป็นปัจจัยสำคัญในการกระจายอำนาจให้กับชุมชนอย่างกว้างขวางดังนั้นเราเปิดให้บริการ Cerebras Wafer-Scale Cluster ในรูปแบบคลาวด์ผ่าน Cerebras AI Model Studio"

โมเดล Cerebras GPT และความโป Transpareแลนซ์

Cerebras อ้างถึงการมีความ concentrated ของเจ้าของธุรกิจเทคโนโลยี AI ที่มีจำนวนไม่มากเพียงไม่กี่ บริษัท เป็นเหตุผลในการสร้างโมเดล GPT 7 รุ่นเปิดใช้งาน

OpenAI, Meta และ Deepmind เก็บข้อมูลมากมายเกี่ยวกับระบบของพวกเขาเป็นความลับและควบคุมอย่างเข้มงวด ซึ่งจำกัดการนวัตกรรมให้เป็นไปตามที่สามบริษัทเหล่านี้ตัดสินใจว่าผู้อื่นสามารถทำอะไรกับข้อมูลของพวกเขาได้

ระบบที่เป็นแหล่งที่มาเปิดเผยข้อมูล (open-source) หรือระบบที่ปิดกั้น (closed-source) หน้าที่ภาพลักษณ์ที่ดีที่สุดสำหรับนวัตกรรมในด้าน AI อยู่ที่ไหน? ระบบแหล่งที่มาเปิดเผยข้อมูลเป็นอนาคตหรือไม่?

ซีเรบราสออกบันทึก:

“สำหรับ LLMs เพื่อให้เป็นเทคโนโลยีที่เปิดและเข้าถึงได้ง่าย เราเชื่อว่ามีความสำคัญที่จะต้องมีการเข้าถึงรุ่น state-of-the-art ที่เป็นแบบเปิด สามารถทำซ้ำได้ และไร้ค่าลิขสิทธิ์ทั้งสำหรับงานวิจัยและการใช้งานทางธุรกิจ”

“เพื่อเป็นการทำให้เป็นไปอย่างนั้น เราได้ฝึกอบรมรุ่นของโมเดล transformer โดยใช้เทคนิคล่าสุดและชุดข้อมูลแบบเปิดที่เราเรียกว่า Cerebras-GPT”

“โมเดลเหล่านี้เป็นครอบครัวแรกของโมเดล GPT ที่ฝึกอบรมโดยใช้สูตร Chinchilla และเปิดตัวผ่านการให้สัญญาอนุญาต Apache 2.0”

ดังนั้นโมเดลเจ็ดรุ่นนี้ถูกเผยแพร่บน Hugging Face และ GitHub เพื่อส่งเสริมการวิจัยเพิ่มเติมผ่านการเข้าถึงเปิดเผยทางเทคโนโลยี AI

โมเดลเหล่านี้ได้รับการฝึกฝนด้วยคอมพิวเตอร์ AI Andromeda ของ Cerebras ซึ่งใช้เวลาเพียงไม่กี่สัปดาห์ในกระบวนการดังกล่าว

Cerebras-GPT เปิดเผยอย่างเต็มที่และโปร่งใส ต่างจากโมเดล GPT ล่าสุดจาก OpenAI (GPT-4) และ Deepmind และ Meta OPT

OpenAI และ Deepmind Chinchilla ไม่มีการให้สิทธิ์ให้ใช้โมเดล Meta OPT เสนอเพียงใบอนุญาตที่ไม่ใช้เพื่อการพาณิชย์เท่านั้น

OpenAI’s GPT-4 ไม่มีความโปร่งใสเกี่ยวกับข้อมูลการฝึกของพวกเขา พวกเขาใช้ข้อมูลจาก Common Crawl หรือของขวัญตัวเองจากการค้นหาบนอินเทอร์เน็ตเพื่อสร้างชุดข้อมูลของพวกเขา?

OpenAI กำลังเก็บข้อมูลเหล่านี้ (และอื่น ๆ) เป็นความลับ ซึ่งต่างจากวิธีการของ Cerebras-GPT ที่เปิดเผยอย่างเต็มที่

ข้อมูลต่อไปนี้เป็นเปิดเผยและโปร่งใสทั้งหมด:

• โครงสร้างแบบจำลอง
• ข้อมูลการฝึกอบรม
• น้ำหนักของแบบจำลอง
• จุดสำรวจ
• สถานะการฝึกอบรมที่เหมาะสมและประหยัดทรัพยากร (ใช่)
• อนุญาติให้ใช้: ใบอนุญาต Apache 2.0

เวอร์ชันทั้งเจ็ดมาในรุ่นที่มีความจุ 111M, 256M, 590M, 1.3B, 2.7B, 6.7B, และ 13B

มีการประกาศไว้ว่า:

“ในครั้งแรกในบริษัทฮาร์ดแวร์ AI บริษัท Cerebras ได้ฝึกอบรมการใช้งานโฆษณาอัตโนมัติครั้งสองบนเครื่องคอมพิวเตอร์ AI ที่ชื่อ Andromeda ซึ่งมีขนาดที่ใหญ่มาก โดยจะมีรุ่น GPT จำนวน 7 รุ่นที่ใช้พารามิเตอร์ 111 ล้าน, 256 ล้าน, 590 ล้าน, 1.3 พันล้าน, 2.7 พันล้าน, 6.7 พันล้าน และ 13 พันล้าน.

ในปกติแล้ว เรื่องนี้ใช้เวลาเตรียมการนานหลายเดือน แต่การทำงานนี้เสร็จสิ้นภายในไม่กี่สัปดาห์ berkat kecepatan luar biasa dari sistem Cerebras CS-2 ที่ทำต่อเนื่องเป็นจำนวนมากและความสามารถในการประมวลผลกราฟไวต่อเนื่องของ Cerebras ที่ช่วยให้งานไม่ต้องระแวกการเชื่อมต่อ.

ผลลัพธ์เหล่านี้สามารถแสดงให้เห็นได้ว่า ระบบของ Cerebras สามารถฝึกเทรนได้ใหญ่ที่สุดและซับซ้อนที่สุดในปัจจุบัน.

นี่คือครั้งแรกที่รวมกลุ่มของแบบจำลอง GPT ที่ถูกฝึกใช้เทคนิคประสิทธิภาพการฝึกอัตโนมัติล้ำสุดแล้วได้กลายเป็นสาธารณะ.

แบบจำลองเหล่านี้ถูกฝึกให้ได้ความแม่นยำสูงสุดสำหรับงบประมาณการคำนวณที่จำกัด (เช่นการฝึกอัตโนมัติให้มีประสิทธิภาพสูงโดยใช้เทคนิค Chinchilla) เพื่อให้ใช้เวลาฝึกอบรมน้อยกว่า เสียค่าฝึกอบรมน้อยกว่า และใช้พลังงานน้อยกว่าแบบจำลองสาธารณะที่มีอยู่ในปัจจุบัน”.

โครงการปล่อยตัวอย่างซอฟต์แวร์แอจไอเปิดต้น

มูลฐานของ Mozilla ผู้ผลิตซอฟต์แวร์เปิดต้นฉบับ Firefox ได้เริ่มต้นกิจการชื่อ Mozilla.ai เพื่อสร้างระบบ GPT และระบบที่แนะนำเปิดต้นฉบับที่น่าไว้วางใจและเคารพสิทธิส่วนบุคคล

Databricks ได้เปิดตัว Dolly ซึ่งเป็น GPT Clone โอเพนซอร์สเมื่อเร็วๆ นี้เพื่อเป้าหมายในการประชาธิปไตยให้ “เวทมนตร์ของ ChatGPT”

นอกจากโมเดล GPT ทั้งเจ็ดโมเดลของ Cerebras นั้น ยังมีบริษัทอื่นคือ Nomic AI ที่ได้เปิดตัว GPT4All ซึ่งเป็น GPT รหัสเปิดที่สามารถทำงานบนแล็ปท็อปได้

การเคลื่อนไหวของ AI เปิดกฎหมายเป็นสถานการณ์ที่เริ่มต้นอยู่แต่กำลังเติบโตขึ้นเรื่อย ๆ

เทคโนโลยี GPT กำลังสร้างความเปลี่ยนแปลงมหาศาลทั่วทุกส่วนของอุตสาหกรรม และเป็นไปได้ หรือบางทีไม่สามารถหลีกเลี่ยงได้ว่าการมีส่วนร่วมแบบโอเพนซอร์สอาจเปลี่ยนแปลงรูปร่างของอุตสาหกรรมที่เป็นตัวนำในการสร้างการเปลี่ยนแปลงดังกล่าว

หากการเคลื่อนไหวสู่ทิศทางของการเปิดเผยของซอฟต์แวร์ที่เปิด, เราอาจอยู่บนขอบเขตของการเห็นพลังงานที่จะเปลี่ยนแปลงในนวัตกรรม AI ที่ป้องกันไม่ให้มีการหายของงานวิจัยในมือของบริษัทบางราย

อ่านประกาศทางการอย่างเป็นทางการ:

ซีรีบราสซิสเต็ม รายงานปล่อยโมเดล GPT ใหม่ 7 รุ่นที่ฝึกฝนด้วยระบบเซรามิก CS-2 ในขนาดเต็มแผ่น