GPT-3 คืออะไร? ทุกอย่างที่ธุรกิจของคุณต้องรู้เกี่ยวกับโปรแกรมภาษา AI ที่เป็นการศึกษาแบบล้ำสมัยของ OpenAI

GPT-3 เป็นโปรแกรมคอมพิวเตอร์ที่สร้างขึ้นโดย OpenAI ซึ่งเป็นการรวมกลุ่มด้านการเรียนรู้ของเครื่องเขียนชื่อดังที่ตั้งอยู่ในซานฟรานซิสโก โดยส่วนสำคัญของโปรแกรมนี้คือเป็นระบบประมวลผลเชิงลึกแบบระบบประสาทเทียมขนาดใหญ่ ซึ่งเป็นส่วนหนึ่งของการเรียนรู้ของเครื่องที่เรียกว่าการเรียนรู้เชิงลึกซึ่งเป็นส่วนหนึ่งของวิชาวิทยาการคอมพิวเตอร์ที่เรียกว่าปัญญาประดิษฐ์หรือ AI โปรแกรมนี้ยอดเยี่ยมกว่าโปรแกรมก่อนหน้านี้ในการสร้างข้อความที่ดูเหมือนว่าเขียนโดยมนุษย์

เหตุผลที่การพัฒนาที่มีความก้าวหน้าเช่นนี้จะเป็นประโยชน์ต่อบริษัท เนื่องจากมีศักยภาพในการอัตโนมัติงานมาก GPT-3 สามารถตอบกลับด้วยข้อความใหม่ที่เหมาะสมกับบริบทใด ๆ ที่คนพิมพ์เข้าสู่คอมพิวเตอร์ เมื่อพิมพ์ประโยคเต็มภาษาอังกฤษในกล่องค้นหา เช่น ฯลฯ แล้วคุณมักจะได้รับคำตอบที่เป็นประโยคที่สมบูรณ์และเกี่ยวข้องมากขึ้น ซึ่งหมายความว่า GPT-3 สามารถเพิ่มกำลังคนในบรรทัดบางประเภทได้หลายสถานการณ์ เช่น คำตอบในการให้บริการลูกค้า ค้นหาเอกสารการตรวจสอบความเป็นไปได้ที่ดี เพื่อการสร้างรายงาน

สังเกตตัวอย่างย่อๆ ที่แสดงให้เห็นว่าผู้คนพิมพ์อะไรลงในคอมพิวเตอร์แล้ว GPT-3 จะส่งกลับมาด้วยคำตอบดังต่อไปนี้:

การป้อนข้อมูลโดยมนุษย์: คำถาม: ใครเป็นผู้แสดงบท Tess ในซีรีส์ Touched by an Angel?

GPT-3-generated การเติบโต : A: เดลโลรีส ปาทริเยียร์ อีอาร์ลี (6 กรกฎาคม พ.ศ. 2474 - 19 พฤศจิกายน พ.ศ. 2560), ทราบ เป็นศิลปินระดับมืออาชีพ ที่รู้จักในนามเดลลา รีส

โปรแกรมนี้กำลังอยู่ในเบต้าเวอร์ชันส่วนตัวซึ่งผู้คนสามารถลงชื่อในรายการรอคอยได้ โดยปัจจุบันถูกนำเสนอโดย OpenAI เป็น API ที่สามารถเข้าถึงผ่านบริการคลาวด์ และบริษัทที่ได้รับอนุญาตให้เข้าถึงก็ได้พัฒนาแอปพลิเคชันที่น่าสนใจบางสิ่งที่ใช้การสร้างข้อความเพื่อเพิ่มประสิทธิภาพของโปรแกรมต่าง ๆ ตั้งแต่คำตอบคำถามง่าย ๆ ไปจนถึงการสร้างโค้ดโปรแกรม

พร้อมกับศักยภาพในการอัตโนมัติมาความเสียหายก็มาพร้อมกัน GPT-3 ต้องการการคำนวณมากในการทำงาน ซึ่งทำให้ส่วนใหญ่ของบริษัทไม่สามารถนำมาใช้งานในลักษณะบนพื้นที่ของพวกเขาได้ ข้อความที่สร้างโดย GPT-3 อาจดูน่าประทับใจในระยะแรก แต่คำเขียนที่ยาว tend to เริ่มมีความไร้สาระ เช่นเดียวกัน เเละมีศักยภาพในการเพิ่มขึ้นของความลำบากในเรื่องสิทธิมวลชน เช่นการเผยแพร่ความเหยียดหยามและเพศนิสัย

ทำงานของ GPT-3 คืออย่างไร?

GPT-3 เป็นตัวอย่างของสิ่งที่เรียกว่าโมเดลภาษา ซึ่งเป็นโปรแกรมสถิติประเภทหนึ่ง ในกรณีนี้ เป็นโครงข่ายประสาทเทียมที่สร้างขึ้นมา

ชื่อ GPT-3 เป็นตัวย่อที่ระบุถึง "generative pre-training" ซึ่งเป็นเวอร์ชันที่สามจากที่เคยมีมาแล้ว ส่วน "generative" เนื่องจากไม่เหมือนกับโครงข่ายประสาทอื่น ๆ ที่แสดงผลลัพธ์เป็นคะแนนตัวเลขหรือคำตอบ "ใช่" หรือ "ไม่ใช่" เสียเหมือนกัน แต่ GPT-3 สามารถสร้างลำดับข้อความต้นฉบับยาว ๆ เป็นผลลัพธ์ได้ เขาถูกฝึกก่อนแบบเติมความคือเขาไม่ได้ถูกสร้างขึ้นมาด้วยความรู้ในโดเมนใด ๆ แม้ว่าเขาสามารถทำภารกิจที่เฉพาะเจาะจงในโดเมนเฉพาะ เช่น การแปลภาษาต่างประเทศ

โมเดลภาษาในกรณีของ GPT-3 เป็นโปรแกรมที่คำนวณว่าคำหนึ่งมีความเป็นไปได้ในการปรากฏในข้อความ โดยให้คำอื่นๆ เป็นตัวแปรตามในข้อความ นั่นคือสิ่งที่เรียกว่าความน่าจะเป็นที่เกิดของคำ

ตัวอย่างเช่นในประโยค ฉันอยากทำไข่เจียวดังนั้นฉันไปที่ตู้เย็นและเอาของ ____ ออกมา ช่องว่างสามารถเติมด้วยคำใดก็ได้กระทั่งทำห้องพูดไม่เป็นสมอง ด้วยความสามารถในการสร้างสรรค์ของภาษา แต่คำว่า "ไข่" มีคะแนนความน่าจะเป็นสูงในการเติมช่องว่างในข้อความปกติมากกว่า เช่น "ช้าง" เราบอกว่าความน่าจะเป็นของไข่ตามเงื่อนไขของข้อความที่ให้คำพูดมีค่าสูงกว่าความน่าจะเป็นของช้าง

เมื่อระบบประมวลผลประสาทเริ่มถูกพัฒนาขึ้น เรียกว่าเฟสการฝึกอบรม GPT-3 จะรับประสบการณ์จำนวนล้านล้านตัวอย่างของข้อความและแปลงคำเป็นสิ่งที่เรียกว่าเวกเตอร์ แทนที่จะเป็นรูปแบบข้อมูลที่บีบอัด เมื่อนัั้นโปรแกรมจะพยายามแกะข้อความนี้ที่ถูกบีบอัดกลับมาเป็นประโยคที่ถูกต้อง งานของการบีบอัดและแกะข้อความนี้ช่วยพัฒนาประสิทธิภาพของโปรแกรมในการคำนวณความน่าจะเป็นของคำ

เมื่อโมเดลได้รับการฝึกฝนแล้ว หมายความว่าการคำนวณความน่าจะเป็นตามเงื่อนไขของมันทั้งหมดที่เกี่ยวข้องกับคำศัพท์หลากหลายล้านคำ จะถูกทำให้แม่นยำที่สุดเท่าที่เป็นไปได้ เมื่อมีการพิมพ์คำหรือคำเริ่มต้นจากบุคคลที่ทำให้โมเดลทำนายคำต่อไปมา การทำนายดังกล่าวเป็นการรู้จำคำในการเรียนรู้ของเครื่อง เรียกว่าการสืบค้น (inference) ในการเรียนรู้ของเครื่อง

นั่นทำให้เกิดเอฟเฟกต์กระจกที่น่าประหลาดตา เพราะไม่เพียงแค่คำที่มีความน่าจะเป็นแต่คำเดียวเท่านั้นที่ปรากฏขึ้น แต่ยังสะท้อนลักษณะและจังหวะของประเภทวรรณกรรมหรือรูปแบบของงานเขียนเช่นชุดคำถาม-คำตอบ ดังนั้น เช่น เราสามารถให้อาหาร GPT-3 ด้วยชื่อบางชื่อของนักกวีผู้มีชื่อเสียงและตัวอย่างของผลงานของพวกเขา จากนั้นให้ชื่อของนักกวีคนอื่น และเพียงแค่ชื่อของบทกวีจินตนาการเท่านั้น และ GPT-3 ก็จะสร้างบทกวีใหม่โดยคงรัฐธรรมและไวยากรณ์ของนักกวีคนนั้น

พิจารณาตัวอย่างการสร้างบทกวีของ GPT-3 จากศูนย์ เพลง 3 ที่สร้างขึ้นมาจากหัวข้อที่ให้ ชื่อ และตัวอย่างของกวีอื่นๆ และงานของพวกเขา:

Human-supplied input : เมือง  โดย C. P. CAVAFY  แปลโดย EDMUND KEELEY [ข้อความบทกวีถูกละเว้น]

ข้อมูลที่ป้อนโดยมนุษย์ : ต้นไม้บางต้น โจน แอชเบอรี่ [ข้อความบทกวีถูกข้าม]

OUTPUT: Shadows on the Way Wallace Stevens

GPT-3-generated completion : -------- บทกวีแบบที่ 1 ที่สร้างขึ้นโดย GPT-3 --------    ฉันต้องมีเงาบนทาง ถ้าฉันจะเดินไปได้ ฉันต้องมี แต่ละก้าวเดินช้า และคนเดียว ที่จะมีความพร้อมอยู่ และฉันต้องคิดในเส้นของเทา ที่จะมีความคิดที่มืดเป็นส่วนนำของฉัน ต้องมองไปที่สีน้ำเงินและสีเขียว และไม่ปล่อยให้สายตาลืมว่าสีคือเพื่อนของฉัน และมันต้องมีสีม่วงล้อมรอบฉันด้วย สีเหลืองของแสงอาทิตย์ไม่มี ความรบกวนมากกว่าหิมะสีฟ้า ที่ตกมาที่เราทั้งหมด ฉันต้องมีความคิดเหลือเมื่อผ่านไปคู่กับความคิดสีน้ำเงิน ถ้าฉันจะไปได้เลย 

การสร้างคำตอบหมายความว่า GPT-3 สามารถไปไกลกว่าการแค่สร้างเนื้อหาเท่านั้น มันสามารถปฏิบัติได้ในทุกประเภทของการทดสอบรวมถึงการทดสอบเชิงตรรกะที่เกี่ยวข้องกับการตอบสนองด้วยภาษาธรรมชาติ ถ้าเช่น เมื่อ GPT-3 ได้รับเข้าสู่ระบบเนื้อหาเกี่ยวกับอัตราค่าเช่าของอสังหาริมทรัพย์ในแมนฮัตตัน และคำอธิบายประกอบเนื้อหา เช่น "แมนฮัตตันถูกแหละ" และคำถาม "จริงหรือเท็จ?" GPT-3 จะตอบกลับคำถามดังกล่าวทั้งหมดโดยคืนคำว่า "เท็จ" เนื่องจากคำอธิบายไม่เห็นด้วยกับเหตุผลของเรียงความ

ข้อมูลที่ได้จากมนุษย์ : การลดราคาเช่าที่เกิดขึ้นอาจดูเป็นความสะเพร่าใจโดยเฉพาะอย่างยิ่งในชุมชนบางแห่งในนิวยอร์กที่ร้องเรียนเรื่องการสูญเสียธุรกิจร้านค้าท้องถิ่นสำหรับการเสียเงินเช่าสูง แต่ถึงแม้จะมีการลดราคาเมื่อเร็ว ๆ นี้ แต่สำหรับร้านค้าเหล่านี้ การเพิ่มราคาเช่า มีระยะเวลามากเกินไป นับตั้งแต่ราคาเช่าในช่วงปี พ.ศ. 2520 ซึ่งกล่าวถึงในสัญญาเช่าของพวกเขา ข้อเท็จจริงก็คือ การลดราคาเมื่อเร็ว ๆ นี้ไม่หมายความว่าเมืองแมนฮัทตันถูกต้อง

Human-supplied input: คำถาม: กรุงเมืองแมนฮัตตันราคาถูก ถูกจริง, เท็จ, หรือไม่แน่ใจ?

ข้อมูลป้อนเข้าจากมนุษย์ : คำตอบ: 

GPT-3-generated completion : false

GPT-3 สามารถตอบสนองในลักษณะที่สอดคล้องกับงานตัวอย่างโดยรวม รวมถึงรูปแบบที่ไม่เคยได้รับข้อมูลมาก่อนทำให้เป็นตัวอย่างการใช้ภาษาในกรณีที่จำนวนข้อมูลที่ให้มาไม่มากนัก โมเดลภาษาส่วนใหญ่ แต่ก็ต้องพูดถึง GPT-3 ที่สามารถมีข้อมูลมากมายเกี่ยวกับวิธีการรวมคำแบบหลายแบบ จึงสามารถให้เพียงเล็กน้อยเท่านั้นของตัวอย่างงานที่เคยสอนมาแล้ว (fine-tuning) และจะสามารถทำงานใหม่ได้อีกภาพ.

ความสามารถในการสะท้อนรูปแบบภาษาธรรมชาติและคะแนนที่สูงในการทดสอบเกี่ยวกับภาษาอาจสร้างความประทับใจว่า GPT-3 กำลังเข้าใกล้การมีความสามารถที่คล้ายมนุษย์ในการใช้ภาษา อย่างไรก็ตาม เราจะเห็นว่าสิ่งนั้นไม่ใช่กรณีนั้น

สามารถค้นพบรายละเอียดทางเทคนิคเพิ่มเติมในเอกสาร GPT-3 ที่เผยแพร่โดยนักวิทยาศาสตร์ของ OpenAI

ที่ GPT-3 สามารถทำได้อะไร?

OpenAI กลายเป็นชื่อที่ผู้คนรู้จักกันดีเหมือนกับการเผยแพร่ของโค้ดของกิจการนี้เอง ขณะที่บริษัทเปิดเผย GPT-2 ตามลำดับเมื่อวันวาเลนไทน์ของปี 2019 เขาตั้งแต่แรกยังไม่จะเผยแพร่รุ่นที่มีความสามารถสูงสุด อย่างนี้เพราะเขาเห็นว่าเป็นเรื่องอันตรายอย่างมากที่จะเผยแพร่ไปในชุมชน เนื่องจากมีความเสี่ยงของการสร้างข้อเท็จจริงและข้อความที่สร้างความเข้าใจผิด แต่เพื่อผลประโชน์ด้านอื่น OpenAI จึงทำให้สามารถดาวน์โหลดได้ในภายหลัง

คราวนี้ OpenAI ไม่ได้ให้บริการดาวน์โหลดใดๆ เพิ่มเติมแต่จะเปิดใช้งาน API บนคลาวด์ เพื่อให้ GPT-3 เป็นบริการแบบเข้าถึงอย่างง่าย (หรือจะพูดว่าเป็นในลักษณะของ LMaaS, บริการโมเดลภาษาแบบเว็บ) เหตุผลที่ OpenAI ยืนยันก็คือเพื่อจำกัดการใช้งาน GPT-3 โดยผู้ใช้ที่มีพฤติกรรมไม่ดีและเพื่อทำกำไรด้วย

"ในโครงการโอเพนซอร์สไม่มี 'ปุ่มเลิกทำ' ตามที่ OpenAI ได้แจ้งให้ทราบผ่านโฆษณา " ZDNet ผ่านตัวแทนของ OpenAI ทักษะถึง

"การเปิดเผย GPT-3 ผ่าน API ช่วยให้เราสามารถควบคุมการใช้งานได้อย่างปลอดภัยและเรียกคืนการเข้าถึงตามความจำเป็น"

ในปัจจุบัน บริการ OpenAI API ถูกจำกัดเฉพาะกับฝ่ายที่ได้รับอนุญาตเท่านั้น มีรายการรอคอยที่ผู้ใช้สามารถเข้าร่วมเพื่อที่จะได้รับการเข้าถึง

"ในขณะนี้ API อยู่ในสถานะเบต้าที่ควบคุมโดยนักพัฒนาจำนวนเล็กที่ส่งแบบคิดค้นไอเดียเพื่อนำเสนอผลิตภัณฑ์โดยใช้ API," OpenAI แจ้งให้ทราบทาง ZDNet.

นอกจากนี้: ตัวสร้างข้อความ AI ที่ 'อันตราย' ของ OpenAI มาแล้ว: ผู้คนพบคำพูด 'น่าเชื่อถือ'

มีตัวอย่างที่น่าสนใจเกี่ยวกับสิ่งที่สามารถทำได้จากบริษัทในโปรแกรมเบต้า บริษัท Sapling ซึ่งได้รับการสนับสนุนจากกองทุนเวนเจอร์ Y Combinator เสนอโปรแกรมที่เกาะกลุ่มซอฟต์แวร์ CRM ขณะที่ตัวแทนลูกค้ากำลังดำเนินการการขอความช่วยเหลือผ่านทางอีเมล เช่น โปรแกรมจะใช้ GPT-3 เสนอวลีทั้งหมดในระดับประโยคเดียวเป็นตอบกลับที่เป็นไปได้มากที่สุด

นักพัฒนาเกม Latitude ใช้ GPT-3 เพื่อเพิ่มประสิทธิภาพในเกมผจญภัยแบบเนื้อเรื่องข้อความ AI Dungeon โดยปกติแล้วเกมผจญภัยจะต้องใช้ต้นไม้การตัดสินใจซับซ้อนเพื่อสร้างทางเลือกหลายประการในเกม แต่ในที่นี้ GPT-3 สามารถสร้างสถานการณ์การเล่นที่เปลี่ยนไปตามการกระทำที่ผู้เล่นพิมพ์ได้อย่างไร้ข้อจำกัด

ในปัจจุบัน,การอัตโนมัติงานเริ่มเลื่อนไปตามเสียงพูดมากกว่าการสร้างโค้ดคอมพิวเตอร์ โค้ดเป็นภาษา และ GPT-3 สามารถสรุปประสิทธิภาพได้ในสัญลักษณ์และตัวดำเนินการที่เป็นไปได้ที่สุดในภาษาโปรแกรมต่าง ๆ และสามารถสร้างลำดับข้อมูลที่เป็นไปตามวิธีการจัดระเบียบและดำเนินการได้สำเร็จ

ตัวอย่างแรกที่เป็นไปได้ที่ขวัญใจ Twitter คือจากบริษัทสตาร์ทอัพในการพัฒนาแอป Debuild ผู้นำบริษัทคือ Sharif Shameem สามารถสร้างโปรแกรมที่คุณพิมพ์คำอธิบายของตัวอินเตอร์เฟซซอร์ต่างๆ ในภาษาอังกฤษโดยตรง และ GPT-3 จะตอบกลับด้วยรหัสคอมพิวเตอร์โดยใช้รูปแบบขยาย JSX สำหรับภาษาจาวาสคริปต์ รหัสเหล่านั้นจะสร้างตัวตนของตัวอินเตอร์เฟซที่ตรงกับคำอธิบายที่คุณได้แจ้งไว้

อันนี้น่าประหลาดใจมาก ด้วย GPT-3, ฉันสร้างเครื่องมือสร้างเลเอาท์ที่คุณเพียงแค่บรรยายว่าคุณต้องการเลเอาท์ยังไง แล้วมันก็จะสร้างรหัส JSX ให้คุณ S Y O M pic.twitter.com/w8JkrZO4lk

— Sharif Shameem (@sharifshameem) 13 กรกฎาคม 2563

Shameem แสดงว่าโดยการอธิบาย UI ด้วยปุ่มหลายปุ่ม ด้วยประโยคเดียวเขาสามารถอธิบายโปรแกรมทั้งหมดได้ แม้ว่าโปรแกรมจะเป็นโปรแกรมที่เรียบง่ายเช่นการคำนวณเลขคณิตพื้นฐานและแสดงผลลัพธ์ และ GPT-3 จะสร้างรหัสทั้งหมดและแสดงแอปพลิเคชันที่ทำงาน

ผมสร้างแอป React ที่ทำงานได้จริงๆโดยการอธิบายว่าต้องการอะไรกับ GPT-3 ฉันยังตกใจอยู่จริงๆ รูปภาพ — Sharif Shameem (@sharifshameem) เมื่อ 17 กรกฎาคม 2020

OpenAI ได้รับ "หลายหมื่นคำขอเข้าถึง API จนทุกเวลา และกำลังใช้การเข้าถึงโดยรอบ้างเนื่องจากเรากำลังเรียนรู้ว่าโมเดลเหล่านี้สามารถทำได้อย่างไรในโลกจริงๆ" บริษัทได้ตอบกลับให้ทราบเว็บไซต์ ZDNet ว่า "เนื่องจากนั้น รายการรอคอยอาจจะยาวนาน"

ราคาสำหรับบริการพาณิชย์ที่อาจเกิดขึ้นในอนาคตยังไม่ได้กำหนดไว้ ถามเมื่อไหร่ที่โปรแกรมจะออกจากการทดสอบเบต้า OpenAI ระบุให้ทราบว่า "ไม่ในอีกเร็วๆ นี้" ของ ZDNet

"การเปิดตัวแบบจำลองที่มีกำลังการที่สูงเช่นนี้เราจึงต้องไปอย่างช้าๆและคิดอย่างรอบคอบเกี่ยวกับผลกระทบต่อธุรกิจ อุตสาหกรรม และคนต่างๆ" บริษัทกล่าวว่า "รูปแบบของ API ช่วยให้เราสามารถศึกษาและควบคุมการใช้งานได้อย่างเหมาะสมแต่เราไม่ต้องการเร่งรีบเปิดให้ใช้งานทั่วไปโดยฉะนั้นขอแนะนำให้พบกับข้อจำกัดของระบบก่อน"

ถ้าคุณอดทนไม่ได้กับรายชื่อทดลองเบต้า คุณสามารถดาวน์โหลดเวอร์ชันก่อนหน้านี้ GPT-2 ได้ในระหว่างนี้ ซึ่งสามารถรันบนเครื่องโน้ตบุ๊คโดยใช้การติดตั้ง Docker รหัสซอร์สประกาศในเดียว github repository เดียวกับรูปแบบ Python สำหรับกรอบการเรียนรู้ TensorFlow แน่นอนคุณจะไม่ได้รับผลลัพธ์เดียวกันกับ GPT-3 แต่มันเป็นวิธีในการเริ่มค้นพบให้คุ้นเคยกัน

โดยตลอด, รุ่งเรืองนักแปลภาษารุ่นใหม่ที่มีความสามารถคล้ายกันเกิดขึ้นอยู่เสมอ และบางอันอาจเพียงพอสำหรับวัตถุประสงค์ของคุณ ตัวอย่างเช่น, Google เร็ว ๆ นี้ได้เผยแพร่รุ่นของ Spaces ของตนเอง ซึ่งเรียกว่า LaBSE, ซึ่งแสดงให้เห็นถึงการดียิ่งขึ้นในการแปลภาษา มันสามารถดาวน์โหลดได้จาก TensorFlow Hub.

อีกทั้ง: GPT-3 ขนาดใหญ่ของ OpenAI ให้คำแนะนำเกี่ยวกับขอบเขตของโมเดลภาษาสำหรับ AI

ประวัติของ GPT-3 คืออะไร?

GPT-3, ที่เปิดเผยในเดือนพฤษภาคม เป็นเวอร์ชันที่สามของโปรแกรมที่เปิดตัวครั้งแรกในปี 2018 โดย OpenAI และตามมาในปีที่ผ่านมาด้วย GPT-2 โปรแกรมทั้งสามตัวเป็นตัวอย่างของนวัตกรรมที่เกิดขึ้นอย่างรวดเร็วในด้านโมเดลภาษา ขอบคุณเทคโนโลยีสองอย่างที่เกิดขึ้นในปี 2015

การก้าวหน้าแรกคือการใช้สิ่งที่เรียกว่าความสนใจ (attention) นักวิทยาการปัญญาประดิษฐ์ AI Yoshua Bengio และเพื่อนร่วมงานที่สถาบัน Mila ในการเรียนรู้และประยุกต์ใช้งาน AI ของมอนทรีออลพ์ ได้สังเกตเห็นว่าระบบโมเดลภาษาเมื่อบีบอัดประโยคภาษาอังกฤษแล้วพอให้ประโยคกลับเป็นธรรมชาติ ทุกประโยคมีเวกเตอร์ที่มีขนาดคงที่ เป็นเวกเตอร์ที่มีขนาดเดียวกันไม่ว่าประโยคจะยาวเท่าไหร่

เบงจิโอและทีมของเขาสรุปว่าการใช้วิธีการแบบเดียวจำกัดนี้เป็นขีดจำกัดของการทำงาน โมเดลภาษาควรสามารถค้นหาข้อมูลในหลายเวกเตอร์ที่มีความยาวต่างกันเพื่อค้นหาคำที่เหมาะสมที่สุด ดังนั้นพวกเขาคิดค้นวิธีการให้เครือข่ายประสาทเหล่านี้สามารถย่อคำเป็นเวกเตอร์ขนาดต่างๆได้อย่างยืดหยุ่น และอนุญาตให้โปรแกรมสามารถค้นหาข้อมูลในเวกเตอร์เหล่านั้นได้อย่างยืดหยุ่นเพื่อค้นหาบริบทที่สำคัญ พวกเขาเรียกการทำงานนี้ว่าการสนใจ (attention)

ความสนใจกลายเป็นองค์ประกอบที่สำคัญในโมเดลภาษา นักวิทยาศาสตร์ของ Google ใช้มันในช่วงสองปีถัดมาเพื่อสร้างโปรแกรมโมเดลภาษาที่เรียกว่า Transformer โมเดล Transformer ทำคะแนนที่ไม่น่าเชื่อได้ดีในการทดสอบการจัดการภาษา มันกลายเป็นโมเดลภาษาหลักที่นิยม และถูกใช้โดย Google เพื่อสร้าง BERT โมเดลภาษาที่ประสบความสำเร็จอีกตัวหนึ่ง Transformer ยังเป็นพื้นฐานของ GPT-1

ภายใต้สภาวะที่ไม่จำเป็นต้องจัดการเวกเตอร์ขนาดคงที่อย่างเข้มงวด, Transformer และลูกสาวของมันสามารถเดินทางไปได้ทั่วไปที่ส่วนต่าง ๆ ของข้อความที่กำหนดและค้นหาความขึ้นตรงกันที่เป็นเงื่อนไขที่ขยายตั้งแต่บริบูรณ์มากขึ้น

ความเสรีภาพนั้นเป็นที่สำคัญในการเปิดทางสู่นวัตกรรมอื่น ๆ ที่มาถึงในปี 2015 และที่เป็นที่สำคัญมากขึ้นในการทำงานของ OpenAI คือการเรียนรู้แบบไม่มีผู้สอนที่เรียกว่า unsupervised learning

การเน้นในช่วงเวลานั้นสำหรับโมเดลภาษาส่วนใหญ่เป็นการเรียนรู้ซึ่งเป็นแบบกำกับด้วยข้อมูลที่ระบุชื่อ การให้ข้อมูลเข้ามาแล้วระบบประสานปลายยุคจะมอบเวอร์ชันของคำตอบที่เป็นเป้าหมายให้กับคำตอบอย่างเครื่องใช้ ดังนั้นหากงานคือการแปลภาษา เช่นประโยคภาษาอังกฤษอาจเป็นข้อมูลเข้า และการแปลภาษาฝรั่งเศสที่สร้างขึ้นโดยมนุษย์ก็จะถูกให้เป็นเป้าหมายที่ต้องการ และคู่ของประโยคเหล่านั้นเป็นตัวอย่างที่ระบุชื่อ

พยายามสร้างรุ่นจำลองประสาทเครือข่ายเพื่อแปลภาษาฝรั่งเศสจะถูกเปรียบเทียบกับประโยคฝรั่งเศสทางการทางดังนั้นความแตกต่างระหว่างทั้งสองคือการเข้าข่ายของรุ่นจำลองประสาทเครือข่ายในการทำนายของมันว่าเกิดความผิดพลาดในรูปแบบของฟังก์ชันขาดแคลนหรือฟังก์ชันเป้าหมาย

ขั้นตอนการฝึกฝนมีจุดประสงค์เพื่อลดความต่างของผลลัพธ์ที่แนะนำโดยเครือข่ายประสาทและผลลัพธ์เป้าหมาย เมื่อขนาดของความต่างนั้นเล็กที่สุด ฟังก์ชันวัตถุประสงค์จะได้รับการปรับตัวเพื่อให้การฝักฝนของโมเดลภาษาเทียบเคียงถูกต้อง

แต่การมีผลลัพธ์ที่ต้องการที่ถูกติดป้ายบ่อยครั้งอาจเป็นปัญหา เนื่องจากต้องมีการอนุรักษ์ข้อมูลอย่างมากเช่นการรวบรวมข้อความตัวอย่างที่คู่กันด้วยการตรวจสอบของมนุษย์ซึ่งใช้เวลานานและใช้ทรัพยากรมาก Andrew Dai และ Quoc Le ของ Google ได้สมมติว่าถ้าโมเดลภาษาถูกฝึกฝนในลักษณะที่ไม่ต้องมีการตรวจสอบแบบกำกับ เราอาจลดต้นทุนข้อมูลที่ต้องการลงได้

แทนที่จะได้รับคู่ประโยค ระบบถูกให้เพียงประโยคเดี่ยวเท่านั้นและต้องบีบอัดแต่ละประโยคเป็นเวกเตอร์และแตกต่างกันเป็นประโยคเดิมอีกครั้ง การทำซ้ำกลายเป็นฟังก์ชันขาดที่จะเพิ่มประสิทธิภาพ เขาพบว่ายิ่งมีการบีบอัดและแยกออกในวิธีนี้มากเป็นอย่างไร เขายิ่งสามารถแทนที่ข้อมูลที่มีป้ายชื่อจำนวนมากในงานเช่นการแปลภาษา

ในปี 2018 ทีม OpenAI ได้รวมสององค์ประกอบเหล่านี้กัน คือ กลไกความสนใจที่ Bengio และเพื่อนร่วมงานพัฒนาขึ้น ซึ่งจะเรียวเครียดไปที่เวคเตอร์คำหลายพัน และวิธีการฝึกอบรมแบบไม่มีผู้ดูแลของ Dai และ Le ที่จะกลืนกินปริมาณข้อความมากมาย บีบอัดและแยกออกมาเพื่อสร้างข้อความต้นฉบับอีกครั้ง

พวกเขาใช้ Transformer ทั่วไปและให้อ่านเนื้อหาใน BookCorpus ซึ่งเป็นฐานข้อมูลที่รวมโดยมหาวิทยาลัยโทรอนโตและ MIT ประกอบไปด้วยหนังสือที่ตีพิมพ์กว่า 7,000 เล่มทั้งหมดเท่ากับจำนวนคำแทบล้านคำ รวมมูลค่าถึง 5GB GPT-1 ถูกฝึกให้บีบอัดและถอดรหัสหนังสือเหล่านั้น

เริ่มต้นด้วยประวัติศาสตร์ที่ยาวนานสามปีเต็มของชุดข้อมูลที่ใหญ่ขึ้นเรื่อย ๆ นักวิจัยของ OpenAI ที่สันนิษฐานว่าข้อมูลมากขึ้นทำให้โมเดลมีความแม่นยำมากขึ้นได้เสริมแนวขอบเขตของโปรแกรมได้อย่างเต็มที่ ด้วย GPT-2, พวกเขาทิ้ง BookCorpus ไปแล้วและเลือกใช้ชุดข้อมูลของตัวเองซึ่งประกอบด้วยเว็บเพจแปลกประหลาดจำนวนแปดล้านหน้าที่ถูกดึงข้อมูลจากลิงก์โพสต์ใน Reddit ทั้งหมด 40GB ของข้อมูล

GPT-3's การฝึกอาจยังใหญ่ขึ้นกว่านั้น ประกอบด้วยชุดข้อมูล CommonCrawl ที่ได้รับความนิยมจากเว็บไซต์ต่าง ๆ ตั้งแต่ปี 2016 ถึงปี 2019 มีขนาดประมาณ 45TB ของข้อมูลประเภทข้อความที่บีบอัดแต่ OpenAI ได้รวบรวมและปรับปรุงเพื่อลบข้อมูลที่ซ้ำกันและปรับปรุงคุณภาพ รุ่นสุดท้ายมีข้อมูลคุณภาพทั้งหมดประมาณ 570GB นอกจากนั้น OpenAI ได้เพิ่มข้อมูลเพิ่มเติมจากชุดข้อมูลอื่น ๆ ของหนังสือและอื่น ๆ

สิ่งที่ GPT-3 ต้องการจากพลังคำนวณคืออะไรบ้าง?

กับการมาถึงของ GPT-1, 2, และ 3 ขนาดของการคำนวณกลายเป็นส่วนสำคัญของความคืบหน้า โมเดลนี้ใช้พลังงานคอมพิวเตอร์มากขึ้นเมื่อมันกำลังสอนเพื่อให้ได้ผลลัพธ์ที่ดีขึ้น

สิ่งที่ทำให้ระบบปรับปรุงเน็ตเวิร์คช่วงการฝึกอบรมคือการปรับค่าน้ำหนัก น้ำหนักที่เรียกว่าพารามิเตอร์ คือเมทริกซ์ ชุดของแถวและคอลัมน์ที่ใช้คูณกับเวกเตอร์แต่ละตัว ผ่านการคูณ เวกเตอร์ต่าง ๆ ของคำหรือชิ้นส่วนคำ ถูกให้น้ำหนักสูงหรือต่ำกว่าในเอาต์พุตสุดท้ายเมื่อเครือข่ายปรับตัวให้ปิดเกณฑ์ความผิดพลาด

OpenAI พบว่าในการดำเนินการกับชุดข้อมูลที่ใหญ่ขึ้นของพวกเขา พวกเขาจำเป็นต้องเพิ่มน้ำหนักอย่างไม่ยุติธรรมเพื่อให้ทำได้ดีขึ้น

Transformer ต้นฉบับจาก Google มีน้ำหนักทั้งหมด 110 ล้าน weights (น้ำหนัก). GPT-1 ถูกสร้างตามการออกแบบนี้เมื่อมีน้ำหนักทั้งหมด 1.5 พันล้าน weights. GPT-2 ได้เพิ่มจำนวน weights เป็น 1.5 พันล้าน weights. GPT-3 มีจำนวนพารามิเตอร์เพิ่มขึ้นเป็น 175 พันล้าน weights, ทำให้ GPT-3 เป็นเครือข่ายประสาทที่ใหญ่ที่สุดในโลกที่เคยเห็นมา

การคูณเป็นเรื่องง่าย แต่เมื่อต้องคูณกันกับแต่ละส่วนของข้อมูลนำเข้าทั้งหมด 175 พันล้านครั้ง ตลอดจากพลังด้วยล้านล้านไบท์ของข้อมูล เรื่องนี้กลายเป็นการประมวลทางคอมพิวเตอร์แบบขนานประสานอย่างน่าไม่เชื่อ

ก่อนหน้านี้ด้วยรุ่น GPT-1 ในปี 2018 ที่ผ่านมา OpenAI ได้พยายามตามขีดจำกัดของการคำนวณอย่างเอื้ออำนวย เมื่อเพิ่มขนาดของข้อมูลแล้วจึงต้องเพิ่มจำนวน GPU ขึ้น โดยแบบจำลองภาษาก่อนหน้านี้สามารถทำงานได้ใน GPU เดียวเป็นเพราะโมเดลมีขนาดเล็ก บรรดา GPU จำนวน 8 เครื่องถูกใช้กำลังการทำงานพร้อมกันในระหว่างการฝึก GPT-1 ใช้เวลาประมาณหนึ่งเดือน

กับ GPT-3, OpenAI กระจายความลึกมากหนึ่งเล็กน้อย บริษัทยังไม่ได้ให้รายละเอียดหน้าที่คอมพิวเตอร์ที่ใช้ในการฝึกอย่างชัดเจน นอกจากกันแล้วบอกว่ามันอยู่บนชุดของชิป Nvidia V100 ที่เดิมทำงานอยู่ใน Microsoft Azure บริษัทได้อธิบายถึงรวมวงจรคำนวณที่จำเป็น แสดงว่ามันเกี่ยวข้องกับการทำงานพันล้านล้าน ของการดำเนินการโทรจันตัวเลขที่ลอยเหนือน้ำตัวเลขตรงสองตำแหน่งต่อวินาทีต่อระหว่างวัน

บริษัทผู้ผลิตคอมพิวเตอร์และผู้ดำเนินงานคลาวด์ Lambda Computing ประเมินว่าการรันการคำนวณเชิงกราฟิกด้วย GPU เดียวใช้เวลา 355 ปีจะสามารถทำได้โดยเงินทุนรวมทั้งหมดช่วง $4.6 ล้านดอลลาร์ และยังมีความจำอีกด้วย การเก็บค่าน้ำหนักทั้งหมดต้องใช้หน่วยความจำเพิ่มขึ้นตามจำนวนพารามิเตอร์ที่เพิ่มขึ้น ค่าพารามิเตอร์ 175 พันล้านของ GPT-3 ต้องการหน่วยความจำขนาด 700GB มากกว่าหน่วยความจำใน GPU เดี่ยว 10 เท่า

มันเป็นประเภทของความต้องการพลังงานปริยัติที่กำลังขับเคลื่อนวงการชิปคอมพิวเตอร์ มันได้เพิ่มราคาหุ้นของ Nvidia ซึ่งเป็นผู้ผลิตชิปกราฟิกการฝึก AI อย่างเหนือกว่า 5,000% ในช่วงสิบปีที่ผ่านมา มันได้นำไปสู่การเกิดของบริษัทเริ่มต้นใหม่ที่ได้รับการสนับสนุนจากเงินทุนบริษัทเสนอราคาสูงมากๆ รวมถึง Cerebras Systems, Graphcore, และ Tachyum การแข่งขันจะยังคงเจริญรุ่งเรืองไปเรื่อยๆ ในขณะที่การสร้างโมเดลที่ใหญ่ขึ้นอย่างต่อเนื่องยังคงเป็นแนวโน้มในวงการ

OpenAI ได้ทำการทำวิจัยของตนเองเกี่ยวกับปัญหาความต้องการพลังคอมพิวเตอร์ที่สูงมาก บริษัทได้ระบุในปี 2018 ว่าการนับวัฏจักรของคอมพิวเตอร์ที่ใช้ในการฝึกแบบจำลองทางปัญญาประดิษฐ์ที่ใหญ่ที่สุดนั้นได้เพิ่มขึ้นสองเท่าทุก 3.4 เดือนตั้งแต่ปี 2012 ซึ่งเป็นอัตราการขยายตัวที่เร็วกว่ากฎ Moore ที่เป็นที่รู้จักดีและเกี่ยวข้องกับการเจริญเติบโตของชิปทรานซิสเตอร์ (อย่างไรก็ตาม บริษัทยังได้ทำการวิจัยอีกด้วยเพื่อแสดงให้เห็นว่าด้วยอัตราการใช้พลังงานต่อหน่วยของแบบจำลองที่ใหญ่ขึ้นเรื่อยๆ สุดท้ายนั้นจะมีประสิทธิภาพมากกว่าเจริญเติบโตทางปัญญาประดิษฐ์รุ่นก่อนหน้าที่ทำงานเช่นเดียวกัน)

ในปัจจุบันบริษัทที่ได้รับข้อมูลสารลับเกี่ยวกับโครงการ AI ระดับสูง รายงานว่าแบบจำลองที่กำลังพัฒนาใช้พารามิเตอร์มากกว่าหนึ่งล้านล้าน น่าจะยังไม่ได้ถูกจำกัดไว้ที่นั้น เพราะบริษัทยอดนิยมขนาดใหญ่ เช่น Google ยังคงมุ่งเน้นการใช้งานข้อมูลเซิร์ฟเวอร์ขนาดใหญ่เพื่อสร้างแบบจำลองที่มีขนาดใหญ่ขึ้นอย่างต่อเนื่อง ส่วนใหญ่ของนักวิชาการด้าน AI เห็นด้วยว่าแบ่งความใหญ่สูงขึ้นเป็นนามธรรมสำหรับแบบจำลองการเรียนรู้ของเครื่องนี้ในอนาคตสักระยะหนึ่ง

"ในเชิงผลกระทบต่อการพัฒนา AI ส่วนที่น่าตื่นเต้นที่สุดเกี่ยวกับ GPT-3 คือมันสร้างบทบาทที่ยังไม่ได้เข้าถึงขอบเขตของการขยายมากขึ้นของ AI " เคนนี่ แดเนียล ซีทีโอของผู้ขายเครื่องมือจัดการ AI Algorithmia กล่าว ให้ทราบว่า

นอกเหนือจากการเพิ่มการใช้งานคอมพิวเตอร์ ผลกระทบของ GPT-3 ที่สำคัญคือการเร่งความเร็วในการเขียนโปรแกรมและการพัฒนาแอปพลิเคชันทั่วไป การสาธิตของชะนีเม็มในโปรแกรม JSX ที่สร้างขึ้นโดยการพิมพ์ประโยคเท่านั้นเป็นเพียงจุดยอดของกองน้ำแข็ง

ข้อจำกัดของ GPT-3 คืออะไร?

แม้ว่าจะมีการปรับปรุงอย่างมากในเวอร์ชันก่อนหน้า GPT-3 แต่มีข้อจำกัดมากมายตามที่ผู้เขียนเองได้แสดงออก "แม้ว่าคุณภาพโดยรวมจะสูง แต่ตัวอย่าง GPT-3 ก็ยังมีคราวที่ซ้ำกันในด้านเชิงประมวลความหมายที่ระดับเอกสาร และเริ่มที่จะสูญเสียความสอดคล้องในช่วงที่ยาวเพียงพอ," เขาบันทึกไว้ในงานวิจัยที่เผยแพร่

โปรแกรมยังไม่สามารถทำงานได้ดีในการทดสอบรายบุคคลบางรายด้วย "โดยเฉพาะอย่างยิ่งว่า GPT-3 ยากลำบากในการตอบคำถามชนิด 'ถ้าฉันใส่ชีสในตู้เย็น มันจะละลายหรือไม่?' คือสิ่งที่ผู้เขียนอธิบายว่า GPT-3 ไม่สามารถเข้าใจความรู้สึกที่เกี่ยวกับสิ่งที่เป็นเรื่องธรรมดาได้

มีความตื่นเต้นมากเมื่อ GPT-3 ถูกเปิดตัว เพียงแต่ประธานบริษัท ซัม อัลต์แมน บอกสาธารณชนให้หยุดคาดหวังมากเกินไป

"การเสิร์ฟจาก GPT-3 มีการพูดถึงมากเกินไป," Altman ทวีตในวันที่ 19 กรกฎาคม

"มันเป็นงานที่น่าทึ่ง (ขอบคุณสำหรับคำชมที่ดี!) แต่มันยังมีจุดอ่อนที่สำคัญและบางครั้งมีข้อผิดพลาดที่น่าขัน," เขาเขียน

"AI จะเปลี่ยนโลก, แต่ GPT-3 ก็ยังเป็นแค่สายตาเร็ว ๆ นี้เท่านั้น เรายังมีอีกมากที่ต้องค้นหาออกมา"

ความยาวเฉลี่ยของตัวสร้างของ GPT-3 มีข้อจำกัดมากมาย มันน่าประทับใจ (ขอบคุณสำหรับคำยกย่องที่ดี!) แต่มันยังมีจุดอ่อนที่สำคัญและบางครั้งก็ทำความผิดพลาดอย่างบ้าคลั่กด้วย AI กำลังจะเปลี่ยนโลก แต่ GPT-3 นั้นเพียงแค่ภาพหลักแรกเท่านั้น เรามีความหนาแน่นยำมากเหลืออยู่อีกระยะหนึ่ง

— Sam Altman (@sama) 19 กรกฎาคม 2563

ผู้อื่น ๆ นอก OpenAI ก็ได้เสนอตรวจสอบความเป็นจริงของตัวเองในหลายๆ ครั้ง ผู้ใช้มืออาชีพของหน้าจอ GPT ในหลายรุ่น Max Woolf เขาเขียนบนบล็อกส่วนตัวของตัวเองว่า GPT-3 ดีกว่าสิ่งที่มาก่อน แต่เพียงแค่ในเฉลี่ย เนื่องจากมีระดับคุณภาพของข้อความที่สร้างขึ้นด้วยเทคโนโลยีนี้ที่แตกต่างมากๆ อย่างไรก็ตาม บางตัวอย่างที่คุณพบอาจดูที่น่าประหลาดใจ และบางตัวอื่นอาจดูไม่ดีเลย Woolf เทียบ GPT-3 กับ Siri ของ Apple ที่มีนิสัยน่าเกลียดร้ายที่จะสร้างขยะในหลายๆ ครั้ง (บทความของ Woolf นั้นคุณควรอ่านทั้งหมดเพื่อการวิเคราะห์ที่ตระหนักสติของ GPT-3 อย่างรอบคอบ)

ในความเป็นจริงเมื่อผู้อ่านอ่านตัวอย่าง GPT-3 มากขึ้นเรื่อย ๆ โดยเฉพาะในข้อความที่ยาว ความกระตือรือร้นเริ่มหายไปเรื่อย ๆ GPT-3 ในช่วงที่ยาวนานจะมีโอกาสที่จะสูญเสียเนื้อเรื่อง อย่างที่พวกเขาบอก ไม่ว่าจะเป็นประเภทหรืองานที่ต้องทำ ผลลัพธ์ข้อความที่ได้อาจกลายเป็นข้อความยาวและน่าเบื่อ มีความไม่สอดคล้องกันภายในเนื้อเรื่องเกิดขึ้น

บางโปรแกรมเมอร์ ถึงแม้จะมีความกระตือรือร้น แต่กล่าวถึงข้อบกพร่องจำนวนมาก อย่างเช่น การพยายามของ GPT-3 ที่ล้มเหลวในการทำตลกเรื่องพ่อ ๆ เมื่อได้รับข้อความเริ่มต้นว่า "จานหนึ่งพูดอะไรกับจานอีกแบบ?" คำตอบที่ถูกต้องของตลกพ่อ ๆ ควรจะเป็น "มื้อเย็นอยู่ที่ฉัน!" แต่ GPT-3 อาจตอบคำตอบที่ไม่น่าขบขันว่า "แช่ฉัน!"

ข้อมูลที่ได้จากมนุษย์ : Q. จานชิ้นนึงทักทายจานชิ้นอื่นว่าอะไร?

GPT-3-generated completion : A. ลองจินตนาการฉัน!

ในขณะที่ GPT-3 สามารถตอบคำถามที่เกี่ยวข้องกับสามัญทั่วไปได้ เช่น มีกี่ตาในยีราฟ แต่มันไม่สามารถเพิกเฉยต่อคำถามที่ไม่มีสาระสำคัญได้ และถูกนำเข้าไปให้เสนอคำตอบไร้อาจสาระ ถ้าถามว่า "เท้าของฉันมีกี่ตา?" GPT-3 จะตอบอย่างเต็มใจว่า "เท้าของฉันมีสองตา"

หนึ่งวิธีในการคิดเกี่ยวกับสิ่งที่เรียกว่าความเฉลียวฉลาดทั้งหมดนั้นคือการให้ผลลัพธ์ที่ดีจาก GPT-3 ต้องลงทุนในการสร้างคำถามที่มีประสิทธิภาพ บางคำถามที่มาจากมนุษย์อาจชักนำโปรแกรมให้ได้ผลลัพธ์ที่ดีกว่าคำถามบางคำอื่น นั่นเป็นเวอร์ชันใหม่ของการพูดว่า "เส้นทางใดที่นำเข้าสิ่งที่ไม่ดีจะเป็นสิ่งที่ออกไม่ดี" คำถามที่มีหน้าตาเป็นเส้นทางใหม่ของการเขียนโปรแกรมเป็นอย่างมาก ต้องการความคุ้นเคยและความสามารถในศิลปะอีกด้วย

ปัญญาลำดับที่ 3 (GPT-3) และโปรแกรมทั้งหมดที่พึ่งพาการกระจายแบบเงื่อนไขคือการพิจารณาเรื่องฝังความละเอียดอ้วน วิธีการในพื้นหลังของโปรแกรมคือการส่งคืนแบบเต็มเมื่อถูกใส่มา คล้ายกับกระจก สิ่งนี้อาจทำให้เกิดภาวะสะท้อนความลำเอียงในข้อมูล ได้มีการสนทนาทางวิชาการถึงภาวะสะท้อนความลำเอียงที่หลายมากใน GPT-2 อยู่แล้ว

ด้วย GPT-3, นักวิทยาศาสตร์ประดิษฐ์ AI จาก Nvidia Anima Anandkumar เตือนให้ระวังว่าผลลัพธ์ที่มีแนวโน้มที่จะสร้างผลลัพธ์ที่มีความลำเอียง เช่น ผลลัพธ์ที่มีความเหยื่อผู้ชายและผู้หญิงสติย์ ยังคงอยู่

ฉันรู้สึกไม่สบายใจเมื่อเห็นว่ามีการเผยแพร่นี้โดยไม่มีความรับผิดชอบในแง่ลำเอียง การฝึกอบรมโมเดลนี้โดยใช้ @reddit corpus ที่มีปัญหาใหญ่เกี่ยวกับ #ปัญหาเชื้อชาติและเพศ ฉันเคยทำงานกับโมเดลเหล่านี้และข้อความที่ผลิตขึ้นมาโดยตลอดอายุการทำงานนี้เป็นล้มเหลวอย่างน่าสะพรึงระหว่าง

— ศาสตราจารย์ Anima Anandkumar (@AnimaAnandkumar) 11 มิถุนายน 2020

ถามเกี่ยวกับวิจารณ์ของอนันด์กุมาร เจ้าของ OpenAI ตอบ ZDNet ว่า "เช่นเดียวกับโมเดลสร้างสรรค์ที่มีพลังงานมากขึ้น เรื่องความเป็นธรรมและการนำไปใช้ผิดเป็นเรื่องที่เป็นห่วงของเรา"

"นี่เป็นเหตุผลหนึ่งที่เรากำลังแบ่งปันเทคโนโลยีนี้ผ่านทาง API และเปิดใช้งานในช่วงเบต้าเวอร์ชันเป็นเวลา

OpenAI ได้แถลงข่าวกับ ZDNet ว่า กำลังใช้วิธีการเล่นเกมแบบ white hat, black hat เพื่อตรวจจับความเสี่ยงในโปรแกรม:

เราได้ลงทัพที่เรียกว่า 'ทีมแดง' ซึ่งมีหมายเหตุเป็นการหั่นข้อมูลในระบบกรองเนื้อหาอยู่เสมอเพื่อให้เราเรียนรู้เพิ่มเติมเกี่ยวกับวิธีและเหตุผลที่ระบบกลับคืนผลลัพธ์ที่ไม่ดี และทีมแถวตรงข้ามเรียกว่า "ทีมน้ำเงิน" จะมีหมายเหตุเป็นการวัดและลดความเอื้ออำนวย

ปัญหาสำคัญอีกอย่างคือความกว้างขวางสุดสายและมติคณะที่มีอยู่ใน GPT-3 ในความเป็นจริงแล้วถือเป็นส่วนที่อ้วนที่สุดของเส้นโครงงานของความน่าจะเป็นที่มีเงื่อนไข ยังมีสิ่งที่เรียกว่า "หางยาว" และบางครั้งหางอ้วน ของการกระจายความน่าจะเป็น เป็นสิ่งที่น้อยกว่ากันที่อาจเป็นตัวอย่างที่สร้างสรรค์ที่สุดในการใช้ภาษา การเน้นการสะท้อนสิ่งที่พบได้มากที่สุดในสังคมอาจก่อให้เกิดความผิดนัดและการสำรวจมุมมองที่ต่างๆ

ตอนนี้ คำตอบของ OpenAI สำหรับปัญหานั้นคือการตั้งค่าที่สามารถปรับได้ใน GPT-3 ที่เรียกว่าค่าอุณหภูมิ (temperature value) การปรับแต่งหม้อบีบอัดนี้จะปรับ GPT-3 เพื่อที่จะเลือกคำที่น้อยต่อไปและให้ผลลัพธ์ข้อความที่อาจจะไม่ธรรมดาขึ้นกว่าเดิม

หนึ่งในความกังวลที่สำคัญของธุรกิจคือไม่สามารถปรับแต่ง GPT-3 ด้วยข้อมูลที่เฉพาะเจาะจงกับบริษัทได้ โดยปริมาณการปรับแต่งที่ไม่มีถึง จึงทำให้เรายากที่จะทำให้ GPT-3 เชี่ยวชาญในตลาดอุตสาหกรรมใดๆ อาจเกิดกรณีที่บริษัทใดๆ ที่ใช้บริการ API นี้ ต้องปรับแต่งข้อความเพิ่มเติมเพื่อให้เหมาะสมกับตลาดที่ต้องการ อาจจะมีสตาร์ตอัพเช่น Sapling ที่เป็นนิเวศเดียวกัน เหมือนบริษัทระดับกลางที่อาจจะแก้ปัญหานี้ได้ อาจเป็นไปได้ แต่อย่างไรก็ตาม คงต้องรอดูการเกิดเหตุการณ์เสมอ

ถ้านั่นยังไม่เพียงพอเป็นปัญหา ยังมีปัญหาอีกอย่างหนึ่ง คือ GPT-3 เป็นบริการคลาวด์แบบกล่องดำ ซึ่งหมายความว่า บริษัทที่จะใช้บริการนี้จะไม่รู้เท่าไหร่ว่ามันทำงานอย่างไรเพื่อให้ได้ผลลัพธ์ -- ความเป็นไปได้ที่น่าวิตกกังวลยิ่งขึ้นเมื่อพิจารณาถึงปัญหาเรื่องผลกระทบจากความลำเอียง ระบบนิเวศที่ประกอบด้วยฝ่ายต่าง ๆ เช่น Sapling ที่เพิ่มความสามารถให้กับ GPT-3 อาจเพิ่มชั้นข้ั้นของการทำให้เข้าใจยากพร้อมกับการเพิ่มประสิทธิภาพของบริการนั้นๆ

เป็นส่วนย่อยของปัญหากล่องดำ GPT-3 อาจจดจำสิ่งที่ได้รับมาจากเว็บได้ในบางกรณี ซึ่งเกิดความเสี่ยงเกี่ยวกับลิขสิทธิ์ หากบริษัทใดนำเอาผลลัพธ์จากบริการ API ที่เป็นวัสดุที่มีลิขสิทธิ์ไปใช้งาน บริษัทดังกล่าวอาจละเมิดลิขสิทธิ์ของตัวกลางอื่น ถามเกี่ยวกับลิขสิทธิ์ OpenAI บอก ZDNet โดย OpenAI บอกว่าลิขสิทธิ์สำหรับข้อความที่ถูกสร้างขึ้นโดย GPT-3 "เป็นของผู้ใช้ไม่ใช่ของ OpenAI" ว่าแล้วความหมายแบบนี้ในการปฏิบัติจริงจะอยู่ในระหว่างการทดลอง