ChatGPT สามารถเขียนโค้ดได้ ตอนนี้นักวิจัยกล่าวว่ามันยังเหมาะกับการแก้ไขข้อบกพร่องอีกด้วย

โปรแกรม ChatGPT ของ OpenAI สามารถแก้ไขข้อผิดพลาดของซอฟต์แวร์ได้ดีมาก แต่ความเป็นเอกลักษณ์ที่สำคัญของมันต่อวิธีการและโมเดล AI อื่น ๆ คือความสามารถในการสนทนากับมนุษย์ที่ช่วยให้มันปรับปรุงความถูกต้องของคำตอบได้

นักวิจัยจากมหาวิทยาลัยโยฮันเนส กูเตนเบิร์กและมหาวิทยาลัยคอลลีจลันดอนทดสอบ ChatGPT ของ OpenAI กับ "เทคนิคการซ่อมแซมโปรแกรมอัตโนมัติมาตรฐาน" และวิธีการซ่อมแซมโปรแกรมสองแบบโดยใช้การเรียนรู้ลึก: CoCoNut จากนักวิจัยที่มหาวิทยาลัยวอเตอร์ลู, แคนาดา; และ Codex แบบ GPT-3 ของ OpenAI ที่เป็นโมเดลที่สนับสนุนการทำงานของ GitHub ในการปรับรหัสโปรแกรมอัตโนมัติและบริการการเติมโค้ดร่วมทำงานอัตโนมัติของ Copilot.

ยังมีอีก: วิธีเริ่มต้นการใช้งาน ChatGPT

"เราพบว่าประสิทธิภาพในการแก้ไขบัคของ ChatGPT เป็นอย่างไร้เทียมทานกับวิธีการเรียนรู้ลึกทั่วไปเช่น CoCoNut และ Codex และมีประสิทธิผลที่ดีกว่าผลลัพธ์ที่รายงานไว้สำหรับวิธีการซ่อมแซมโปรแกรมมาตรฐาน," นักวิจัยเขียนในเอกสาร arXiv ใหม่นี้ เป็นครั้งแรกที่ New Scientist สังเกตเห็น.

ช็อตบอท AI ที่ดีที่สุด: ChatGPT และทางเลือกอื่นๆที่น่าสนใจสำหรับทดลอง

บอทแชทและนักเขียน AI สามารถช่วยแบ่งเบาหน้าที่งานของคุณได้โดยการเขียนอีเมลและเรียงคำเหตุการณ์ และแม้กระทั่งการคำนวณทางคณิตศาสตร์ เขาใช้ปัญญาประดิษฐ์เพื่อสร้างข้อความหรือตอบข้อสงสัยตามข้อมูลที่ผู้ใช้ป้อนเข้าไป ChatGPT เป็นตัวอย่างที่น่าสนใจ แต่ยังมีบอทแชทที่น่าสนใจอื่นๆ อีกเช่นกัน

อ่านตอนนี้

ว่า ChatGPT สามารถใช้แก้ปัญหาการเขียนโค้ดได้ไม่ใช่ข่าวใหม่ แต่ผู้วิจัยเน้นที่ว่าความสามารถที่ไม่เหมือนใครในการสนทนากับมนุษย์ทำให้มีความเป็นไปได้ในการเป็นเลิศกว่าทางที่มีอยู่และแบบจำลองอื่นๆ

นักวิจัยทดสอบประสิทธิภาพของ ChatGPT โดยใช้ QuixBugs bug-fixing benchmark เป็นตัววัดผลการทดสอบ ระบบการซ่อมแซมโปรแกรมอัตโนมัติ (APR) ดูเหมือนว่าอยู่ในช่วงที่ต่ำกว่า เนื่องจากพัฒนาก่อนปี 2018

ChatGPT มีพื้นฐานซึ่งมาจากโครงสร้าง transformer ซึ่ง Yann LeCunn หัวหน้าศาสตร์ประยุกต์ AI ของ Meta ได้เน้นโดย Google ในสัปดาห์นี้ครับ Codex, CodeBERT จาก Microsoft Research และตัวแทนก่อนหน้าของ BERT จาก Google ยังคงพึ่งโครงสร้าง transformer ของ Google ทั้งหมด

OpenAIประณีตแอปพลิเคชันที่มีความสามารถในการสนทนาของChatGPT ซึ่งอยู่ในตัวอย่างสำหรับการแก้ปัญหาในการดีบักโค้ดที่สามารถถามคำอธิบายและรับคำแนะนำจากบุคคลในการเข้าใจในการหาคำตอบที่ดีขึ้น มันได้รับการฝึกอบรมด้วยโมเดลภาษาขนาดใหญ่ของChatGPT (GPT-3และGPT 3.5) โดยใช้ข้อมูลตอบแทนจากมนุษย์เพื่อให้ปรับปรุงในรูปแบบของการเรียนรู้แบบเสริมการกระทำ (RLHF)

ในขณะที่ความสามารถในการสนทนาของ ChatGPT สามารถช่วยให้สามารถเข้าใจคำตอบที่ถูกต้องมากขึ้นได้ คุณภาพของคำแนะนำที่เกิดขึ้นยังคงไม่ชัดเจนตามที่นักวิจัยกล่าวไว้ นั่นคือเหตุผลที่พวกเขาต้องการประเมินประสิทธิภาพในการแก้ไขข้อผิดพลาดของ ChatGPT

นักวิจัยทดสอบ ChatGPT กับปัญหา QuixBugs 40 ปัญหาที่ใช้ภาษา Python เท่านั้น แล้วตรวจสอบเพื่อดูว่าคำแนะนำในการแก้ปัญหาที่ ChatGPT แนะนำถูกต้องหรือไม่ พวกเขาทำการสอบถามซ้ำ 4 ครั้งเนื่องจากมีความสุ่มเสี่ยงที่คำตอบของ ChatGPT จะไม่เสถียร เช่นเดียวกับศาสตราจารย์วิชาการธุรกิจวาตอง ผ่านการสอบเหมือน MBA

ChatGPT แก้ไขปัญหา Python 19 ปัญหาจากทั้งหมด 40 ปัญหา เท่ากับ CoCoNut (19) และ Codex (21) แต่วิธี APR มาตรฐานแก้ไขได้เพียงเจ็ดข้อเท่านั้น

นักวิจัยพบว่าอัตราความสำเร็จของ ChatGPT ในการติดต่อสารถึงถึง 77.5% แล้ว

ผลกระทบที่เกี่ยวข้องกับนักพัฒนาในเชิงความใส่ใจและผลิตภาพเป็นอันตราย จากนั้น Stack Overflow ได้ห้ามการตอบคำถามที่สร้างขึ้นโดย ChatGPT เนื่องจากคุณภาพต่ำแต่มีเสียงที่น่าเชื่อถือ ศาสตราจารย์วาร์ตันพบว่า ChatGPT อาจเป็นเพื่อนร่วมทางที่ยอดเยี่ยมสำหรับนักศึกษา MBA เนื่องจากสามารถเล่นบทบาทของ "ที่ปรึกษาที่ฉลาด" ซึ่งสร้างคำตอบที่งดงามแต่บางครั้งก็ตอบผิด -- และส่งเสริมการคิดอย่างวิเคราะห์.

"นี่เป็นการแสดงว่าการมีผู้ใช้เข้ามาช่วยในระบบ APR อัตโนมัติสามารถทำได้มากๆ และด้วยการใช้ ChatGPT เป็นสื่อในการทำเช่นนี้," นักวิจัยเขียน

"แม้ว่า ChatGPT จะมีประสิทธิภาพที่ดี แต่มีคำถามเกี่ยวกับค่าใช้จ่ายทางจิตใจที่ต้องใช้ในการยืนยันคำตอบของ ChatGPT ที่อาจน้อยกว่าประโยชน์ที่ ChatGPT นำเข้ามา"