วิธีจัดอันดับ — blind pairwise + สถิติ Bradley-Terry

ระบบให้ผู้ประเมินดูผลงานจากสองโมเดลที่สุ่มมาโดยไม่รู้ว่าตัวไหนคือตัวไหน (blind) แล้วเลือกว่าอันไหนดีกว่าในงานนั้นๆ จากนั้นนำผลโหวตแบบคู่ (pairwise) ทั้งหมดมาคำนวณอันดับด้วยแบบจำลองสถิติ Bradley-Terry ซึ่งประเมิน "ความน่าจะเป็นที่จะชนะ" ของแต่ละโมเดลจากประวัติการเจอกันแบบตัวต่อตัว ผู้ตัดสินแบ่งเป็นสองระดับ คือ Creative Expert Council ที่เป็นผู้เชี่ยวชาญมีชื่อ และกลุ่ม "tastemakers" จากชุมชนครีเอเตอร์อีกราว 800-1,000 คน OpenArt ระบุว่าจะเปิดเผยระเบียบวิธีและชุด prompt บางส่วนต่อสาธารณะ แต่เก็บ prompt ที่ใช้ประเมินจริงบางชุดเป็นความลับ เพื่อลดความเสี่ยงที่ค่ายโมเดลจะจูนโมเดลให้ตอบโจทย์เฉพาะชุดทดสอบ

แยกบอร์ดตามงานจริง ไม่ใช่คะแนนรวมตัวเดียว

จุดที่ต่างจาก leaderboard ทั่วไปคือ Arena แบ่งกระดานคะแนนย่อยตามประเภทงาน ได้แก่ โฆษณาและการตลาด ภาพยนตร์ กราฟิกดีไซน์ อีคอมเมิร์ซ แอนิเมชัน โมชันดีไซน์ ตัดต่อวิดีโอ และ lip sync โดยแต่ละบอร์ดใช้เกณฑ์ประเมินต่างกัน เช่น สุนทรียศาสตร์ ความตรงกับ prompt ความสมจริง และคุณภาพการเคลื่อนไหว ผลการจัดอันดับเปิดตัวรอบแรกในหมวดวิดีโอโดยรวม Seedance 2.5 นำอยู่ที่ 1,081 คะแนน ตามด้วย Wan 3.0 ที่ 1,004 และ Seedance 2.0 ที่ 1,000 ส่วนหมวดภาพโดยรวม Seedream 5.0 Pro นำที่ 1,010 คะแนน ตามด้วย GPT Image 2 ที่ 1,000 คะแนน

แก้ปัญหาอะไรให้วงการครีเอทีฟ

Stella Guan หัวหน้าฝ่าย Growth & Operations ของ OpenArt ระบุว่าเป้าหมายคือให้ Arena กลายเป็นมาตรฐานใหม่ที่คนทำงานครีเอทีฟใช้เลือกโมเดลภาพหรือวิดีโอที่เหมาะกับงานจริง ปัญหาที่ Arena พยายามแก้คือทีมครีเอทีฟเสียเวลาจำนวนมากไปกับการทดลองเลือกโมเดลจากตัวเลือกนับสิบที่ออกใหม่แทบทุกสัปดาห์ ทั้งที่โมเดลแต่ละตัวมีจุดแข็งต่างกันตามลักษณะงาน — โมเดลที่เก่งเรื่องงานภาพยนตร์อาจไม่ใช่ตัวที่ดีที่สุดสำหรับงานแพ็กเกจจิ้งหรือกราฟิกดีไซน์เลยก็ได้

มุมมองของเรา

All-In AI Labs ทดสอบโมเดล AI ภาพและวิดีโอใหม่ทุกตัวที่ออกมาอยู่แล้วก่อนจะเลือกใช้จริงในไปป์ไลน์ลูกค้า เพราะรู้ดีว่าโมเดลที่ "เก่งสุด" บน leaderboard ทั่วไปอาจไม่ใช่ตัวที่เหมาะกับงานวิดีโอโฆษณาที่ต้องการความสม่ำเสมอของตัวละครและสไตล์ภาพยนตร์จริง การมีบอร์ดแยกตามประเภทงานแบบ OpenArt Arena เป็นเครื่องมือที่ตรงกับวิธีทำงานของเราอยู่แล้ว คือเลือกโมเดลตามโจทย์ ไม่ใช่ตามกระแส เราจะติดตามผลอันดับในหมวดภาพยนตร์และโฆษณาของ Arena ต่อเนื่อง เพื่อนำมาเทียบกับผลทดสอบภายในของทีมก่อนตัดสินใจสลับโมเดลหลักในโปรดักชันจริงให้ลูกค้าแต่ละโปรเจกต์ได้งานวิดีโอคุณภาพสูงในงบที่คุ้มที่สุดเสมอ