Seedance 2.5 החדש: האם אנחנו מתקרבים ליצירת סרט AI שלם בפרומפט אחד?

קודם כל: מה זה Seedance?

Seedance הוא מודל ליצירת וידאו של ByteDance, החברה שעומדת גם מאחורי TikTok.

כמו מודלים אחרים ליצירת וידאו ב־AI, אפשר לתת לו הוראות ולבקש ממנו לייצר סצנה. בדורות האחרונים של Seedance אפשר גם להשתמש בתמונות, סרטונים ואודיו כחומרי רפרנס, ולא להסתמך רק על טקסט.

Seedance 2.0 כבר הציע עבודה עם טקסט, תמונות, וידאו ואודיו בתוך אותה מערכת. ב־Seedance 2.5 הדגש עובר יותר לכיוון של יצירת רצף שלם והמשכיות בין שוטים.

עד 30 שניות בסרטון אחד

זה כנראה השינוי שהכי קל להבין.

Seedance 2.5 יכול ליצור עד 30 שניות של וידאו ואודיו במהלך אחד. לפי ByteDance, בתוך אותן 30 שניות המודל יכול לבנות מספר שוטים שקשורים זה לזה וליצור התחלה, התפתחות והמשך של סיפור, במקום פשוט להחזיק את אותה סצנה לאורך זמן.

למה זה משמעותי? כי 30 שניות הן כבר לא רק שוט.

בתוך חצי דקה אפשר, למשל, להראות דמות נכנסת לחדר, מדברת עם מישהו, יוצאת למסדרון ומגיעה ללוקיישן אחר. עד היום, בהרבה מקרים היינו יוצרים כל אחד מהשלבים האלה בנפרד.

כשכל שוט נוצר בנפרד מתחילות הבעיות המוכרות: הפנים משתנות מעט, הבגדים פתאום נראים אחרת, החדר משתנה, התאורה קופצת או שהדמות פשוט לא נראית בדיוק כמו בשוט הקודם. המטרה של יצירה ארוכה יותר היא לצמצם חלק מהבעיות האלה.

אפשר גם להמשיך את הסרטון

עוד אפשרות מעניינת היא Extension, כלומר הרחבת הסרטון.

אחרי שנוצר הסרטון הראשון אפשר לבקש מ־Seedance להמשיך ממנו וליצור עוד קטע, תוך ניסיון לשמור על הדמויות, הסביבה, הסגנון והקצב של הסרטון הקודם. ByteDance מציגה את היכולת הזו כדרך להגיע בסופו של דבר גם לרצפים של כמה דקות באמצעות מספר הרחבות.

חשוב להדגיש: זה עדיין לא אומר שלוחצים על כפתור ומקבלים סרט מושלם של שלוש דקות. ככל שסרטון נהיה ארוך ומורכב יותר, כך קשה יותר לשמור על עקביות מוחלטת.

אבל הכיוון עצמו מעניין מאוד, כי הוא משנה את דרך העבודה. במקום לחשוב רק „איזה שוט אני רוצה ליצור?”, אפשר להתחיל לחשוב „איזה רצף אני רוצה ליצור?”.

הרבה יותר חומרי רפרנס

אחד הדברים המעניינים ביותר ב־Seedance 2.5 הוא האפשרות לתת למודל כמות גדולה של חומרי רפרנס.

לפי ByteDance, אפשר להזין בתהליך אחד עד 30 תמונות, 10 קטעי וידאו ו־10 קטעי אודיו. זה יכול להיות שימושי מאוד כשרוצים לשלוט בכמה דברים במקביל.

• תמונה אחת יכולה להגדיר איך הדמות נראית.
• תמונה אחרת יכולה להראות את הלוקיישן.
• וידאו יכול לשמש כרפרנס לתנועה.
• קטע אודיו יכול לשמש כרפרנס לקול.
• תמונות נוספות יכולות להגדיר בגדים, אביזרים או דמויות אחרות.

אפשר להשתמש בווידאו כדי להסביר תנועה

זו יכולת חשובה במיוחד למי שכבר יוצר סרטי AI.

לפעמים קל לכתוב „הדמות מסתובבת ואז הולכת לכיוון הדלת”, אבל הרבה יותר קשה להסביר במילים תנועת מצלמה מדויקת, קצב הליכה, תנועת גוף או כוריאוגרפיה מורכבת.

Seedance 2.5 מאפשר להשתמש גם בתנועה מתוך חומר רפרנס כדי להנחות את הווידאו החדש. ByteDance מציינת שהמודל שיפר את היכולת להבין רפרנסים של תנועה, קומפוזיציה ומצלמה.

זה מקרב את העבודה עם AI קצת יותר לשפה של בימוי ופחות לשיטה של „נכתוב פרומפט ונראה מה יקרה”.

ומה לגבי דמויות עקביות?

זו אחת הבעיות הגדולות ביותר ביצירת סרט AI שמורכב מהרבה שוטים: בשוט השני הדמות עדיין דומה, בשלישי השיער קצת משתנה, ברביעי הבגדים אחרים ובחמישי כבר לא לגמרי בטוחים שזה אותו אדם.

Seedance 2.5 נועד לשפר את העקביות כאשר משתמשים במספר רפרנסים ובכמה שוטים. לפי ByteDance, המודל מסוגל להשתמש בחומרים השונים כדי לשמור טוב יותר על המראה והקול של מספר דמויות גם בסצנות מורכבות.

האם זה אומר שהבעיה נפתרה לחלוטין? לא.

גם ByteDance מציינת שעדיין קיימות מגבלות, במיוחד בתנועות פיזיות מורכבות ובסצנות שבהן מספר דמויות מקיימות אינטראקציה זו עם זו. זה פרט חשוב, כי הדגמות רשמיות של כלי AI כמעט תמיד מציגות את התוצאות הטובות ביותר. בפרויקט אמיתי עדיין צריך לצפות לניסיונות חוזרים.

שליטה לפי זמנים

Seedance 2.5 מוסיף גם שליטה מדויקת יותר לפי חותמות זמן, או timestamps. במילים פשוטות, אפשר לתת הוראות שונות לחלקים שונים של הסרטון.

• 0–5 שניות: קלוז אפ על הדמות.
• 5–10 שניות: המצלמה מתחילה להתרחק.
• 10–15 שניות: הדמות מסתובבת ומתחילה ללכת.
• 15–20 שניות: מעבר לשוט רחב.

מה אפשר לעשות עם חותמות זמן?

ByteDance מציגה את האפשרות הזו גם כחלק מכלי העריכה של המודל, כך שניתן לבצע שינויים ממוקדים יותר בחלק מסוים של הסרטון במקום לייצר בהכרח הכול מחדש.

למי שמכיר עריכת וידאו זה כבר מתחיל להרגיש מוכר יותר: במקום פרומפט אחד שמתאר הכול, בונים סוג של הוראות בימוי לאורך הטיימליין.

אז האם כבר לא צריך תוכנת עריכת וידאו?

ממש לא.

גם אם מודלי AI מצליחים לייצר רצפים ארוכים יותר, עדיין יש צורך בעריכה. צריך להחליט מה נשאר ומה יורד, לחבר בין קטעים, לעבוד עם מוזיקה, לתקן קצב, להוסיף טקסטים, גרפיקה וסאונד.

אבל העבודה יכולה להשתנות. אם בעבר יצרנו עשרה שוטים של חמש שניות וחיברנו אותם, בעתיד ייתכן שנייצר כמה רצפים ארוכים ומורכבים יותר ורק אז נערוך אותם.

כלומר, ה־AI לא בהכרח מחליף את העריכה. הוא יכול להעביר חלק גדול יותר מתהליך יצירת חומרי הגלם אל שלב ה־AI.

למי Seedance 2.5 יכול להיות מעניין?

למי שרק מתחיל ליצור סרטונים ב־AI, חלק מהאפשרויות המתקדמות יכולות להישמע מורכבות. אבל הרעיון הבסיסי דווקא פשוט מאוד.

במקום לתת למודל רק משפט ולבקש ממנו לנחש את כל השאר, אפשר לתת לו יותר מידע: איך הדמות נראית, איך המקום נראה, איך המצלמה צריכה לזוז, איזו תנועה רוצים, איך הסרטון צריך להישמע ומה צריך לקרות בכל שלב.

ככל שהמודלים מצליחים להבין יותר סוגים של רפרנסים, יש ליוצר יותר שליטה על התוצאה.

האם כדאי כבר לעבור ל־Seedance 2.5?

כאן כדאי להיות קצת זהירים.

בהשקה ב־31 ביולי ByteDance הודיעה שהמודל מתחיל להיפתח דרך Jimeng AI ו־Doubao Pro, ושגישה דרך API של BytePlus ModelArk תגיע בהמשך. ב־6 באוגוסט BytePlus הודיעה שהמודל כבר זמין ב־ModelArk בשווקים נתמכים ברחבי העולם, אך השירות אינו זמין בארצות הברית.

ב־BytePlus קיימות גם מגבלות על יצירת וידאו מתמונות או מסרטונים שמכילים פנים של אנשים אמיתיים, אלא אם הושלמו תהליכי אימות והרשאה מתאימים. לכן לא לכל משתמש תהיה אותה דרך גישה ולא כל חומר רפרנס יהיה מותר לשימוש.

גם כשמודל חדש נראה מרשים בסרטוני ההדגמה, כדאי לבדוק אותו על פרויקטים אמיתיים לפני שמחליטים שהוא מחליף את כלי העבודה הקיימים.

Seedance 2.5 כן מסמן מגמה מעניינת מאוד: כלי יצירת הווידאו מתחילים לעבור מיצירת קליפים קצרים ליצירת רצפים, מהנפשה של תמונה אחת לבימוי של כמה שוטים, ומפרומפט בודד לעבודה עם תמונות, וידאו, אודיו, תזמון ורפרנסים.

זה כנראה אחד הכיוונים המשמעותיים ביותר שנראה בעולם סרטי ה־AI בתקופה הקרובה.