Hollywoods Kampf um KI und 3D-Scannen, erklärt

Besuchen Sie unsere On-Demand-Bibliothek, um Sitzungen von VB Transform 2023 anzusehen. Registrieren Sie sich hier

Hollywood ist seit mehr als 100 Tagen weitgehend geschlossen, nachdem die Gewerkschaft der Drehbuchautoren, die Writers Guild of America (WGA), am 1. Mai für einen Streik gestimmt hatte. Den Autoren folgte bald die Schauspielergewerkschaft Screen Am 13. Juli streikten beide großen Gewerkschaften zum ersten Mal seit 63 Jahren gleichzeitig die Actors Guild-American Federation of Television and Radio Artists (SAG-AFTRA).

Beide Gewerkschaften haben Einwände gegen Vertragsverlängerungsvorschläge der Alliance of Motion Picture and Television Producers (AMPTP) erhoben. Ein zentraler Knackpunkt ist der Einsatz von künstlicher Intelligenz (KI) und 3D-Scantechnologie. Die Produzenten und die großen Filmstudios, die hinter ihnen stehen, wollen eine umfassende Lizenz, um die Technologie nach Belieben zu nutzen. Die Autoren und Schauspieler wollen eine Einigung über konkrete Regeln, wie, wann und wo es verwendet werden darf.

Während sich die beiden Seiten weiterhin über ihre Verhandlungsführer streiten, hat VentureBeat die tatsächliche Technologie, um die es geht, genau unter die Lupe genommen und herausgefunden, dass ein wichtiger Unterschied gemacht werden muss, wenn die duellierenden Seiten zu einer für beide Seiten zufriedenstellenden Einigung kommen wollen: 3D Scannen ist nicht dasselbe wie KI und die meisten Anbieter bieten nur eine der beiden Technologien für die Filmerstellung an.

Die Technologieanbieter sind größtenteils auch davon überzeugt, dass Schauspieler und Autoren für ihre Arbeit in welcher Form auch immer entlohnt werden sollten und dass das Geschäft der Anbieter leiden würde, wenn Schauspieler durch 3D-Doubles und Autoren durch generierte Drehbücher ersetzt würden.

VB Transform 2023 On-Demand

Haben Sie eine Sitzung von VB Transform 2023 verpasst? Registrieren Sie sich, um auf die On-Demand-Bibliothek aller unserer vorgestellten Sitzungen zuzugreifen.

Aber die Dinge ändern sich schnell. VentureBeat erfuhr von Plänen eines KI-Anbieters, Move.AI, nächsten Monat eine neue Motion-Capture-App mit einer einzigen Smartphone-Kamera auf den Markt zu bringen – eine Entwicklung, die die Kosten und die Komplexität der Bewegung digitaler 3D-Modelle radikal reduzieren würde. Unabhängig davon teilte ein 3D-Scan-Unternehmen, Digital Domain, seine Absicht mit, mithilfe von KI „vollständig digitale menschliche“ Avatare zu erstellen, die von KI-Chatbots unterstützt werden.

Während einige 3D-Scan-Unternehmen nach KI-Lösungen suchen, um ihnen bei der Erstellung interaktiver 3D-Modelle von Schauspielern zu helfen – bekannt als digitale Menschen, digitale Doppelgänger, digitale Zwillinge oder virtuelle Doppelgänger – kam die 3D-Scantechnologie nach Hollywood, lange bevor KI leicht verfügbar oder praktisch war. und KI ist nicht erforderlich, um Schauspieler zu scannen.

Wenn jedoch realistische 3D-Scans eines Tages – vielleicht sogar in naher Zukunft – berufstätige Schauspieler ersetzen sollen, wird wahrscheinlich eine zusätzliche, separate KI-Ebene erforderlich sein, um den 3D-Modellen von Schauspielern zu helfen, sich realistisch zu bewegen, Emotionen zu zeigen und zu sprechen. Diese KI-Ebene existiert größtenteils noch nicht. Aber Unternehmen arbeiten an Technologien, die dies ermöglichen würden.

Wenn die Konfliktparteien in Hollywood und den kreativen Künsten im Allgemeinen einen nachhaltigen, für beide Seiten vorteilhaften Weg finden wollen, ist es unerlässlich, genau zu verstehen, wer einige der Technologieanbieter sind, die hinter diesen beiden separaten und unterschiedlichen Technologien stehen – 3D-Scannen und KI – und was sie tatsächlich tun nach vorne.

Doch in Hollywood könnte man meinen, beide Technologien – KI und 3D-Scanning – seien ein und dasselbe.

Duncan Crabtree-Ireland, der Chefunterhändler von SAG-AFTRA, gab bekannt, dass die Studios im Juli einen Plan vorgeschlagen hatten, Statisten oder Hintergrundschauspieler in 3D zu scannen und ihre digitalen Abbilder auf unbestimmte Zeit zu verwenden. Dieser Vorschlag wurde von der Gewerkschaft schnell abgelehnt. „Wir sind in diese Verhandlungen eingetreten und haben gesagt, dass KI auf eine Weise durchgeführt werden muss, die die Schauspieler respektiert und ihre Menschenrechte auf ihren eigenen Körper, ihre Stimme, ihr Bild und ihr Abbild respektiert“, sagte Crabtree-Ireland gegenüber Deadline.

Mittlerweile häufen sich Berichte darüber, dass Schauspieler auf großen Film- und Fernsehgeräten 3D-Scans unterzogen werden, was in der Branche für Unruhe sorgt.

In der ersten Woche des Streiks erzählte mir eine junge Schauspielerin (Anfang 20), sie sei Nebendarstellerin in einer Marvel-Serie und man schickte sie zum „Truck“, wo man ihr Gesicht und ihren Körper dreimal scannte. Besitzte ihr Bild auf Dauer im ganzen Universum für 100 US-Dollar. Existenziell, ist richtig.

Obwohl es das Scannen von 3D-Schauspielern schon seit Jahren gibt, sind Hollywood-Führungskräfte wie die von Disney Berichten zufolge begeistert von der Hinzufügung generativer KI und von den übergreifenden Aussichten der KI für neues, kostengünstigeres Geschichtenerzählen. Aber die zunehmende Verfügbarkeit der Technologie hat bei Schriftstellern und Schauspielern auch große Bedenken hinsichtlich der Auswirkungen auf ihre Lebensgrundlagen und ihr Handwerk geweckt.

Was Hollywood-Autoren betrifft, hat die kürzliche Einführung einer Reihe kostenloser, verbraucherorientierter LLM-Anwendungen (Text-to-Text Large Language Model) wie ChatGPT, Claude und LLaMA es den Menschen viel einfacher gemacht, Drehbücher zu erstellen Skripte im Handumdrehen.

Reid Hoffman, ein Unterstützer des ChatGPT-Herstellers OpenAI, hat sogar ein ganzes Buch mit ChatGPT geschrieben und Beispielseiten für Drehbücher beigefügt.

Eine andere App, Sudowrite, die auf GPT-3 von OpenAI basiert, kann zum Schreiben von Prosa und Drehbüchern verwendet werden, wurde jedoch vor einigen Monaten von Autoren kritisiert, die glaubten, dass sie ohne deren ausdrückliche Zustimmung auf unveröffentlichte Arbeiten von Entwurfsgruppen trainiert wurde. Der Gründer von Sudowrite bestritt dies.

In der Zwischenzeit lassen KI-Apps zum Klonen von Stimmen, wie sie vom Startup ElevenLabs angeboten und von Meta demonstriert werden, auch die Aussicht aufkommen, dass Schauspieler nicht einmal Voice-Overs für animierte Darbietungen aufzeichnen müssen, auch wenn es um ihre digitalen Doubles geht.

Unabhängig davon sorgt das 3D-Körperscanning dank des Schauspielerstreiks mittlerweile für Schlagzeilen, doch die Technologie dahinter gibt es tatsächlich schon seit Jahrzehnten, eingeführt von einigen der größten Champions und Autoren des Kinos, darunter James Cameron, David Fincher und den gefeierten Effekten Studio Industrial Light and Magic (ILM).

Mit der Kraft der generativen KI können diese 3D-Scans, die einst als Erweiterungen der Leistung eines menschlichen Schauspielers am Set angesehen wurden, nun umfunktioniert und theoretisch als Grundlage für neue Aufführungen verwendet werden, für die weder der Schauspieler noch seine Zustimmung erforderlich sind nach vorne. Sie könnten sogar einen KI-Chatbot wie ChatGPT damit beauftragen, ein Drehbuch zu schreiben und es von einem digitalen Schauspieler ausführen zu lassen. Aber aufgrund der inhärenten Komplexität dieser Technologien werden sie im Allgemeinen und zu Unrecht alle zu einer einzigen zusammengefasst und unter dem Spitznamen „KI“ zusammengefasst.

„Wir sind seit 28 Jahren dabei“, sagte Michael Raphael, CEO, Präsident und Gründer von Direct Dimensions, in einem exklusiven Videointerview mit VentureBeat.

Direct Dimensions ist ein in Baltimore ansässiges 3D-Scan-Unternehmen, das die Scan-Hardware für einige der größten Blockbuster der letzten Jahre baut, darunter Marvel’s Avengers: Infinity War und Avengers: Endgame.

Das erste Model der Firma in Hollywood war die Schauspielerin Natalie Portman für ihre Oscar-prämierte Rolle im psychosexuellen Thriller Black Swan aus dem Jahr 2010.

Raphael, ein ausgebildeter Ingenieur, gründete das Unternehmen 1995, nachdem er in der Luft- und Raumfahrtindustrie gearbeitet hatte, wo er an der Entwicklung präziser 3D-Scanwerkzeuge zur Vermessung von Flugzeugteilen beteiligt war, darunter ein Gelenkarm mit optischen Encodern in den Gelenken.

Im Laufe der Jahre jedoch und mit der Weiterentwicklung der Technologie erweiterte das Unternehmen sein Angebot um weitere Scan-Hardware wie Laserscanning mit Lidar (Lichtentfernungs- und Erkennungssensoren, wie sie in einigen Arten selbstfahrender Autos zu finden sind). sowie Standbilder, die mit einer Reihe gängiger digitaler Spiegelreflexkameras (DSLR) aufgenommen und zu einem 3D-Bild zusammengefügt wurden, eine Technik, die als Photogrammetrie bekannt ist.

Heute arbeitet Direct Dimensions nicht nur an Filmen, sondern auch an der Bildgebung von Industrieteilen für die Luft- und Raumfahrt, Verteidigung und Fertigung; Gebäude und Architektur; Kunstwerke und Artefakte; Schmuck; und im Grunde jedes Objekt, von klein bis sehr groß. Tatsächlich machte Hollywood immer nur einen kleinen Teil des Geschäfts von Direct Dimensions aus; Das meiste davon ist präzises 3D-Scannen für andere, weniger glamouröse Branchen.

„Wir scannen alles, was Ihnen einfällt, grundsätzlich für technische oder Fertigungszwecke“, sagte Raphael gegenüber VentureBeat.

Um kleine Objekte zu scannen, hat Direct Dimensions seine eigene Hardware entwickelt: einen automatisierten, mikrowellengroßen Scanner, den es Part Automated Scanning System (PASS) nennt.

Wichtig ist, dass Direct Dimensions keine eigene KI-Software entwickelt und dies auch nicht plant. Es scannt Objekte und wandelt sie mithilfe handelsüblicher Software wie Revit von Autodesk in 3D-Modelle um.

Raphael sagte, Direct Dimensions sei nur eines von etwa einem „Dutzend“ Unternehmen weltweit, das ähnliche Dienstleistungen anbiete. Die eigenen Recherchen von VentureBeat ergaben folgende Namen:

Ein solches 3D-Scan-Unternehmen, Avatar Factory aus Australien, wird von einer vierköpfigen Familie geführt: Ehemann und Ehefrau Mark und Kate Ruff sowie ihren Töchtern Amy und Chloe.

Das Unternehmen wurde 2015 gegründet und bietet ein „Cyberscanning“-Verfahren an, bei dem 172 Kameras rund um den Innenraum eines Lastwagens montiert sind. Dies ermöglicht das mobile 3D-Scannen von Schauspielern an Orten außerhalb von Studios – beispielsweise Landschaften und Außenaufnahmen. Wie Direct Dimensions bietet das Unternehmen auch das Scannen von Requisiten an.

Zu den bemerkenswerten aktuellen Titeln, für die Avatar Factory 3D-Scans durchgeführt hat, gehören Mortal Kombat, Elvis und Shantaram (die Apple TV-Serie).

„Die Avatar Factory erstellt fotorealistische digitale 3D-Doubles, die zum Ersetzen des Hintergrunds sowie für Stuntarbeiten verwendet werden, die zu gefährlich sind, als dass sie von echten Stuntdoubles ausgeführt werden könnten“, erklärte Chloe Ruff, CEO und Chief Technology Officer (CTO) von Avatar Factory. und Leiter Design, in einer E-Mail an VentureBeat.

Während Ruff sagte, dass Avatar Factory das 3D-Scannen mehrerer Statisten oder Hintergrunddarsteller verwendet habe, um digitale Massenszenen zu erstellen, sagte sie auch, dass es ohne die Vielfalt, die sie beisteuerten, schädlich für die Arbeit wäre.

„Da ein großer Teil unserer Arbeit darin besteht, den Hintergrund zu ersetzen, sehen wir, dass an einem typischen Drehtag Hunderte von Statisten und Hintergrunddarstellern über unser System laufen“, schrieb Ruff. „Statisten und Hintergrunddarsteller an einem Filmset zu haben, ist für unsere Geschäftsabläufe von grundlegender Bedeutung, und ohne sie könnten wir das, was wir tun, nicht machen. Es wäre verheerend für die Branche und unser Unternehmen, wenn alle diese Akteure durch KI ersetzt würden, wie einige Studios vorschlagen.“

Unabhängig davon lehnte das konkurrierende 3D-Scanning-Unternehmen Digital Domain, das 1993 von James Cameron, dem legendären Effekt-Supervisor Stan Winston und dem ehemaligen ILM-General Manager Scott Ross mitgegründet wurde, einen Kommentar zu dieser Geschichte über die Kontroverse über das Scannen von Hintergrundschauspielern ab.

Ein Sprecher schickte VentureBeat jedoch ein Dokument, in dem der Ansatz des Unternehmens zur Schaffung „digitaler Menschen“ dargelegt wird, d. Das Dokument enthält die folgende Passage:

„In den meisten Fällen werden direkte digitale Animationen nur für Körperbewegungen verwendet, während Gesichtsanimationen fast immer die Leistung eines menschlichen Schauspielers als zugrunde liegende und treibende Komponente haben. Dies gilt insbesondere dann, wenn der Dialog Teil der Aufführung ist.“

Das Digital Domain-Dokument weist weiter auf die zunehmende Rolle der KI bei der Schaffung digitaler Menschen hin und sagt: „Wir haben den Einsatz generativer KI für die Schaffung digitaler Assets untersucht. Diese Technologie steckt noch in den Kinderschuhen und Anwendungsfälle sind noch im Entstehen begriffen.“ In dem Dokument heißt es außerdem:

„Wir glauben, dass die Nuancen der Leistung eines Schauspielers in Kombination mit unseren KI- und Machine-Learning-Toolsets entscheidend sind, um fotorealistische Ergebnisse zu erzielen, die ein Publikum fesseln und das unheimliche Tal durchqueren können.

„Dennoch arbeiten wir auch an der sogenannten Autonomous Virtual Human-Technologie. Hier erschaffen wir einen vollständig digitalen Menschen, entweder basierend auf einer realen Person oder einer synthetischen Identität, angetrieben durch generative KI-Komponenten wie Chatbots. Das Ziel besteht darin, einen realistischen virtuellen Menschen zu schaffen, mit dem der Benutzer ein Gespräch oder eine andere Interaktion führen kann. Wir glauben, dass die Hauptanwendung dieser Technologie außerhalb der Unterhaltung liegt, in Bereichen wie Kundenservice, Gastgewerbe, Gesundheitswesen usw. …“

Wie sind wir hierher gekommen? Experten für visuelle Effekte und Computergrafiken verweisen auf den Science-Fiction-Film „The Abyss“ aus dem Jahr 1989 unter der Regie von James Cameron (bekannt aus „Titantic“, „Avatar“, „Aliens“ und „Terminator 2“), als einem der ersten großen Filme, in dem 3D-Scantechnologie zum Einsatz kam.

Laut Redshark News wurden die Gesichtsausdrücke der Schauspieler Ed Harris und Mary Elizabeth Mastrantonio von Industrial Light and Magic (ILM) gescannt, dem Unternehmen für Spezialeffekte, das zuvor von George Lucas gegründet wurde, um die lebendigen Weltraumwelten und Landschaften von Star Wars zu erschaffen. ILM verwendete ein Gerät namens Cyberware Color 3-D Digitizer, Modell 4020 RGB/PS-D, einen „Plane-of-Light-Laserscanner“, der von einem nicht mehr existierenden kalifornischen Unternehmen entwickelt wurde, nach dem das Gerät benannt wurde. Die US-Luftwaffe beschaffte sich später eines für militärische Scan- und Aufklärungszwecke und schrieb darüber wie folgt:

„Dieses Cyberware-Scansystem ist in der Lage, etwa 250.000 Punkte auf der Oberfläche von Kopf, Gesicht und Schultern in etwa 17 Sekunden zu digitalisieren. Die erreichte Auflösung beträgt ca. 1 mm.“

Für „The Abyss“ scannte ILM Schauspieler, um den „Pseudopoden“ zu erschaffen, eine wässrige, formwandelnde außerirdische Lebensform, die sie nachahmte. Laut Computer Graphics and Computer Animation: A Retrospective Overview, einem Buch der Ohio State University, das den Aufstieg der CGI-Branche dokumentiert, von Wayne E. ist dies der erste vollständig computergenerierte Charakter in einem großen Realfilm. Carlson.

Raphael verwies auch auf „Der seltsame Fall des Benjamin Button“ aus dem Jahr 2008, in dem Brad Pitt einen rückwärts alternden Mann spielt, komplett mit visuellen Effekten, die seine Verwandlung von einem „alten Baby“ in einen jungen, älteren Menschen begleiten, als Wendepunkt für das 3D-Schauspielerscannen Technologie.

„Benjamin Button leistete Pionierarbeit in der Wissenschaft rund um diese Art des Scannens des menschlichen Körpers“, sagte Raphael.

Bei „Benjamin Button“ wollte Regisseur David Fincher eine realistische Version des alten und jungen Hauptdarstellers Brad Pitt schaffen. Während traditionell Make-up und Prothesen zum Einsatz kamen, war der Regisseur der Meinung, dass dieser Ansatz der Figur nicht die Qualitäten verleihen würde, die er wollte.

Er wandte sich an Digital Domain, das sich wiederum mit der Computereffektarbeit von Paul Debevec befasste, einem außerordentlichen Forschungsprofessor am Institute for Creative Technologies (ICT) der University of Southern California (USC), der heute auch als Chefforscher bei Eyeline von Netflix arbeitet Studios.

Laut Debevecs Erinnerung in einem Interview mit der MPPA-Ausgabe von The Credits aus dem Jahr 2013 hatte Fincher „diese hybride Idee, bei der sie die Computergrafiken für den größten Teil des Gesichts erstellen würden, mit Ausnahme der Augäpfel und des Hautbereichs um die Augen, und diese würden es tun.“ real gefilmt werden und sie würden alles zusammenfügen.“

Um Finchers Vision zu verwirklichen, wandte sich Digital Domain an Debevec und bat ihn, ein „Lichtreproduktionssystem“ zu entwerfen, mit dem sie Licht und Reflexionen in Pitts Augen einfangen und die Augen einem vollständig digitalen Gesicht überlagern könnten.

Debevec entwarf ein solches System mit LED-Panels, die wie ein Würfel um den Schauspieler herum angeordnet waren, und brachte später eine physische Skulptur von Pitts Kopf als 70-jähriger Mann mit und nutzte das System, um das davon reflektierte Licht einzufangen.

„Seit ich angefangen habe, mich ernsthaft mit Computergrafik zu befassen, war die ganze Idee, eine fotorealistische digitale menschliche Figur in einem Film oder sonst etwas zu erschaffen, sozusagen der Heilige Gral der Computergrafik“, sagte Debevec gegenüber The Credits.

Der Ansatz funktionierte: „Der seltsame Fall des Benjamin Button“ gewann 2009 den Oscar für die beste Leistung im Bereich Visuelle Effekte. Und das Team kam Debevecs „Heiligem Gral“ näher, indem es ein vollständig CGI-menschliches Gesicht schuf.

Laut Mark Ruff von Avatar Factory trägt die Tatsache, dass Benjamin Button eine so lebensechte Darstellung von Brad Pitt gelungen ist, Pitt dennoch weiterhin in neuen Filmen mitspielt, dazu bei, zu erklären, warum 3D-Scans menschliche Schauspieler in absehbarer Zeit nicht verdrängen werden.

„Damals war es denkbar, dass Brad Pitt in zukünftigen Filmen nicht mehr auftauchen musste“, sagte Mark gegenüber VentureBeat. „Sein Avatar könnte jeden zukünftigen Auftritt vervollständigen. Dennoch sehen wir Brad Pitt immer noch als Schauspieler. Selbst wenn Brad Pitt gescannt würde und nie wieder in einem Film auftreten würde, bin ich mir sicher, dass sein Agent immer noch eine Prämie für seine Identität erhalten würde.“

Viele Unternehmen verfolgen heute die Vision, lebensechte 3D-Darsteller zu erschaffen – seien es Doubles oder vollständig digitale Kreationen.

Wie The Information kürzlich berichtete, haben eine Reihe von Start-ups – Hyperreal, Synthesia, Soul Machines und Metaphysic – alle Millionen mit dem Versprechen eingesammelt, realistische digitale 3D-Doubles führender A-Stars aus Hollywood und großen Sportarten erstellen zu können.

Dies würde es den Stars ermöglichen, Auftrittshonorare zu ernten, ohne jemals das Set betreten zu müssen (während die Agenten einen Anteil erhielten). Tatsächlich könnte es eine ganz neue Einnahmequelle für Stars schaffen, indem sie ihre Konterfeis/digitalen Zwillinge „vermieten“, während sie hochwertigere, interessantere, aber möglicherweise schlechter bezahlte Leidenschaftsprojekte verfolgen.

Im Juli berichtete VentureBeat, dass Synthesia tatsächlich echte Schauspieler engagierte, um eine Datenbank mit 39.765 Bildern dynamischer menschlicher Bewegungen zu erstellen, auf denen seine KI trainieren würde. Mithilfe dieser KI können Kunden realistische Videos aus Texten erstellen. Der ideale Anwendungsfall sind jedoch eher Unternehmensschulungsvideos, Werbeaktionen und Werbespots als vollständige Spielfilme.

„Wir ersetzen keine Schauspieler“, sagte der CEO des Unternehmens, Jon Starck, gegenüber VentureBeat. „Wir ersetzen nicht die Filmproduktion. Wir ersetzen Text durch Kommunikation. Und wir erweitern den Werkzeugkasten für Unternehmen um synthetische Videos.“

Gleichzeitig sagte er, dass es in der Zukunft wahrscheinlich sei, dass ein ganzer Film aus synthetischen Daten erstellt werde.

Seit den Tagen, als Deepfake-Bilder von Tom Cruise auf den Gesichtern der TikTok-Ersteller (angetrieben von der Technologie, die später zu Metaphysic wurde) und Bruce Willis, der sein eigenes Deepfake vermietete, für Schlagzeilen sorgten, hat sich die Branche rasant weiterentwickelt.

Jetzt, nur ein oder zwei Jahre später, „treffen sich viele Stars und Agenten stillschweigend mit KI-Unternehmen, um ihre Möglichkeiten zu erkunden“, so die Quellen von The Information.

Natürlich ist die Erstellung eines digitalen Doubles viel einfacher gesagt als getan. Und dann ist es ein ganz anderes Spiel, diesen Double so zu animieren, dass er sich realistisch bewegt.

Motion Capture – die Technologie, die es ermöglicht, menschliche Bewegungen in Animationen oder Computergrafiken zu reproduzieren – gibt es schon seit mehr als 100 Jahren, aber die modernen Tools kamen erst in den 1980er Jahren zum Einsatz.

Und dann ging es in den darauffolgenden zwei Jahrzehnten hauptsächlich darum, Schauspieler in enganliegenden Bodys zu bedecken, die mit tischtennisballähnlichen Markierungen bedeckt waren, und mit speziellen Kameras ihre Bewegungen auf ein digitales Modell oder „Skelett“ abzubilden, das in ein digitales Modell oder „Skelett“ umgewandelt werden konnte andere Charaktere oder mit Computergrafiken neu kostümiert.

Dank der Fortschritte bei KI und Software können menschliche Bewegungen heute jedoch allein mit einem Satz Smartphones erfasst werden, ohne dass lästige Anzüge und Marker erforderlich sind. Ein solches Unternehmen, das den „markerlosen“ Smartphone-Weg geht, ist Move.ai mit Sitz in Großbritannien, das 2019 gegründet wurde, um die Bewegungen von Sportlern zu erfassen, und das sich seitdem auf Videospiele und Filme spezialisiert hat.

„Die Erstellung von 3D-Animationen mag wie ein ziemlicher Nischenmarkt erscheinen, aber es ist tatsächlich ein riesiger Markt, über 10 Milliarden US-Dollar“, sagte Tino Millar, CEO und Mitbegründer von Move.ai, in einem Videointerview mit VentureBeat.

Millar sagte, dass die Animation der Bewegung von 3D-Charakteren in der Vergangenheit größtenteils „von Hand“ erfolgte. Selbst Animatoren, die altbewährte Software wie Blender oder Cinema 4D verwenden, müssen viele Stunden damit verbringen, sich mit den Werkzeugen vertraut zu machen, um die für große Filme erforderliche Qualität zu erreichen.

Die andere Alternative, der oben beschriebene Ansatz mit Marker und eng anliegendem Anzug, ist ähnlich zeitintensiv und erfordert eine teure Studioeinrichtung und mehrere Infrarotkameras.

„Was wir erreicht und erreicht haben, ist, dass wir durch den Einsatz von KI und einigen anderen Durchbrüchen beim Verständnis menschlicher Bewegungen in der Physik und Statistik davon überzeugt sind, dass wir es 100 bis 1.000 Mal günstiger machen können als mit Motion-Capture-Anzügen, und das bei gleichbleibender Qualität.“ die Qualität verbessern und es für die Menschen viel zugänglicher machen“, sagte Millar.

Im März 2023 brachte Move.ai eine verbraucherorientierte Smartphone-App auf den Markt, die erfordert, dass mindestens zwei (und bis zu sechs) iPhones mit iOS 16 um eine Person herum positioniert werden, um deren Bewegung zu erfassen.

Seitdem „wird es von Top-Spielefirmen auf der ganzen Welt, Top-Film- und Fernsehproduktionen sowie Content-Erstellern zu Hause genutzt, um Videos für YouTube und TikTok zu erstellen“, sagte Millar.

Move.ai unterstützt auch Android-Geräte in einem „experimentellen“ Modus, und Millar teilte VentureBeat mit, dass das Unternehmen plant, nächsten Monat, im September 2023, eine Single-Smartphone-Kamera-Version seiner App auf den Markt zu bringen, was die Eintrittsbarriere für angehende Filmemacher weiter senken würde.

Um es noch einmal zusammenzufassen: 3D-Scanning und verbesserte Motion-Capture-Technologie sind in Hollywood schon seit Jahren in Arbeit, sind aber in letzter Zeit viel erschwinglicher und allgegenwärtiger geworden, und KI-Technologie ist erst seit kurzem für Verbraucher und Hollywood öffentlich verfügbar.

„Es ist eine Sache, diese [3D-]Assets zu haben, und sie haben diese Assets seit mindestens 10 Jahren“, sagte Raphael von Direct Dimensions. „Aber die Tatsache, dass man all diese KI hinzufügt, mit der man Vermögenswerte manipulieren und Massenszenen, Paradeszenen und Publikum machen kann, alles ohne Schauspieler dafür bezahlen zu müssen – die Legalität von all dem bedarf noch ausgearbeitet werden.“

Dieser Trickle-Down-Effekt beider Technologien kam genau zu dem Zeitpunkt, als die Schauspieler und Autoren ihre Verträge mit den Studios neu aushandeln mussten und die Studios eine weitere neue Technologie eingeführt haben – das Streaming von Videos.

All dies hat zu einer Mischung aus aufgeblähtem Hype, echten Fortschritten, Angst und Panikmache sowie gegenseitigen Missverständnissen geführt, die zu der Pattsituation geführt hat, die nun schon seit mehr als 100 Tagen andauert.

„Ich kann nur spekulieren“, sagte Millar von Move.ai. „Aber KI ist viel mehr in der Populärkultur verankert. Die Leute sind sich dessen viel bewusster. In ihren Geräten steckt mittlerweile KI. In der Vergangenheit war es den Leuten nicht bewusst, da es nur von High-End-Produktionsfirmen verwendet wurde. Der High-End-Bereich wird immer auf dem neuesten Stand sein, aber ein Großteil dieser Technologie dringt bis zu den Verbrauchern durch.“

Die Mission von VentureBeat soll ein digitaler Stadtplatz für technische Entscheidungsträger sein, um Wissen über transformative Unternehmenstechnologie zu erlangen und Transaktionen durchzuführen. Entdecken Sie unsere Briefings.