Naprawianie problemów z pozą, twarzą i dłońmi postaci w Meshy

Zniekształcone dłonie, wypaczone twarze i nieoczekiwane pozy to jedne z najczęstszych problemów przy generowaniu postaci. W tym artykule wyjaśniamy, dlaczego te problemy występują i jak uzyskać czystsze i bardziej spójne wyniki w Meshy.

Jakość danych wejściowych ma największy wpływ na jakość pozy postaci. Meshy interpretuje pozę, sylwetkę i proporcje widoczne na obrazie referencyjnym lub sugerowane przez prompt, więc niejednoznaczne lub niskiej jakości dane wejściowe prowadzą do niejednoznacznych lub zniekształconych wyników.

• Użyj wyraźnego, dobrze oświetlonego obrazu referencyjnego, na którym postać jest w pełni widoczna i nie jest przycięta w obrębie kończyn.

• Unikaj zajętego tła, nakładających się obiektów lub innych osób w kadrze — mogą one mylić wykrywanie pozy i kończyn.

• Obraz referencyjny pokazujący całą postać od przodu zazwyczaj daje bardziej niezawodne wyniki niż widok pod kątem lub częściowy.

• Wskazówka: Użyj funkcji Image-to-Image w Meshy, aby wyczyścić lub zoptymalizować obraz referencyjny przed wysłaniem go do Image to 3D. Lepiej skadrowane, wyższej jakości dane wejściowe bezpośrednio poprawiają rezultaty dotyczące dłoni i twarzy — szczególnie w przypadku postaci ze złożonymi detalami lub akcesoriami.

Jeśli potrzebujesz postaci w konkretnej, przewidywalnej pozie (na przykład do riggingu), nie polegaj na opisywaniu pozy w promptcie tekstowym — zamiast tego użyj wbudowanej funkcji Pose Control w Meshy w obszarze roboczym Image to 3D, która obsługuje pozę A, pozę T oraz pełne dostosowanie pozy niestandardowej za pomocą kontrolek stawów.

• Przełączniki pozy A i pozy T generują standaryzowaną pozę gotową do riggingu, z minimalnym samoprzecinaniem.

• Poza niestandardowa pozwala ręcznie dostosować stawy przed generowaniem, co jest przydatne, gdy żadne z ustawień wstępnych nie odpowiada Twoim potrzebom.

• Samo wpisanie „T-pose” w prompcie Text to Model nie jest niezawodnym sposobem kontrolowania pozy — najpierw wygeneruj obraz referencyjny, a następnie użyj Image to 3D z włączonym przełącznikiem pozy.

Dłonie i twarze to najtrudniejsze do dokładnej rekonstrukcji elementy postaci dla każdego modelu generowania 3D, ponieważ obejmują wiele małych, bogatych w szczegóły cech geometrycznych.

• Palce mogą się ze sobą zlewać, wyglądać na zbyt mało/licznie lub przenikać przez siebie — jest to bardziej prawdopodobne, gdy dłonie są małe, częściowo zasłonięte lub rozmyte na obrazie źródłowym.

• Twarze mogą wyglądać na spłaszczone, asymetryczne lub pozbawione drobnych szczegółów, szczególnie przy niższych ustawieniach rozdzielczości lub przy stylizowanych/niefotorealistycznych referencjach.

• Wypróbuj obraz referencyjny, na którym dłonie i twarz są niezakłócone i odpowiednio duże w kadrze, i rozważ kilkukrotne wygenerowanie wyniku, ponieważ rezultaty mogą się różnić między generowaniami.

• Dane wejściowe multi-view zmniejszają niejednoznaczność: Użycie Multi-view Image to 3D (obrazy z przodu, z boku i z tyłu) daje modelowi znacznie więcej informacji do pracy, co skutkuje dokładniejszymi proporcjami twarzy i geometrią dłoni — szczególnie gdy wynik z pojedynczego obrazu wygląda płasko lub pod niezręcznym kątem.

• Stylizowane i fantastyczne style artystyczne: mocno stylizowane lub fantastyczne postacie generują więcej artefaktów na dłoniach, twarzach i cienkich elementach (bronie, akcesoria) w porównaniu z referencjami fotorealistycznymi. Jeśli Twoja postać ma nierealistyczny styl, spodziewaj się większych różnic między generowaniami i zaplanuj dodatkowe poprawki.

Jeśli Twoim celem jest późniejsza animacja postaci, zaplanuj generowanie z myślą o riggingu od samego początku.

• Generuj w pozie A lub pozie T, a nie w dynamicznej pozie akcji — narzędzia auto-riggingu i szkielety są zbudowane wokół tych standardowych poz.

• Pozostaw kończyny rozdzielone i unikaj nakładających się ramion/nóg na obrazie referencyjnym, ponieważ dotykająca się lub przecinająca geometria może sprawić, że automatyczny rigging i malowanie wag będą zawodne.

• Przed riggingiem sprawdź topologię siatki wokół stawów (barki, łokcie, kolana) i najpierw usuń ewidentne artefakty w wybranym narzędziu DCC.

Jeśli wygenerowany wynik jest w większości dobry, ale ma zlokalizowany problem — np. zniekształconą dłoń lub lekko przekrzywioną cechę twarzy — często nie musisz zaczynać od nowa.

• Spróbuj kilka razy wygenerować model z tych samych danych wejściowych; wyniki są niedeterministyczne i inny seed/próba może rozwiązać konkretną wadę.

• Użyj dostępnych narzędzi do lokalnej edycji lub ponownego teksturowania, aby poprawić konkretne obszary, a nie całą siatkę.

• W przypadku uporczywych problemów przenieś wyeksportowaną siatkę do narzędzia DCC — Blender, ZBrush lub 3D Builder (Windows, przyjazny dla początkujących do szybkiej naprawy siatki non-manifold) — aby ręcznie wyrzeźbić lub naprawić problematyczne obszary. To standardowa praktyka nawet przy wysokiej jakości generowaniach.

Jakość generowania postaci ma nieodłączne ograniczenia, o których warto wiedzieć, aby ustawić odpowiednie oczekiwania.

• Pose Control jest zaprojektowany dla postaci humanoidalnych; w przypadku postaci niehumanoidalnych lub mocno stylizowanych kontrole pozy mogą nie działać przewidywalnie.

• Bardzo małe lub drobne detale (pojedyncze palce, skomplikowane rysy twarzy, akcesoria) to obszary najbardziej narażone na artefakty.

• W przypadku mocno stylizowanych lub fantastycznych stylów artystycznych dłonie, twarze i cienkie elementy (bronie, akcesoria) są bardziej podatne na artefakty niż przy referencjach fotorealistycznych.

• Nie każde generowanie będzie idealne za pierwszym razem — traktuj generowanie jako proces iteracyjny i sprawdź aktualną dostępność funkcji oraz limity swojego planu w panelu.

Same prompty tekstowe nie są niezawodnym sposobem kontrolowania pozy. Zamiast opisywać pozę w tekście, użyj przełącznika pozy A/T lub kontrolek pozy niestandardowej w obszarze roboczym Image to 3D.

Dłonie to jeden z najtrudniejszych do rekonstrukcji elementów. Użyj obrazu referencyjnego, na którym dłonie są wyraźnie widoczne, niezakłócone i odpowiednio duże, i spróbuj wygenerować ponownie, jeśli pierwszy wynik nie jest czysty.

Jakość twarzy w dużej mierze zależy od wyrazistości i kąta obrazu referencyjnego. Wyraźny obraz od przodu z dobrym oświetleniem zazwyczaj daje lepsze detale twarzy niż obraz pod kątem, rozmyty lub mocno stylizowany. Aby uzyskać najlepsze wyniki, rozważ użycie Multi-view Image to 3D (przód + bok + tył), aby wyeliminować niejednoznaczność i poprawić dokładność twarzy.

Generuj w pozie A lub pozie T za pomocą Pose Control. Standardowe pozy do riggingu z rozdzielonymi, nienakładającymi się kończynami dają narzędziom auto-riggingu najlepszy punkt wyjścia.

Tak — najpierw spróbuj kilka razy wygenerować ponownie, ponieważ wyniki różnią się między próbami. W przypadku uporczywych problemów użyj narzędzia DCC, takiego jak Blender lub 3D Builder, aby ręcznie poprawić tylko dotknięty obszar wyeksportowanej siatki.

Pose Control został stworzony specjalnie dla postaci humanoidalnych. Postacie niehumanoidalne lub mocno abstrakcyjne mogą nie reagować przewidywalnie na dostosowania pozy A/T lub pozy niestandardowej.

Modele generujące Meshy działają najlepiej z referencjami fotorealistycznymi lub półrealistycznymi. Mocno stylizowane style artystyczne — w tym anime, kreskówka i fantasy — wprowadzają niestandardowe proporcje, nietypowe palety kolorów i przesadzone cechy, które zwiększają prawdopodobieństwo artefaktów na dłoniach, twarzach i drobnych detalach, takich jak bronie czy akcesoria. Użyj czystszego, bardziej szczegółowego obrazu referencyjnego, rozważ wstępne przetworzenie za pomocą Image-to-Image, aby poprawić jakość danych wejściowych, i spodziewaj się większego nakładu pracy na poprawki w przypadku stylizowanych postaci.

Użyj Multi-view Image to 3D, gdy wynik z pojedynczego obrazu daje płaskie twarze, niedokładne proporcje lub artefakty na plecach lub bokach postaci. Podanie widoków z przodu, z boku i z tyłu eliminuje niejednoznaczność tworzoną przez pojedynczy obraz i zazwyczaj skutkuje dokładniejszą geometrią twarzy i ogólnym kształtem postaci.

Funkcja Image-to-Image w Meshy pozwala udoskonalić, wyczyścić lub przekomponować obraz referencyjny przed przekazaniem go do Image to 3D. Lepiej skadrowane dane wejściowe — z postacią dobrze wyśrodkowaną, wyraźnie oświetloną i wolną od bałaganu w tle — bezpośrednio poprawiają jakość dłoni, twarzy i ogólną dokładność pozy. Jest to szczególnie przydatne, gdy oryginalna grafika koncepcyjna lub zdjęcie referencyjne ma problemy z kadrowaniem, oświetleniem lub kompozycją, które przeniosłyby się do wyniku 3D.