Sztuczna inteligencja tworzy realistyczne obrazy ulic na podstawie ich dźwięków
Systemy generujące odgłosy miejsc przedstawionych na zdjęciu istnieją już od jakiegoś czasu. Teraz jednak sztuczna inteligencja tworzy obrazy ulic.
Tego jeszcze nie było
Profesor Yuhao Kang wraz z grupą współpracowników z Uniwersytetu Teksańskiego w Austin stworzyli innowacyjny algorytm o nazwie Soundscape-to-Image Diffusion Model. Projekt pozwala na tworzenie obrazów przy pomocy sztucznej inteligencji opartych na podstawie dźwięków zarejestrowanych w otoczeniu. Na szczególną uwagę zasługuje fakt, że przeprowadzone próby zakończyły się sukcesem, a zdjęcia wygenerowane przez AI są niezwykle dokładne i w pełni odzwierciedlają miejsca, z których pochodzą nagrane odgłosy.
Jest to rewolucyjna sytuacja, ponieważ dotychczas sztuczna inteligencja potrafiła jedynie przedstawić dźwięki ulic na podstawie zdjęcia danego miasta. Teraz możemy uzyskać odwrotny efekt.
Sztuczna inteligencja przywróciła mu głos. Amerykański muzyk znów nagrywa
Sztuczna inteligencja: kojarzy dźwięki i tworzy obrazy ulic
Algorytm wytrenowano na podstawie danych pochodzących z dziesięciosekundowych klipów audiowizualnych. Na początku naukowcy przedstawili sztucznej inteligencji zdjęcia różnych miejsc połączone z odgłosami otoczenia. Następnie system nauczył się dopasowywać poszczególne dźwięki do konkretnych elementów widocznych na obrazach. Zauważono również, że na podstawie odgłosów sztuczna inteligencja potrafi także wywnioskować, czy nagranie zarejestrowano w nocy czy w dzień.
Technologia ma szansę znaleźć zastosowanie w kryminalistce, ponieważ jest w stanie przybliżyć obraz miejsca wyłącznie na podstawie wykonanego nagrania. Same badania mają jednak zbadać, w jaki sposób dźwięk przyczynia się do naszego poczucia miejsca.
