Forskare använder AI för att förvandla tankar till bilder, 80 % noggrannhet

Artificiell intelligens kan skapa bilder baserade på textuppmaningar, men forskare presenterade ett galleri med bilder som tekniken producerar genom att läsa hjärnaktivitet.

Den nya AI-drivna algoritmen rekonstruerade cirka 1,000 80 bilder, inklusive en nallebjörn och ett flygplan, från dessa hjärnskanningar med XNUMX procents noggrannhet.

Forskare från Osaka University använde den populära modellen Stable Diffusion, ingår i OpenAI:s DALL-E 2, som kan skapa alla bilder baserat på textinmatning.

Teamet visade deltagarna individuella uppsättningar bilder och insamlade fMRI-skanningar (funktionell magnetisk resonanstomografi), som AI sedan avkodas.

Vi visar att vår metod kan rekonstruera högupplösta bilder med hög semantisk trohet från mänsklig hjärnaktivitet", delade teamet i studien publicerad i bioRxiv.

"Till skillnad från tidigare studier av bildrekonstruktion, kräver vår metod inte träning eller finjustering av komplexa djupinlärningsmodeller."

Algoritmen hämtar information från delar av hjärnan som är involverade i bilduppfattning, såsom nack- och tinningloberna, enligt Yu Takagi, som ledde forskningen.

Teamet använde fMRI eftersom det fångar upp blodflödesförändringar i aktiva hjärnområden, Science.org rapporter.

FMRI kan upptäcka syremolekyler, så skannrarna kan se var i hjärnan våra nervceller - hjärnans nervceller - arbetar hårdast (och drar mest syre) medan vi har tankar eller känslor.

Totalt fyra deltagare användes i denna studie, som var och en tittade på en uppsättning av 10,000 XNUMX bilder.

AI:n börjar generera bilderna som brus som liknar statisk TV, som sedan ersätts med särskiljbara egenskaper som algoritmen ser i aktiviteten genom att referera till bilderna som den tränades på och hitta en matchning.

"Vi visar att vårt enkla ramverk kan rekonstruera högupplösta (512 x 512) bilder från hjärnaktivitet med hög semantisk trohet", enligt studien.

"Vi tolkar varje komponent i en LDM kvantitativt ur ett neurovetenskapligt perspektiv genom att kartlägga specifika komponenter till distinkta hjärnregioner.

Vi presenterar en objektiv tolkning av hur text-till-bild-konverteringsprocessen implementerad av en LDM [en latent diffusionsmodell] införlivar den semantiska informationen som uttrycks av den villkorliga texten samtidigt som originalbildens utseende bibehålls.'

Läs hela historien här ...