Så testade Skellefteå gränserna för AI och medborgardialog

Hur engagerar man medborgare i stadsutveckling på riktigt? Den frågan ställde sig Skellefteå Science City. Med den stundande ombyggnationen av Skellefteås resecentrum som reellt case, bestämde man sig för att sikta högt. I stället för traditionella enkäter ville teamet bygga en interaktiv, digital upplevelse där invånarna själva kunde kliva in och forma sin framtida stadsmiljö. En digital tvilling byggd av befintliga skanningar av stadskärnan fick agera canvas för projektet.

– Det är egentligen inte den digitala tvillingen i sig som är det intressanta, utan att vi använde den som en otestad arena och som prototyp för något ännu större. Vi ville utforska hur vi med hjälp av spjutspetsteknik kunde skapa ett helt nytt, engagerande sätt att föra medborgardialog på, berättar Daniel Wilén.

Fröet till den tekniska lösningen såddes under mässan Augmented World Expo (AWE) i Santa Clara i Kalifornien 2022. Genom olika Vinnovafinansierade projekt besökte Skellefteå-teamet techjätten Nvidia och fick se deras “Omniverse” – en virtuell kopia av jorden och plattform för avancerade fysikaliska realtidssimuleringar.

– Jag gick igång på den där tanken direkt, att kunna kliva in i en digital kopia av något verkligt och förändra det totalt. Inspirationen var tydlig: det här ville vi hitta ett sätt att jobba vidare med, säger Daniel.

Ett lokalt dreamteam bygger broar i okänd terräng

Väl hemma pusslades projektet ihop. Skellefteå kommun visade stort mod genom att gå in som produktägare och delfinansiär. De var väl medvetna om att det handlade om att utforska okänd terräng snarare än att beställa en färdig, reell produkt.

Utmaningen var massiv. Projektet drevs under en tid då utvecklingen av stora språkmodeller (LLM) och generativ AI precis hade börjat ta fart.

– Vi befann oss i princip i AI-verktygens vagga. Verktygen som fanns var väldigt spetsiga och kunde utföra isolerade uppgifter bra. ChatGPT fanns men kunde till exempel inte generera bilder. Vår vision var att bygga de saknade broarna mellan de olika verktygen för att skapa något helt nytt.

Ett lokalt team sattes ihop, med talangfulla individer från bland andra det UX-fokuserade North Kingdom, kreativitetsbyrån Creative Crowd och AI-inriktade Substorm. Utrustade med enorm datorkraft och marknadens vassaste VR-headset började teamet experimentera i gränslandet av mixed reality. För att lyckas förverkliga idén om att bygga och utveckla en stad med rösten som enda input fick utvecklarna bygga egna, högst okonventionella lösningar.

– Teamets otroliga engagemang, nyfikenhet och skicklighet bar hela projektet, och vi lyckades faktiskt nå hela vägen fram, genom att på ett kreativt sätt koppla samman en mängd olika AI-verktyg. Vi använde en talsyntes-app som omvandlade tal till text, matade in texten i ChatGPT för att få ut en kodsträng, som i sin tur jackade in i nästa steg för att slutligen rendera en 3D-modell baserad på det inledande röstkommandot, berättar Daniel.

Drev fram nya API:er och tekniska standarder

Visionen blev verklighet, men initialt tog det 30 minuter att generera en enda 3D-modell. För att skapa en omedelbar och demonstrerbar upplevelse skalades konceptet om. Användaren fick i stället dra upp byggnaderna med händerna i den virtuella världen, och använda rösten för att interagera med en avatar som kunde ge miljön färger och textur i realtid.

Denna skarpa prototyp demades framgångsrikt på AWE i USA i juni 2023. Den väckte omedelbart intresse hos representanter från staden San José, som befann sig i en gigantisk stadsomvandling och ville veta om den svenska tekniken gick att använda i verkligheten.

Projektet satte även digitala avtryck. Genom att ständigt utmana vad som var möjligt, tvingade teamet från Skellefteå fram nya integrationer som gynnade branschen i stort.

– Våra utvecklare var i ständig kontakt med olika aktörer för att undersöka vilka API:er som fanns för att koppla ihop saker – och vilka som inte fanns. Det tror jag ledde till att helt nya kopplingar faktiskt togs fram, och att nya tankar och idéer sattes i rörelse både hos oss och andra, säger Daniel.

Ett fönster mot framtiden – när verkligheten kom ikapp

Prototypen var aldrig tänkt att bli något annat än en prototyp – och det var egentligen hela poängen. Under projektets korta livslängd upplevde utvecklarna gång på gång hur nya tjänster lanserades, som på ett bräde löste de problem de suttit och kodat för veckan innan. Att branschen snabbt kom ikapp bevisar framför allt en sak: Skellefteå Science City och deras partners rörde sig konstant en bit in i framtiden, innan verktygen ens var redo för den.

– Det här är behov som fler och fler kommer att ha framöver. Projektet, och framför allt de fantastiska individerna som var med, har inspirerat till vad som är möjligt. Det visar också på vilken framsynt kommun Skellefteå är, som går in som beställare med det egentliga syftet att utforska, avslutar Daniel Wilén.