Ülo Sooster sündis 17. oktoobril 1924. aastal Hiiumaal Käina vallas Ühtri külas. Ka oma kooliteed alustas ta kodukülas ning jätkas kodusaarel Kärdlas. Gümnaasiumiaastad kulgesid tal juba Tallinnas Prantsuse Lütseumis. Kuid ürgse loodusega Hiiumaa, kus inimeste eluviis ja veelgi enam huumorimeel erinesid mandri omast, ei jäänud kunstnikule pelgalt lapsepõlvemaaks - kogu tema hilisemat loomingut läbivad leitmotiivid (kalad ja kadakad) pärinevad siit. (...) Kunstnik on muutnud oma lapsepõlve arhetüüpia üldinimlikuks ja orgaaniliselt igasuguse kunsti hulka kuuluvaks.

Kunstiajaloolane Reet Varblane artiklis "Ülo Sooster ja tema aeg"

Sündis 17. oktoobril Hiiumaal Käina vallas Ühtri külas Pendi talus. Nimeks pandi Ülo Ilmar.
Nimi Sooster viitab murdes sõstrale (soostar). Sama kirkad kui need marjad, olid ka pereliikmed, kelle juured on jälgitavad Pent Soosterini (1665-?).
Väike Ülo veetis palju aega oma vanavanaisa Siimuga, kes oli suurepärane jutuvestja, mängis mandoliini ja muid muusikariistu. Vanaisa Juhan kogus suure raamatukogu, oli vallakooli inspektor ja baptisti koguduse pastor Ühtri külas ja pidas samal ajal talu.

Onu Julius oli õpetaja, koorijuhataja ja helilooja. Tema kirjutatud muusikapala oli palju aastaid Hiiumaa hümniks.
Soosterid tegelesid heliloomingu, koorilaulmise, näidendite lavastamise, joonistamise ja voolimisega ning tõlkisid Piiblit kreeka keelest eesti keelde. Nad elasid aasta-aastalt väikesel Läänemere saarel, "kus pilved lähevad metsa ja tulevad metsast välja" ning tuuled laulavad tähtedele.
Johannes, Ülo isa, mängis lapsest saadik erinevaid muusikariistu, juhtis perekoori ja hiljem vallakoori ning juhatas keelpilliorkestrit. Temast sai kogu Eestis tuntud muusikariistade valmistaja.
Ülo ema, Veera Sooster, neiupõlves Tatter, pärines perest, kes oli Hiiumaal elanud mitu sajandit. Veera armastas laulda ja oli koori liige, kuid pühendas suurema osa ajast oma perele ja Pendi talule. Seal oli suur maja, imeline puuviljaaed ja suur talu, mis nõudis igapäevast hoolt.

Ülo läks algkooli Ühtri külas.

Temast kaks aastat noorem õde Meedi meenutas: "Savi oli Ülo esimene kunstimaterjal. Pendi kaevu serval olid kogu suve jooksul tema valmistatud savist loomakujud. Hiljem tekkis tal kirg joonistamise vastu. Kui paberit oli napilt, joonistas ta ajalehtede ja vineeri servadele. Tema suurim soov oli peitu minna ja rahulikult joonistada, et põgeneda arvukate majapidamistööde eest, mida lastele palju anti."

Ülo läks keskkooli Kärdlas.

“"Kunst nõuab ohvreid!” Nii lohutas Ülo oma peret, kui ta lõikas pöidlasse, tehes esimesi graafikakatseid linoleumitükkidel… Ta alustas prantsuse ja inglise keele õppimist, et lugeda kunstiraamatuid ja -ajakirju, mis olid pereraamatukogus. Kunstikooli pääsemine oli tema ainus ja kindel siht, ja ega ema hoiatus toetuse puuduse kohta teda kartma ei pannud," meenutas õde Meedi.

Ülo astus Tallinna Prantsuse Lütseumi.

Kunstikriitik Reet Varblane sõnul, "prantsuse Lütseumis veedetud aeg andis talle tugeva prantsuse keele oskuse ning avardas ka tema kultuurilist silmaringi, mis sai erakordselt selgelt nähtavaks hilisemates õpingutes Tartu kunstikoolis."

Üloti isa Johannes Sooster mobiliseeritakse Punaarmeesse. Ülo naaseb farmi ja aitab farmi juhtida.