Ólafsfjörður byggðist upp í kringum útgerð og er staðsettur á utanverðum Tröllaskaga, innan um fjöll og dali. í Ólafsfirði er stórt stöðuvatn og við vatnið er Brimnes Hótel og bústaðir staðsett. Í bænum er náttúrugripasafn, Kjörbúð og öll helsta þjónusta. Tveir veitingastaðir eru í göngufæri og sjoppa við hlið okkar. Ólafsfjörður hefur orðið mjög vinsæll hjá fjallaskíðafólki, sem leggur gjarna leið sína í bæinn um miðjan febrúar og þar til snjóa leysir um miðjan maí. Sitthvoru megin Ólafsfjarðar eru Dalvík og Siglufjörður, Bjórböðin á Árskógströnd eru í 25 mínútu akstursfjarlægð og Akureyri er aðeins í 60 km fjarlægð. Í Ólafsfirði er 9 holu golfvöllur sem er staðsettur í munni Skeggjabrekkudals með útsýni yfir Ólafsfjörð. Eru menn sammála um að völlurinn sé skemmtilegur að spila á og umhverfið sé frábært.