Muzej općine Jelsa mlada je muzejska ustanova, osnovana tek 2010. godine. Međutim, prikupljanje muzejske građe i njeno organiziranje u zbirke na području općine Jelsa započelo je znatno ranije. Među prvim osnovanim muzejskim zbirkama su Vinogradarska i Ribarska zbirka koje zrcale značaj osovina otočne privrede u prošlosti. Djelatnici nekadašnjeg Centra za zaštitu kulturne baštine zajedno sa lokalnim stanovništvom zaslužni su za prikupljanje ove bogate muzejske građe. Centar je osnovan 1950. godine (isprva je djelovao kao Historijski arhiv) zaslugom dr. Nike Dubokovića Nadalinija u svrhu organizirane kulturne djelatnosti. Prikupljanje muzejske građe i dokumentiranje vještina i znanja koja su osigurala tisućljetnu samodostatnost i prosperitet otočana bili su u skladu s vizijom dr. Nike Dubokovića o otoku Hvaru kao cjelovitom muzeju na otvorenom. Ta je njegova zamisao, smjer kojem i danas težimo. Nakon preustroja Centra, Općina Jelsa preuzela je brigu o zbirkama na svome području. Uslijedile su dvije vrijedne donacije koje svjedoče o životu i radu dvaju otočnih stvaratelja – skladatelja Antuna Dobronića iz Jelse i književnika Marina Franičevića iz Vrisnika. Konačno, 2010. godine Odlukom o osnivanju Muzeja općine Jelsa (Službeni glasnik Općine Jelsa, br. 9/10 i 2/11) 2010. godine osnovan je Muzej kao javna ustanova koja obavlja muzejsku djelatnost. Povod osnivanju muzeja bila je donacija obiteljske kuće na Trgu sv. Ivana s Kulturno-povijesnom i Zbirkom grafika, slika i reljefa Jurja Dobrovića Općini Jelsa za muzejsku namjenu. Tim je činom započela organizirana i sustavna briga o muzejskoj građi na području općine.
Muzej danas djeluje kao jedinstvena i samostalna ustanova s izdvojenim zbirkama koje čine zasebne tematske i programske cjeline. Trenutno su u stalnom postavu i otvorene za javnost četiri zbirke u Jelsi i Vrboskoj:
Kulturno-povijesna i Zbirka grafika, slika i reljefa Jurja Dobrovića smještene su u kući Dobrović u Jelsi koja je ujedno i sjedište Muzeja. U prizemlju kuće nalazi se galerija Kravata u kojoj se održavaju privremene izložbe pretežito umjetničkog karaktera.
Ribarska zbirka smještena je u prizemlju obiteljske kuće Dežulović u Vrboskoj u kojoj se povremeno odvija izložbeni program i razne tematske manifestacije.
Memorijalna zbirka skladatelja Antuna Dobronića privremeno je izložena u Općinskoj knjižnici i čitaonici Jelsa, a može se razgledati u radnom vremenu Knjižnice.
Navedene zbirke predstavljaju kompleksan skup kulturne i umjetničke baštine (etnografija, kulturna povijest, likovna umjetnost, glazba, književnost) koji sačinjavaju različite identitete lokalne zajednice. U njima se ogleda svagdan i blagdan pučkog sloja, prvenstveno ribara i težaka, ali i građanskog sloja koji se oblikovao pod raznim utjecajima građanske kulture i umjetnosti. Ostavština je to naših predaka i suvremenika koja obvezuje ne samo na brigu već i na aktivno sudjelovanje u kulturnom i društvenom životu lokalne zajednice i promociju kulturnih identiteta vlastite zajednice u prošlosti i sadašnjosti. Kao takav Muzej općine Jelsa otvoren je najširoj javnosti, a potiče neformalno učenje, kritičko promišljanje tradicije, umjetničku produkciju u svrhu podizanja razine kulturnog života i doprinosa stvaranju otvorene i kreativne zajednice.