Det er kjent at det etter hvert bostatte seg frimurere i egnen. I november 1905 tok 17 brødre initativet til å opprette en Broderforening på Horten ved å ta kontakt med St. Johanneslogen St. Olaus til de tre Søiler i daværende Christiania.
23. februar 1906 ble Horten St. Johannes Broderforening formelt konstituert. Gjennom tidene har 16 Ordførende Brødre ledet Broderforeningen, som ble selvstendig loge i 1999. I disse 93 årene har frimurerne vært leietagere i tre forskjellige lokaler.
14. oktober 1999 ble St. Johanneslogen Carl Johan i Horten innviet. Med dette gikk Broderforeningen over til en selvstendig loge. Sammen med Odd Fellow-logene ble eiendommen til Den Kristne Menighet i Nordre Enggate 7, nå betegnet "Logegården", ervervet. Innvielsen foregikk således i egne lokaler.
Logens navn viser til kong Karl 3. Johan som også var Stormester i Sverige og Norge 1818-1844, samt til marinens tidligere hovedbase Karljohansvern på Horten. Basen fikk dette navnet i 1854 som en honnør til Kongen. Kong Karl Johan var den 3. som konge av Norge og den 14. som konge av Sverige med dette navnet. Logens skjold har motiv fra kong Karl Johan og Bernadottedynastiets eget våpenskjold. Logens valgspråk er: Justitia et Fortitudine (Rettferdighet og Styrke) som var kongens eget som Stormester.
