早期来到香江的洋人，苦恼的事情非常多，娱乐生活贫乏，便是香江其中的港岛虽有青山碧海，但地方就那么大，多玩几趟就会腻烦，再说有没有被开发。
所以最初的娱乐场所, 是富人家庭举办的舞会。
1846年5月，在港的洋商组织了香港俱乐部（简称香港会）。
香港会依山傍海，优雅豪华，里面有舞池、酒吧、咖啡厅、棋牌室、图书室等。
其会员，除了洋商，还有港府官员、驻港皇家军官、牧师医生等上等洋人。
香港会把下等洋人排斥在外, 海员戟指怒骂，滋事生非。于是在1863年，港府在西营盘设立香港海员之家（又名海员俱乐部）。
海员多粗野暴躁，官员们任凭他们在俱乐部里海饮狂欢。
另外，华人商业街有多处堵坊女支院。老板均无种族等级概念，来者不拒，多多益善。
来得多的，仍是华人，其次为印度人、吕宋人，下等西洋人也是这里的常客。但上等洋人，极少光顾这些消遣场所，怕败坏名声。
香港的洋人在不断增多，财富更是成几何级数增长，而消遣娱乐场所寥寥无几。就是在这种背景下，马会应运而生。
英商首富渣甸说过一句这样的话：“在英国，人人都喜欢赛马，风气之盛，就像中国人喜欢面粉。”
英人来港开发，带来了英国文化, 自然也会引进赛马。
然而, 早期香港的赛马, 却不在香港，而是移地葡京。
澳门的殖民地历史较香港长，香港还是不毛之地时，葡京已是繁华的商埠，拥有远东第一流的跑马场。
1842年的秋高气爽日。十几艘英国船只，浩浩荡荡航抵澳门。其中一艘船坐有总督钵甸乍及一班官员。
紧随其后的是渣甸洋行的大班及职员。其他的船分别乘有护航的皇家海军、马匹，以及以英商为主的上等洋人。
这种移地赛马，在今天看来，一定十分可笑。但在当时，参与者不仅满足了消遣欲望，而且感到无上荣耀。
这次赛马，是为庆贺鬼佬占领香港而举行的。以后在每年农历新年，港府与商会联合派出人马参加葡京的周年大赛马。
这种移地赛马，一直延续到第二任总督戴维斯任期满才停止。
这期间，葡京的葡人嘲笑英人，说堂堂的大不列颠王国，口出狂言称霸世界, 在远东, 却没有一处自己的跑马地。
参与澳门赛马的英人，始以移地赛马为耻，纷纷要求港府开辟自己的赛马场。
香港的官方赛马场出现，正是在戴维斯总督卸任的这一年。在此之前，香港只有民间的赛马活动。
港岛多山，在最早开发的北岸，稍平坦的地方，早就给建筑物霸满。在铜锣湾黄泥涌，有一片平坦的谷地。
谷地里有一个古老的村落——黄泥涌村，村庄旁边，是成片的稻田蔬菜地。
离黄泥涌不远的地方，有西人的住宅区和商业区。西人多患疟疾，就把病源归之为黄泥涌，水田沟渠是蚊蝇的滋生地。要消灭蚊蝇，首先得排去黄泥涌的淤泥积水。
在未来的市区规划中，黄泥涌被列力潜在的居住商业区。开发黄泥涌，只是时间问题。
一位作者在英文《宪报》发表文章，敦促港府尽早排去快活谷的淤泥浊水，说现在海滨用地日益窘迫，快活谷的开发势在必行。
黄泥涌的清淤排水工程于1843年动工。竣工后，水田变成旱地。在谷地旁边，还出现了一条泥土马路，叫黄泥涌道。
渣甸洋行的物业都在铜锣湾一带。大班及职员痛感香港娱乐生活的单调。在渣甸大班们的倡议下，渣甸洋行的人，常来黄泥涌跑马。
骑马者，均是大班主管们，一般职员，做啦啦队喝彩助威。
1844年，黄泥涌村族长带领一班父老，北渡海峡前往九龙城寨，向清官吏递交状书，称：番邦夷人，在吾土跑马瘪乐，践踏良田，害吾村顺民不能耕耘，无法缴纳田租。望城寨青天，体恤民情，出示公告，责令夷人不得在吾村策马；更望道光皇上，亲下敕令，严禁夷人私闯吾村贡米良田，使夷人另择荒岛野地，事荒唐龌龊游戏。吾皇威震四海，夷人岂敢不从？吾皇万岁万万岁..
九龙城寨清吏，早给英军战舰吓破了胆，不敢上港岛张贴公告。
至于大清皇帝，连整座香港岛都全然割让，更不会理睬山野小民的耕耘小事。
此事自然不了了之。黄泥涌的村民，只能眼睁睁望着夷人耀武扬威策马驰骋。
渣甸洋行在黄泥涌跑马，一时闹得名气好大。洋人苦于无消遣之处，纷纷来快活谷看跑马。到周日，渣甸的大班们，会邀请港府官员、大英商及知名人士来快活谷赛马。其他洋人，则站在斜坡上观看。
渣甸洋行的霸道，引起其他洋人的不满。他们凑在一起商议，决定另组赛马活动，与渣甸洋行分庭抗礼。
1845年，香港有组织的赛马，在西环的薄扶林举行。所谓赛马场，只是一小片乱石杂草丛生的坡地。这一天，港岛洋人空巷，都赶去观看。
开赛不久就出事，马失前蹄，把一名骑士摔到两丈开外。接着，一匹叫神风的马，给乱石绊倒，摔断了腿。
众洋商再聚一起，筹划修一块大而平坦的马场。因分摊费用谈不拢，修马场的计划胎死腹中，再一次赛马，只是把乱石收拾一下就开赛。
这种自发性的马会维持了两年，便销声匿迹——仅留下三匹残废马的惨痛纪录。
畅想
结果，唯有快活谷马场一枝独秀，这几乎成了渣甸洋行的私用马场。
这时，香港洋人要求设立官办马场的呼声日益高涨。从葡京赛马回来的马主及骑手表示，他们再也不愿去葡京赛马受那些葡国佬的奚落。
戴维斯总督亦深感移地葡京赛马，有辱大英帝国的威严。
并且，去葡京赛马，大多数在港西人仍享受不到这种高尚娱乐的乐趣。
戴维斯带人勘定马场地址，跑遍港岛，仍觉得快活谷最为理想。渣甸大班十分赞成港府在快活谷设立马场，并赞助一笔钱修整马场跑道。因此，在马会成立初期，渣甸洋行的势力，足以与港府平分秋色。
1848年，戴维斯卸任。渣甸大班会同众英商，在刚刚修成的马场，为戴维斯举行了一场非正式赛马。
香港赛马场，洋人又谓之快活谷赛马场，华人则叫跑马地。有了赛马场，必有赛马章程，并要设立赛马委员会。
那时九龙仍属清廷管辖，九龙清军与港岛英军隔海对峙。般含总督鉴于这种现实，担心在港英人沉溺赛马，玩物丧志，敌规定赛马一年举行一次，叫“周年大赛马”。
诚然，除了官办的周年大赛马，英商平时也会举行非正式赛马，规模很小，不可与周年大赛马同日而语。
赛马委员会是一个临时性的组织，每年大赛马前才组成。
最初会员是清一色的英人，由这三部分英人组成：上一届赛马会会员、后来香港的有身份的英人、参赛马匹的马主（马主均为富人）。
马会另设决策机构董事会，港督为当然名誉董事长，执行董事则由渣甸等大洋行大班轮流坐庄。
赛马委员会是一个临时性的组织，每年大赛马前才组成。最初会员是清一色的英人，由这三部分英人组成：上一届赛马会会员、后来香港的有身份的英人、参赛马匹的马主（马主均为富人）。马会另设决策机构董事会，港督为当然名誉董事长，执行董事则由渣甸等大洋行大班轮流坐庄。
一年一度的周年大赛马仍维持不变。因港府允许马主和骑手在快活谷遇马练马，事实上，不声张的小范围赛马仍在私下进行。
周年大赛马，又叫特别赛马。参赛骑师全部是业余选手。
骑师多来自驻港陆军，骑马是陆军的日常军事训练项目，夺冠马匹，也多是军界骑师所驭之马。其他骑师，或是民间赛马爱好者，或就是马主本人。
马场没有永久性看台。特别赛马前夕，临时搭起葵棚，供马会会员及夫人享用，以抵挡日晒雨淋。
非会员洋人，则占据有利坡地，居高临下观看。赛马亦是华人爱看的“西洋镜”，他们与洋人分开站，地势自然不及非会员二等洋人。
马场同时也没有永久性跑道。跑道上杂草丛生，绝非现在这种专植的马场草皮。环形跑道中央，是一大片沼泽。
若遇暴雨，连跑道也会俺没，骑师便策马在水中奔驰，倍受歧视的华人见状嘲笑道：“跑马地变成了跑水地。”
初期的赛马，纯粹是娱乐性的体育活动。竞赛项目除了通常含义的赛马外，还有跨越障碍、拔旗拾球等马术竞技。
堵马最初是在民间赛马私自进行。马主与马主之间，骑师与骑师之间，争锋较量。
输者，则在大家聚餐时买一瓶葡萄酒，最多只包下这顿晚餐。堵马之风，很快又在观看者之间蔓延，他们堵哪匹马能获胜，输者，自然也是破一点小财。若与今日的堵马相比，那时的堵马根本就算不上杜伯。
香港公开堵马，始于1890年。那时，非英籍会员增多，不但英人称霸马会的局面被打破，就连港府与渣甸等大洋行唯我独尊的特权，也在慢慢消失。
马会渐成为独立性很强的组织。港府奉行积极不干预政策，渣甸等大洋行又采取消极态度，反而使独立性很强的马会办事困难重重。
骑师多次强烈呼吁修建永久性马场。马会把这事提到议事日程，会员各抒己见，固守既得利益，提桉束之高阁。
1877年，一场特大暴雨造成黄泥涌山谷泥石流，马场毁坏殆尽。马会筹不起义款，不得不向银行商行借来巨款，修建永久性马场。
马会由此债台高筑，即使再扩大批准新会员的口子，有限的会员费，也远远填不满财政黑侗。
在这种情况下，马会设立菠菜。娱乐性的体育活动，变成了杜伯活动。
堵马投注起码金额，独赢与位置都是5元，如果一旦中彩，投注的幸运者就会发一笔横财。尽管有发财机会，参与堵马的却不多，致使马会借此摆脱财务危机的计划落空。
马会收回菠菜权，经营下去仍是亏损，再度招商承办，结果还是亏损。这样反反复复，就到了1931年，马会设立专门机构来经营管理，这就是“连士得与爹核士会计师楼”，简称为“办房”。
办房经营博彩，渐渐使马会扭亏为盈，办房制度一直延续到今。
为什么马会长期亏损？其原因有以下几点：新马会成立后，采取收费入场制度。公众棚的入场券为1 元，会员棚每位收费5元。
会员皆是富人，自不会吝惜区区5元。而对普罗大众来说，1 元相当于普通人家一位成员一个月的生活费。别说华人，就是低收入的非会员洋人，也会计较。
彩票一张5元，这相当于低收入工人一个月的薪水。虽有发大财的希望，这5元投注，也令众多升斗小民望而却步。
香港居民，以华人居多。可马会长期奉行歧视华人的政策，赛马程序表、马名、骑师，全都是英文。
赛马，从来就不是来自珠江三角洲的华人的传统娱乐，这样一来，赛马这种西洋高尚娱乐，很难为华人所接受。如是白看，他们还会趋之若骛；若要买票，大多数华人会敬谢不迭。
在很长一段时期内，借大的马棚，看客稀稀落落，冷冷清清。
当然也有爆棚的时候，这要看大赛马的日期，是否正好排在农历新年。
那时，辛苦节省了一年的华人，再怎么也会讲讲排场。赛马是时髦玩意，在正月里趋赶时髦的华人，自然不乏其人。
毕竟大家辛苦一年了，而且这赛马又是上层社会的新鲜玩意，自然收到追捧。