巴黎国际体育会议结束以后，国际奥委会第一任主席德米特里奥·维凯拉斯将召开奥运会的喜讯带回了雅典。正如后来维凯拉斯给顾拜旦的信中所说："当时，从布林迪西到雅典，我的同胞都在兴高采烈地谈论着奥运会"。但是，维凯拉斯过于乐观了。没隔多久，在他会晤希腊首相特里库皮斯时，首相提出，因经费问题要求缓办奥运会。这对维凯拉斯来说无异于当头棒喝。
顾拜旦得知这一消息后心急如焚，是年10月底，他仓促就道，从巴黎坐火车到达马赛，然后乘轮船奔赴雅典。到达雅典后，他与维凯拉斯略事寒暄，就来到雅典古运动场遗址。
当他看到断垣残壁、满目荒凉的景象时，心一下凉了半截。在这样的废墟上重建运动场需要一大笔资金的。于是他求助于希腊王储。王储被说服了，顾拜旦不虚雅典之行。王储接管了筹备奥运会的工作，这引起了首相的强烈不满，国王乔治一世回国后，又公开支特王储，迫使特里库皮斯辞去了首相职务。一国高级官员，因奥运会主办问题辞职这在奥运史上是仅有的一次。
筹备工作中的障碍消除了，为了筹集资金，希腊全国各地掀起了募捐运动，募集了33万2756德拉克马，但这只是杯水车薪。为了弥补资金不足，希腊政府拨款40万德拉克马，邮政部门利用这笔款，发行了一套以古奥运会历史为题材的邮票，高于面值出售。这是世界上第一批奥林匹克邮票。1906年为纪念现代奥运会创办十周年在雅典举行运动会时，希腊再次采用了上述筹款办法。希腊发行奥林匹克邮票原先只是为了经济利益，但却使这类邮票风行于世界，产生了积极影响。1920年安特卫普奥运会时，比利时首次仿效了希腊的作法。此后，不仅奥运会主办国，其他国家也发行这类纪念邮票。 冬季奥运会邮票是从1932年开始发行的。1982年世界奥林匹克集邮爱好者还专门成立了集邮协会，并选举萨马兰奇担任了这个协会的主席。
希腊人虽然通过募捐、发行邮票筹集了不少资，但运动会能顺利召开，最后还得力于希腊富商乔治·阿维罗夫（1814－1899）。他捐赠了一百万德拉克马巨款，在古运动场的废墟上重建了大理石运动场。为了纪念阿维罗夫对运动会所作的贡献，希腊在雅典广场为他建造了一座塑像，并在运动会开幕前一天举行了揭幕典礼。
