费德勒的2004赛季成为了一首凯旋进行曲，无论身在何处，他都接受着祝贺与欢呼，而他的战绩也继续显示着他世界第一的排名绝非浪得虚名。他赛季的第一场失利（同时也是三个月来的首场失利），来自于2月中旬的鹿特丹，他在1/4决赛中被蒂姆·亨曼击败。但他很快找回了状态，成功地在迪拜卫冕，决赛中击败了西班牙人菲里西亚诺·洛佩兹。在印第安维尔斯的网球大师系列赛事中，费德勒在决赛中报了之前输给亨曼的一箭之仇，并且在对阵这位他早年的“天敌”时取得了第一场可以被计入官方战绩的胜利。这是费德勒在他与亨曼的八次交手中第二次获胜，第一次在2002年比斯坎湾对阵亨曼，亨曼赢得首盘后因为僵硬的脖子而退出了比赛。因此，他此次真正意义上的获胜特别令他满意，正如他说的那样：“现在我相信，再没有一位对手能够拥有对我的心理优势。”

然而，在印第安维尔斯大师赛之后，很快就出现了一位能将费德勒击倒的对手——疾病。几乎在决赛一结束时，费德勒就立即开始发高烧了，他恶心呕吐、肌肉疼痛。在去迈阿密参加下一站赛事的途中，费德勒不得不临时在洛杉矶暂停行程，转而住进一家机场附近的酒店休息并恢复体力。当他和米尔卡终于抵达佛罗里达时，他考虑是否要退出赛事；但降雨给了他多一天休息的时间，他决定还是放手一搏。

在费德勒的首场比赛中，他勉强聚集起足够的力量三盘艰难拿下世界排名第54位的尼克莱·达维登科，接下来他将面对被广为看好的西班牙少年拉菲尔·纳达尔。这位来自马略卡的17岁左撇子打出了一场他当时认为这辈子最棒的一场比赛，以6比3和6比3掌控了与无精打采的费德勒的对决。费德勒对于输球并不意外，毕竟他还没有从疾病中完全康复；不过他察觉到纳达尔将是他今后一个危险的对手。“他在今后的几年里将成长为网坛最强有力的左撇子球员。”费德勒如此预言。

在比斯坎湾败阵后，费德勒渐渐康复，并且在卢塞恩举行的与法国队的戴维斯杯1/4决赛中首次作为新的世界第一在瑞士本土出赛。马雷伊冰球馆里座无虚席的球迷们用震耳欲聋的喊叫向他致意，费德勒事后称他几乎被巨大的喧闹声吓住了，但表示他非常享受这样的经历：“能在这样的氛围中比赛简直就如梦幻一般。”尽管他均是直落三盘地横扫了尼科拉斯·埃斯库德和阿诺·克莱芒，费德勒和伊夫·阿莱格罗却未能赢下双打的一分，而丢掉的这一分最终使法国队3比2获胜，并给了法国队机会报了一年前在图卢兹输给瑞士队的一箭之仇。