Chelsea F.C♥

No debutó oficialmente con el Chelsea F.C. hasta noviembre de 2004, tras recuperarse de una fractura en el metatarsiano derecho que sufrió tras recibir una entrada del centrocampista francés Olivier Dacourt del A.S. Roma, en un partidoamistoso de pretemporada. Ya en activo, marcó consecutivamente al CSKA Moscú, al Everton F.C., donde fue nombrado Hombre del Partido, al Newcastle United F.C. y al Fulham F.C.. Ese noviembre se le designó Jugador del Mes de la Premier League. Pese a perderse gran parte del campeonato por encontrarse lesionado de una fractura de dos huesos metatarsianos del pie izquierdo en el partido contra el Blackburn Rovers F.C. en febrero de 2005, terminó la campaña con 7 goles, la segunda cantidad más alta de su carrera en sólo 18 partidos. Además conquistó la Premier League, la FA Community Shield y la League Cup con el club londinense, pero fueron eliminados por el Liverpool F.C. en las semifinales de la Liga de Campeones de la UEFA. Por su rendimiento fue considerado entre los candidatos al Premio PFA al jugador joven del año, pero fue vencido por el delantero Wayne Rooney del Manchester United F.C. Destacó en sus primeras temporadas gracias al sistema de juego del portugués José Mourinho, entrenador de los blues, que empleaba un esquema 4-3-3, en el que tanto Robben como el irlandés Damien Duff eran empleados como puntas interiores (próximos al delantero centro, el marfileño Didier Drogba) para aprovechar la amplitud del campo. 

Se recuperó completamente de sus lesiones para la Premiership 2005/06, en la que apareció en 28 encuentros, marcó en seis ocasiones y se adjudicó por segundo año consecutivo el título. En la Liga de Campeones de la UEFA 2005-06 elequipo llegó hasta los octavos de final, pero fueron eliminados por el futuro campeón de la competición, el Fútbol Club Barcelona. En la Carling Cup fueron eliminados en la tercera ronda ante el Charlton Athletic y en la FA Cup en semifinales ante el Liverpool. Durante el transcurso de la liga vio las primeras dos tarjetas rojas de su carrera, ante el Sunderland A.F.C. y el West Bromwich Albion F.C., y tuvo un altercado con el meta español del Liverpool F.C. Pepe Reina. Tras cometer una falta al delantero islandés Eiður Guðjohnsen, el cancerbero recibió fuertes palabras de Robben y en respuesta le puso la mano en su cara, Robben cayó y el español fue expulsado. Reina lo acusó de "farsante", en el rotativo Daily Star: 

"Estoy furioso con él por lo ocurrido, Robben es un gran actor e hizo lo suficiente como para ganarse un Óscar 

Con la finalización de la Copa del Mundo de Alemania se integraron al conjunto el delantero ucraniano Andriy Shevchenko, el mediocampista alemán Michael Ballack y el defensa inglés Ashley Cole. Por ello Mourinho modificó su esquema 4-3-3 por un 4-1-3-2, y dejó en el banquillo a los puntas. No obstante con la baja del mediocampista Joe Cole por lesión regresó a la titularidad. A comienzos de año perdieron la Community Shield ante el Liverpool por 2 a 1, en la que jugó como titular 62 minutos. Fue el más destacado ante el Wigan Athletic F.C., en los encuentros de diciembre de 2006 y enero de 2007, y tras pocas semanas de titular se lesionó ante el Liverpool F.C. el 20 de enero. Volvió en un par de semanas y colaboró en la victoria ante el Middlesbrough F.C. por 3 a 0. Participó en la final de la League Cup, contra el Arsenal F.C. que ganaron por 2 a 1, y le marcó al F.C. Porto en los octavos de final de la Liga de Campeones. Sin embargo, en marzo se lesionó el menisco lateral de su rodilla izquierda en un partido con su selección y fue baja por un mes. Retornó a la actividad en la semifinal de la Liga de Campeones, que perdieron ante el Liverpool F.C. en los penaltis. Terminó el año ganando la FA Cup ante el Manchester United y disputando 21 partidos de liga, en los que anotó 4 goles. 

En agosto de 2007 el Real Madrid realizó una oferta conjunta de €40 millones al Chelsea por la ficha de Robben y del mediocampista alemán Michael Ballack. Bernd Schuster, nuevo entrenador del Madrid, declaró abiertamente su interés por Ballack mientras Ramón Calderón, presidente del Madrid, prometió al neerlandés en su campaña presidencial. Robben, que no llevaba una buena relación con José Mourinho, se declaró feliz por el interés del club español.