Oliver es su tercer lanzamiento de EP. A finales de 2008, Hayes confirmó en su página de MySpace que tenía la intención de lanzar un EP para coincidir con sus fechas en vivo de diciembre de 2008 en Irlanda. Debido a problemas de producción, el lanzamiento se retrasó y se confirmó una nueva fecha el 22 de febrero de 2009 como el 9 de marzo de 2009. Hayes confirmó más tarde el 9 de marzo de 2009 que el lanzamiento se retrasó aún más. Posteriormente aparecería en iTunes el 13 de marzo de 2009. [1]
"November" fue una pista interpretada anteriormente en Other Voices en RTÉ Television [2] y "Oliver" apareció en su lista de canciones de mayo de 2008. El 9 de marzo de 2009, 'Ghost' se puso a disposición en su página de MySpace como vista previa del EP.
El 26 de abril de 2009, Gemma anunció a través de su página de Twitter que había comenzado la filmación del video musical de "Oliver" de su EP Oliver .[3] El video se estrenó el 2 de junio de 2009.
Hayes confirmó el 27 de octubre de 2011 que el EP de Oliver estará disponible como un CD gratuito en la edición reeditada de Let It Break en 2012. Los primeros 1.000 álbumes de Let It Break incluirán el EP.