Si queremos usar Selenium en un servidor sin X-Window necesitamos usar Xvfb para que pueda usar el driver que sea (Firefox en mi caso)
No conseguí que Firefox usara Xvfb hasta que encontré PyVirtualDisplay. Para instalarlo hay que usar pip: pip install pyvirtualdisplay
Este es un ejemplo de uso de PyVirtualDisplay y Selenium:
#!/usr/bin/env python
from pyvirtualdisplay import Display
from selenium import webdriver
display = Display(visible=0, size=(800, 600))
display.start()
# now Firefox will run in a virtual display.
# you will not see the browser.
browser = webdriver.Firefox()
browser.get('http://www.google.com')
print browser.title
browser.quit()
display.stop()
from pyvirtualdisplay import Display
from selenium import webdriver
display = Display(visible=0, size=(800, 600))
display.start()
# now Firefox will run in a virtual display.
# you will not see the browser.
browser = webdriver.Firefox()
browser.get('http://www.google.com')
print browser.title
browser.quit()
display.stop()
Fuente: http://coreygoldberg.blogspot.com.es/2011/06/python-headless-selenium-webdriver.html