在virtualbox 5.0.2下运行gentoo linux，已经设置了：

VBoxManage.exe setextradata linux CustomVideoMode1 1366x768x32

VBoxManage.exe controlvm linux setvideomodehint 1366 768 32

虽然文本模式下可以运行在1366x768，但是进行X，xrandr只能显不一系列4:3的显示模式：

Screen 0: minimum 64 x 64, current 1024 x 768, maximum 32766 x 32766

VGA-0 connected primary 1024x768+0+0 0mm x 0mm

   800x600       60.00 +  60.00  

   2560x1600     60.00  

   2560x1440     60.00  

   2048x1536     60.00  

   1920x1600     60.00  

   1920x1080     60.00  

   1600x1200     60.00  

   1680x1050     60.00  

   1400x1050     60.00  

   1280x1024     60.00  

   1024x768      60.00  

   640x480       60.00  

1、首先运行cvt 1366 768 查找相关参数

# 1368x768 59.88 Hz (CVT) hsync: 47.79 kHz; pclk: 85.25 MHz

Modeline "1368x768_60.00"   85.25  1368 1440 1576 1784  768 771 781 798 -hsync +vsync

2、添加新的显示模式：

xrandr --newmode "1366x768" 85.25  1368 1440 1576 1784  768 771 781 798 -hsync +vsync

3、将显示模式添加到输出设备：

xrandr --addmode VGA-0 "1366x768" 

4、将VGA-0分辨率指定为刚添加的条目。

xrandr --ouput VGA-0 --mode "1366x768"

5、以上的修改只能在当前会话生效，写到一个脚本，以备以后使用。

6、网上有的说在xorg.conf加上相应条目，可以永久生效，但没有成功，我的xorg.conf

Section "Monitor"

        Identifier "Default Monitor"

        Modeline "1366x768"   85.25  1368 1440 1576 1784  768 771 781 798 -hsync +vsync

        Option "PreferredMode" "1366x768"

EndSection

Section "Device"

        Identifier  "Default Device"

EndSection

Section "Screen"

        Identifier  "Default Screen"

        Monitor     "Default Monitor"

        Device      "Default Device"

        DefaultDepth 24

        SubSection "Display"

                Depth 24

                Modes "1366x768" 

        EndSubSection

EndSection

Section "ServerLayout"

        Identifier  "Default Layout"

        Screen      "Default Screen"

EndSection

2016.1.29补充：

将配置文件中的Default Monitor改为VGA-0，可以正确设置分辨率。