VirtualHostとDirectoryとLocationとIP制限

TOPページをとりあえず自分のIPだけ通したい。

<VirtualHost *:80>
    <Directory "/home/xxxx/public_html">
      order deny,allow
      deny from all
      allow from xxxx
    </Directory>
</VirtualHost>

はダメだった。

<VirtualHost *:80>
    <Location />
      order deny,allow
      deny from all
      allow from xxxx
    </Location>
</VirtualHost>

こうしたら期待通りになってくれた。
なんで最初のはだめなんだろ。