1

URL

true

600

50

${RUNDIR}

128

false

* -debug

128

5120

10

16

1

false

false

false

true

Load basic HTML

false

true

500

200

.*Googlebot.*

.*msnbot.*

.*Slurp.*

.*Crawler.*

.*Bot.*

.*ia_archiver.*

.*Twiceler.*

.*Yandex.*

.*Nutch.*

.*MJ12bot.*

.*Baiduspider.*

.*Ezooms.*

.*Sogou web spider.*

.*AhrefsBot.*

false

false

true

resources/