Wenn man beim Einrichten eines Crawlers den Eindruck hat, dass er nicht die komplette Webseite gecrawled hat, dann liegt das vielleicht daran, dass man die Crawl Rule für "Crawl complex URLs (URLs that contain a question mark - ?)" vergessen hat. Hierzu einfach neue Crawl Rule erstellen und als Pfad http://* eingeben. Somit werden auch URLs mit einem Fragezeichen gecrawled.
While setting up a crawler, if you have the impression, that not the complete website has been crawled, then the reason might be, that you have forgotten to set the crawl-rule for "Crawl complex URLs (URLs that contain a question mark - ?)". There for setup a new crawl rule and use the path http://*. Now also URLs with a question mark will be crawled.
Keine Kommentare:
Kommentar veröffentlichen