ich hab Yacy aufgesetzt und benutze es um Dokuwiki (https://www.dokuwiki.org/) zu indizieren.
Beim Suchlauf allerdings ruft Yacy ALLE Links die es finden kann und “klickt” drauf. Da man in Dokuwiki auch die alten Seiten anzeigen lassen kann, findet Yacy die auch - d.h. der “klickt” auch die alten Seiten (“Ältere Versionen”) an. Was aber schlimmer ist, innerhalb der alten Seiten gibt es die Option die wiederherzustellen, der “klickt” also auch auf “Wiederherstellen” was zur Folge hat, dass lauter alte Seiten wieder aktiv werden.
Wie kann ich das abstellen? An sich sollten ja auch andere Suchmaschinen Dokuwiki parsen, da passiert das ja nicht (bzw. die Wikis, die ich im Internet hab, sind natürlich abgesichert)
Irgendwer ne gute Idee?
Danke schon mal!
Ach so:
I set up Yacy and use it to index Dokuwiki (https://www.dokuwiki.org/).
When searching, however, Yacy calls ALL the links it can find and “clicks” on them. Since you can also display the old pages in Dokuwiki, Yacy finds them too - i.e. he also “clicks” on the old pages (“older versions”). But what’s worse, within the old pages, there is the option to restore them, so you “click” on “Restore”, which means that all the old pages become active again.
How can I stop this? In principle, other search engines should also parse Dokuwiki, so that doesn’t happen (or the wikis that I have on the Internet are of course secured)
Anyone a good idea?
Thanks in advance!