Pagina 1 van 1

robot.txt bestand onvindbaar maar toch aanwezig

Geplaatst: 08 apr 2020, 20:35
door maan1
  • Wat is het probleem? ik zou graag meer bots hebben die mijn forum crawlen
    Wanneer ontstond het probleem? na update phpbb3.3
    Adres van je forum: http://www.vertiersite.nl
    Extensies op je forum:heeel veel
    Huidige stijl:prosilver
    phpBB versie: 3.3
    Waar is je forum gehost:neostrada
    Heb je onlangs iets veranderd aan je forum?
nee

Ik zie dat mijn robot.txt bestand iets blokkeert zoals de afbeelding toont, maar ik kan het bestand niet openen met mijn url en robot.txt
dan zegt mijn scherm van mijn site op alle 4 url's :
Informatie

De opgevragen pagina werd niet gevonden.
Graag hulp


Afbeelding

Re: robot.txt bestand onvindbaar maar toch aanwezig

Geplaatst: 08 apr 2020, 20:50
door El torro
1) je hebt geen robots.txt bestand, dus kan die ook niet geopend worden.
2) je site zou nooit via htpp en https toegankelijk mogen zijn, zorg voor een redirect naar https :!:

Waarom wil je meer bots, Google en Bing bots is toch genoeg?

Re: robot.txt bestand onvindbaar maar toch aanwezig

Geplaatst: 08 apr 2020, 20:56
door maan1
hoe doe ik die redirect naar https?

Re: robot.txt bestand onvindbaar maar toch aanwezig

Geplaatst: 08 apr 2020, 21:21
door El torro
Probeer 1 van deze twee eens, afhankelijk van wat je wilt, met of zonder www
Apache Configuration

To configure the redirects, add the following redirect rule either to the Apache config file if you have access to it, or to the .htaccess in the root of your site:

RewriteEngine On
RewriteCond %{HTTPS} off [OR]
RewriteCond %{HTTP_HOST} ^www\. [NC]
RewriteCond %{HTTP_HOST} ^(?:www\.)?(.+)$ [NC]
RewriteRule ^ https://%1%{REQUEST_URI} [L,NE,R=301]

If instead of example.com you want the default URL to be www.example.com, then simply change the third and the fifth lines:

RewriteEngine On
RewriteCond %{HTTPS} off [OR]
RewriteCond %{HTTP_HOST} !^www\. [NC]
RewriteCond %{HTTP_HOST} ^(?:www\.)?(.+)$ [NC]
RewriteRule ^ https://www.%1%{REQUEST_URI} [L,NE,R=301]
Plaats dit boven in je htaccess maar gebruik maar 1x de RewriteEngine On !!

Re: robot.txt bestand onvindbaar maar toch aanwezig

Geplaatst: 08 apr 2020, 21:34
door maan1
in de ht.access van de root of de andere?

Re: robot.txt bestand onvindbaar maar toch aanwezig

Geplaatst: 08 apr 2020, 21:41
door El torro
In de root.

Re: robot.txt bestand onvindbaar maar toch aanwezig

Geplaatst: 08 apr 2020, 21:46
door maan1
is gelukt hoor, dankjewel