Semalt Review - Een aangepaste schraper krijgen voor het analyseren van links

Als expert op het gebied van zoekmachineoptimalisatie komen er veel vragen bij me op, maar ik heb geen eenvoudige oplossingen om ze aan te pakken. De meeste hiervan gaan over het profileren van URL-lijsten op basis van de informatie in de inhoud van de pagina. Ik besloot daarom om de Google Custom Search Engine te gebruiken, hoewel deze geen volledige oplossing bood. Enkele van de oplossingen die ik zou willen automatiseren, omvatten volledig:

  • Link netwerk defect
  • Het bedenken van een seed-set van zoekwoorden die worden gebruikt voor zoekwoordonderzoek
  • Evaluatie van de relevantie van URL-links
  • Linkbronnen ophalen van specifieke CMS-systemen
  • Mining voor webbloggers die gespecialiseerd zijn in een bepaalde niche
  • Insluitbare content-tracking

De reis begon met het ontwikkelen van een basisschraper om te gebruiken als proof of concept voor meer gecompliceerde linkanalyse. Het gebruik van Caveats, dat meer een concepttool is dan een gepolijste tool, vereist technische en programmeervaardigheden om volledig te profiteren. De schaalbaarheidsefficiëntie kan door elke programmeerexpert worden uitgebreid.

Als linkbuilder zou het nodig zijn om een gedegen lijst van bloggers te bedenken in een niche die aansluit bij mijn tegenstanders. Deze omvatten blogs die ik kan targeten voor gastbloggen, reageren, pitchen van inhoud en sociale media-netwerken. Het gebruik van een tool zoals Open Site Explorer biedt u de output voor het koppelen van domeinen, maar biedt geen specifieke gegevens over de inhoud van de domeinen.

Het identificeren van een site met een robuust script is de eerste stap. Het begint met de generatoroutput die wordt gecreëerd door talloze CM's. Andere controles worden opgenomen tijdens het uitbouwen.

De tool verwerkt een lijst met links en bepaalt het CMS, voert de onbewerkte gegevens uit in een CSV terwijl de OSE-gegevens intact blijven. De tool zal alle URL's doorlopen, de inhoud in de cache opslaan en de broncode parseren

Blogs zoeken

De eerste installatie maakt het gemakkelijker om blogs te vinden die linken naar distilled.co.uk. Het is een essentieel punt om nieuwe blogs te ontdekken. Het is mogelijk om output van verschillende tegenstanders samen te stellen en alle linkdomeinen te controleren om links te krijgen voor je belangrijkste niche.

Extra gebruik voor CMS

Er zijn andere voetafdrukken voor het identificeren van een CMS, zoals inlogbestemmingspagina's, thema's en beheerdersmappen. Er kan een goed robuust systeem worden ontwikkeld om te helpen bij het identificeren van het CMS dat een website beheert. Het is nuttig om de volgende redenen.

  • Forums zoeken
  • Sociaal CMS vinden
  • Wiki-websites zoeken
  • Een do-follow-link krijgen
  • Link valt weg

U kunt ook de acceptatie van insluitingen, sitewidgets en andere infographics controleren. Dit wordt beter bijgehouden door het instellen van waarschuwingen, geavanceerde zoekopdrachten en fysiek forken in een profiellink.

Controleren op de relevantie van de link - de backlink- uitgangen bieden basisinformatie zoals de URL en de titel. Het heeft geen ander belang.

Andere taken die het kan uitvoeren, zijn onder meer:

  • Directory-links zoeken
  • Mining voor sociale accounts zoals Facebook en Twitter
  • E-mailadressen voor mijnbouw
  • Controleren op Adsense-sites die inkomsten genereren
  • Evaluatie van linkkwaliteiten en spammers