Modi per aggirare un divieto temporaneo di Google per l'accesso frequente al database - Profit Hunter

* Guest Post

Questo post è dedicato alle peculiarità di lavorare con lo script nTrendsMaster, la verifica di massa dell'output di Google per il numero di concorrenti per le query necessarie e il problema di timeout da Google in generale. Il post è molto buono in termini di orizzonti in espansione (non avevo idea di molte cose scritte qui prima), e in qualche modo spiega le cause dei problemi che potresti avere mentre usi script e programmi di Google (incluso Market Samurai ).

Il post è una raccolta di commenti e corrispondenza con l'imprenditore Internet Oleg Savchenko ed è pubblicato con il suo permesso.

-----

L'allineamento è il seguente (in ogni caso, ho):

  • lanciamo lo script e gli diamo 100-200 parole - tutto funziona senza problemi ...
  • lo ricominciamo con la stessa quantità ... e altro ... se non ti trovi tra i lanci del coniuge almeno mezz'ora, poi letteralmente dopo 3 lanci (cioè dopo 400-600 parole verificate) errori sul controllo delle pagine competitive ; - ((

Dopo aver provato immediatamente a cercare qualcosa in Google, vedo un captcha. Lo script è stato lanciato da Denver, quindi il captcha dice che il mio aypishnik è andato temporaneamente al bando Cioè, in modalità manuale Posso inserire ulteriormente il codice di questa immagine per un po 'di tempo in modo silenzioso utilizzando Google. Ma per circa 5-6 ore in più, questo stesso captcha potrebbe apparire in modo casuale durante una delle mie chiamate a Google (o potrebbe non apparire). In ogni caso, in questo momento l'utilizzo dello script dallo stesso indirizzo non funzionerà, perché non sarà in grado di riconoscere l'immagine o l'unità nel codice ...

Quali soluzioni vedo:

1. Aumento delle pause tra le richieste di Google nello script . Ma non solo un aumento delle pause, ma anche la loro casualizzazione. Molte applicazioni desktop ( KRA PRO , IBP e altre) non rientrano nel divieto di Google proprio per questo motivo. Tuttavia, hanno messo tra 7 a 30 secondi di pausa tra ogni richiesta !!! Se hai appena impostato 5 (7, 10, 15) secondi e fai tutte le pause allo stesso modo, Google lo stesso taglia attraverso l'automazione e fornisce un captcha; - ((

Perché questo percorso è sbagliato? A che ora il controllo dello script diventa comparabile? nel tempo controllare manualmente, ma ci sono dei vantaggi: in questo momento non stai ancora controllando, ma qualcos'altro: è "lungo ma senza te", quindi l'opzione ha il diritto di esistere. Probabilmente sta fallendo, probabilmente perché sto tirando le pagine con un ricciolo (una funzione come quella in PHP), o forse avrò bisogno di più È (ci sono anche librerie del genere che consentono più o meno accuratamente di emulare un browser). In breve, c'è ancora qualcosa da pensare su ...

2. Utilizzo delle chiavi da google . Ma il problema qui è Google ufficialmente non supporta più l'API SOAP, ma consiglia a tutti di passare all'API AJAX. Ho notato che i risultati in questo caso sono molto diversi dalla ricerca in modalità manuale (a volte e anche decine di volte !!!). (http: // www. google. com / search? hl = it. sicuro = spento. q = ajax + google + api + estimateResultCount) vedrai che questo problema è onnipresente ... Quindi consiglio vivamente di non usare la nuova API per nessun tipo di ricerca SEO.

Come per il vecchio metodo, utilizzando l'API di ricerca SOAP di Google, tutto va bene: i risultati divergono "entro limiti ragionevoli" (sono anche divergenti su diversi server di Google, quindi tutto è OK) MA, Google non è più fornisce agli utenti le stesse "vecchie" chiavi API-shnye. Quindi scrivere un copione che sarà pubblico è semplicemente impossibile.

La gente delle radure ha fatto la differenza tra le vecchie e le nuove chiavi e ha affrettato i vecchi a scambiare ... E sono rimasto sorpreso - chi ha bisogno di loro per $ 25 qualcosa ??? Ma sui forum. DigitalPoint. com sono solo un prezzo così assegnato. E con una sola chiave possono essere fatte solo 1000 richieste al giorno. Hanno sempre avuto un tale limite. Cioè, possedere una chiave e uno script, è necessario trascorrere 10 giorni su una base di 10.000. Bene, o compra 10 chiavi, ma non vale la candela. Uno script gratuito che richiede $ 250 aggiuntivi da utilizzare per le proprie chiavi non è serio ...

Tuttavia, per coloro che, come me, hanno un vecchio stock di chiavi, ha senso prestare attenzione a questa possibilità. Ma questo non è per un rilascio pubblico ... Ahimè ...

Inoltre, comprare online non garantisce che allo stesso tempo non hai comprato un paio di dozzine di acquirenti dello stesso venditore ;-)) e quindi questa chiave diventa generalmente inutile. Cioè, è necessario acquistare solo da persone verificate che possano garantire l'unicità della vendita. E dove prenderli?

3. Combinazione del primo con lavoro tramite un proxy . Puoi creare diversi stream simultanei (da diversi proxy, cioè da diversi indirizzi IP, arriveranno a google), ognuno dei quali resisterà a pause ragionevoli e quindi la velocità dell'intero script aumenterà tutte le volte che questi flussi Ha coinvolto.Qui, la difficoltà sta nel trovare i LAVORATORI e nello stesso tempo dei veri proxy ANONIMO che non avrebbero esattamente brillato un vero indirizzo IP prima di Google. Tra le dozzine, centinaia e persino migliaia di elenchi di proxy gratuiti disponibili su Internet dopo il controllo rimangono frazioni percentuali di lavoro. Ieri, ho testato più di 2.000 software proxy: solo un centinaio di persone lavorate e 20 anonimi funzionavano ... Cioè, lo script deve essere dotato anche di un componente come quello di afferrare gli elenchi dei proxy e i loro regolari controlli delle prestazioni. E questo è un mostro separato ottenuto. Conosco questi sistemi di lavoro, utilizzo persino uno script a pagamento, ma non riesco a integrarlo direttamente in questo script, ma solo tramite import-export. Tuttavia, questo problema è risolto, ma ancora una volta, l'uso della massa in questo caso, si può dimenticare. Perché sono tutto questo? Inoltre, rendere la sceneggiatura "per te" è abbastanza reale: solo tu hai bisogno del tuo controllore proxy o dei proxy acquistati, entrambi costano.

4. Alternativa "per maniaci" . L'hosting 5-6 viene acquistato con connessioni aperte funzionanti per script PHP (non tutti i servizi di hosting lo consentono, ad esempio gli stessi script PHP sono ora universalmente disponibili, ma per questi script è necessaria una "strada" per stabilire connessioni con server esterni, lontano da tutti), ma è abbastanza possibile trovare tali fornitori, quindi viene scritta una sceneggiatura che divide, diciamo, 1000 parole in 5 porzioni di 200 ciascuna e li distribuisce a 5 host, dove vengono tranquillamente controllati come al solito senza alcuna alterazione. 200 parole di solito passano tutte ... E di ND buttano fuori i risultati indietro allo script "centrale" che tu e fornisce un quadro unitario. È come un proxy e non un proxy allo stesso tempo 😉 Ma il prezzo è di 5 provider di hosting - sai ... e mensilmente ... È più facile acquistare un controllore proxy ed eseguire tutto da Denver ...

5. Utilizzo dei dati da Wordtracker o un altro servizio simile . Di solito hanno concorrenti abbastanza vicini ai dati di Google per gli Stati Uniti. La popolarità delle parole chiave non ci interessa, qui abbiamo le tendenze di Google per aiutare, solo i dati sui concorrenti ... Ma, ancora una volta, il lato finanziario della domanda ...

Ecco un accordo. Io tendo a durare. Cioè, nella sceneggiatura stessa, spegni il controllo della concorrenza. E inseguire tutto per trovare il giusto numero di richieste. E invieremo i "concorrenti" (rifiutiamo tutto ciò che cerchiamo troppo raramente o troppo spesso) per controllare i nostri concorrenti: l'unica cosa che si rivela essere una combinazione multi-pass, ma mi piacerebbe "tutto in una volta", ma per ora questa opzione mi sembra piuttosto attraente ( considerando il fatto che è ancora auspicabile avere un abbonamento a Wordtracker o qualsiasi altro servizio simile). Ma se il wordtracker non è conveniente - allora le opzioni sono disposte nel modo seguente:

  • con chiavi vecchie (non adatte a tutti);
  • con proxy e esecuzione di query multi-thread (difficile da realizzare, ma davvero );
  • con diversi host (il prezzo può essere paragonabile al prezzo di Wordtracker).

Articoli correlati:

  • Tutta la verità sul cloaking
  • Come scoprire rapidamente l'hacking di un blog
  • In che modo Profit Hunter controlla incassati
  • Aumenta la conversione del negozio online

Ti piacciono gli articoli? Iscriviti alla newsletter!

Ricerca

articoli Correlati