Página Web de raspado via Linux. (11 / 16 paso)

Paso 11: Instructables cuenta parte 2 de 2.



Nota con el cambio en la manera de instructables.com ahora no páginas web, probablemente tendré que rehacer este instructable.

Permite decir que quiso saber cómo varios instructables están haciendo. No tuvo el tiempo para hacerlo con una interfaz gráfica de usuario. es tu tarea. Sólo recogió unos instructables desde la primera página como ejemplo. Tienes que crear un archivo de datos con la URL o dirección web de instructables que han elegido. Haga clic en los enlaces y copiar enlace y luego pegarlo en tu editor con el archivo de datos (consulte la previa instructables en página raspado si usted tiene alguna pregunta).

idata: (Nota: no no tipo "[datos]" o [/data] o se producirá un error)
[datos]

[/ datos}

Entonces usted necesita crear un archivo de programa para recoger los datos mediante web scraping. No voy a la molestia de hacerlo gui para simplicidad.

iGet.sh
[código]
#================================
#
# Instructablesnumbers catcher
#
#=================================
# Las asignaciones
# --------------------------------
archivo de datos = "idata"
# la fecha
TMON = $(fecha + "%b")
tday = $(fecha + "%d")
echo "las vistas de $dj $tmon $tday:"
#=================================
#
# Entrada de
#---------------------------------
mientras que la línea de lectura
hacer theurl = $linea
# descomenta la siguiente línea si desea ver la url y o views
echo -n "$theurl"
# obtener total views
# elinks "$theurl" | grep "Total Views"
# obtener toda la información
Elinks "$theurl" | grep -m 2 vistas
# obtener sólo números
# elinks "$theurl" | grep "Vistas Total" | Cut -c 16-25
# Un comentario la línea siguiente si desea que sea un poco más legible
echo # ""
hecho < $datafile
[/ code]

Hacer un programa:
$ chmod + x iget.sh

Ejecutar:
$./iget.sh
Las vistas para el 06 de Oct:

Total de vistas: 587
Vistas hoy: 95

Total de vistas: 618
Vistas hoy: 608

Total de vistas: 54.833
Vistas hoy: 216

Total de vistas: 43.876
Vistas hoy: 17

Total de vistas: 15.157
Vistas hoy: 12

Total de vistas: 107.243
Vistas hoy: 46
$ _

La siguiente todo lo guarde en un archivo si quieres.
$./iget.sh >> archivo de datos

Un ahorrador de tiempo real si tienes muchos muchos instructables y no quieren ir a través de cada página para obtener los datos. Seguimiento de instructivo:

ADVERTENCIA: Los datos no sean siempre al día.

============================================================================

MSWindows:
-----------------------------------
Software necesario:
Explorador:
Elinks:
http://www.Paehl.com/open_source/?TextBrowser_for_Windows:ELINKS_an_other_textbrowser

Grep
Grep de unxutils
http://downloads.sourceforge.net/Project/UnxUtils/UnxUtils/Current/UnxUtils.zip?r=&TS=1331135481&use_mirror=iWeb

QBasic de Microsoft.
http://www.Microsoft.com

WinZip:
http://www.WinZip.com/win/en/downwz.htm

------------
Tienes que crear un archivo de datos con las direcciones URL de instructables que desea comprobar:

idata: (Nota: no no tipo "[datos]" o [/data] o se producirá un error)
[datos]

[/ datos}

Aquí está el código. tienes que hacer un archivo de programa denominado scrape.bas. Que ejecutará de qbasic.

Scrape.Bas (sólo tiene que utilizar las líneas entre [code] y [/ code])
[código]
ABRIR "idata" para la entrada como #1
mientras no (eof(1))
INPUT #1, a$
IMPRIMIR un$
b$ = "elinks" + a$ + "| grep Views: "
SHELL b$
IMPRIMIR
WEND
cerca de #1
sistema de
[/ code]

Nota: Si tienes freebasic para mswindows o freebasic para linux. el código de trabajo en cada máquina. Supongo que podría funcionar en un Mac también si tuvieras el compilador de lenguaje básico apropiado. Amor código portable!
Una vez que haya creado todos los archivos y el prorgams descargado son accesibles desde el directorio, usted debe ser capaz de obtener una impresión hacia fuera.

c:\ > qbasic/marcha scrape.bas

Idea de último momento: podría probablemente de lince usado en su lugar...

========================================================

Corrección de temperatura:

#================================
#
# Instructablesnumbers catcher
#
#=================================
# Las asignaciones
# --------------------------------
szAnswer = $(zenity--selección de archivos--title = "Seleccione un archivo de iurl leer")
archivo = $szAnswer
archivo = "inumdata"
total = 0
# la fecha
TMON = $(fecha + "%b")
tday = $(fecha + "%d")
echo "las vistas de $dj $tmon $tday: «> $outfile
#=================================
#
# Entrada de
#---------------------------------
mientras que la línea de lectura
hacer theurl = $linea
echo "$theurl"
# echo -n "$theurl'" >> $outfile
# obtener total views
cuenta # = $(elinks "$theurl" | grep -m 1 "conteo de hits" | sed ' s/[^0-9]*//g')
cuenta = $("$theurl" de elinks | grep -m 1 "vistas" | sed ' s/[^0-9]*//g')
# Deje total = $total + $count
echo "$count" >> $outfile
hecho < $datafile
echo # "total: $total" >> $outfile
zenity--texto-info--filename = $archivo_salida

Artículos Relacionados

Página Web de raspado desde/hacia una página web.

Página Web de raspado desde/hacia una página web.

El objetivo del proyecto es tomar el mando como archivos por lotes y hacerlos accesibles desde la web. Podrás hacer tu propia página web y no tener que depender de alguien para preparar para usted. Web para raspar de nuevo a la web la página otra vez
Comandos de linux simple de una página web.

Comandos de linux simple de una página web.

Tenía que haber una manera de hacer simples comandos para linux sin ir a la línea de comandos. La parte limpia para este proyecto es que usted puede fácilmente ampliar usted mismo. Necesita un listado de directorios. No hay problema. Necesita saber c
Partir del raspado de la página web con php.

Partir del raspado de la página web con php.

Lo hemos hecho alguna página web con bash y ahora queremos aumentar el poder del código con un lenguaje de secuencias de comandos página web llamado PHP. Es la P por lo general en la pila de amp (W/M/L) de un servidor de web de Apache2. Le mostrará l
Página Web con una interfaz gráfica de usuario.

Página Web con una interfaz gráfica de usuario.

Hasta ahora hemos hecho raspado de la página web a través de la línea de comandos con y luego lo hicimos con la web. Ahora vamos a hacer en el escritorio. Sólo haré un ejemplo y usted puede averiguar el resto de ellos. Estaremos usando zenity otra ve
Conducir a una página web en tiempo real usando Arduino, SensorMonkey y Processing.js

Conducir a una página web en tiempo real usando Arduino, SensorMonkey y Processing.js

visualización remota de datos en tiempo real.Este tutorial describe detalladamente cómo utilizar el servicio gratuito de SensorMonkey para datos de los sensores en tiempo real push desde un Arduino a una página web para la visualización con Processin
Cómo hacer una página web

Cómo hacer una página web

Aprende a crear tu propia página web usando HTML!Paso 1: Introducción:La columna vertebral de cualquier página web se compone de archivos de Hyper Text Markup Language (HTML). Esta guía le mostrará cómo crear una sencilla página web utilizando su últ
Cómo hacer páginas web - completa introducción al desarrollo Web

Cómo hacer páginas web - completa introducción al desarrollo Web

Ver en YouTubeEsta serie de videos es introducir el desarrollo del sitio web para principiantes que no saben nada de hacer páginas Web. Este primer episodio presenta el software que utilizo en mi flujo de trabajo para realizar sitios web en el mejor
Cómo obtener acceso a cualquier página web que está bloqueada en tu escuela o trabajo

Cómo obtener acceso a cualquier página web que está bloqueada en tu escuela o trabajo

Hola chicos estoy haciendo este video porque pasé mucho tiempo en la Universidad y siempre estoy navegando por Internet pero siempre bloquearon algunas paginas web que me gusta usar como Facebook, WhatsApp, Twitter, Tumbler, Youtube, contracción y et
¿Cómo puede todavía recordar la Página Web de algo que publicaste en Facebook?

¿Cómo puede todavía recordar la Página Web de algo que publicaste en Facebook?

Hola chicos hoy les voy a mostrar cómo recuerda el sitio web/enlace de tu post viejo/nuevo en facebook.comPaso 1: Postear algo para empezarPaso 2: Esperar por los comentarios se muestranPaso 3: Si ves algo que estaba en tu post, haga clic en élPaso 4
Cómo cambiar una página web dentro del navegador web Google Chrome

Cómo cambiar una página web dentro del navegador web Google Chrome

este instructable le mostrará cómo cambiar una página web usando el navegador Chrome.Todo lo que necesitas es el navegador de Google Chrome y un ordenador.Paso 1: Abra una página web Abra el navegador de Google Chrome y abrir cualquier página web que
Edición de una página web en Google Chrome

Edición de una página web en Google Chrome

¿qué pasa si te dije que podía editar cualquier página web o sitio web en internet desde el ordenador de casa sin cualquier equipo loco conocimientos de programación o software especial? ¡ Es fácil! Lo único que usted necesita para que este truco fun
Cómo importar datos desde cualquier página web a excel hoja de cálculo al instante.

Cómo importar datos desde cualquier página web a excel hoja de cálculo al instante.

Este video se demuestra cómo utilizar una herramienta en excel que le permite recuperar datos desde cualquier página web a excel hoja de cálculo.Rascándose la cabeza... sólo tratando de averiguar cómo transferir los datos más buscados de la web en su
Guardar una página web con todo lo que en XP (NO requiere INTERNET!)

Guardar una página web con todo lo que en XP (NO requiere INTERNET!)

En este instructable, voy a mostrarte cómo guardar una página web utilizando internet explorer, Microsoft Windows XP Pro. y una conexión a internet. Al hacer esto, requiere una conexión a internet para cargar la página web, pero no a ver cuando se gu
Cómo incrustar vídeos en una página web usando HTML5

Cómo incrustar vídeos en una página web usando HTML5

este tutorial le mostrará cómo poner cualquier video en un sitio web usando HTML5 y la nueva etiqueta. Mediante el uso de HTML5 puede tener videos en su sitio de Internet sin necesidad de algún plugin como Adobe Flash, y se puede reproducir en dispos