Data revisiones del sitio web

Data Mining Explicada con 10 Historias Interesantes

2020.11.13 11:26 melisaxinyue Data Mining Explicada con 10 Historias Interesantes

Data Mining Explicada con 10 Historias Interesantes
"Big Data", un término que se hace cada vez más popular entre el público, así como "data mining", un ejemplo práctico de "Big Data". Aunque todo el mundo habla de "Big Data" o "Data Mining", ¿Realmente sabes de qué se trata? Aquí presentaremos brevemente algunos ejemplos de la vida real de cómo Big Data ha impactado nuestras vidas a través de 10 historias interesantes.

https://preview.redd.it/56e6wsc1izy51.png?width=644&format=png&auto=webp&s=7febe96c309d04bec1181c93372e2f3eba9ee31a
1. Un caso clásico: Pañal y Cerveza
Big data está bien empleado para ayudar al departamento de marketing de Walmart con la toma de decisiones. El investigador de mercado de Walmart descubrió que cuando los clientes varones visitan el departamento de bebés para elegir pañales para sus pequeños, es muy probable que compren un par de cervezas. Por lo tanto, Walmart colocó cerveza al lado del pañal lo que había llevado a que las ventas de cervezas y pañales aumentaran significativamente.

https://preview.redd.it/k3n9lxs1izy51.png?width=940&format=png&auto=webp&s=05f34bd43807850c073fe1af7bd73d8876d04438
  1. El fabricante de automóviles mejoró los modelos de vehículos a través de la plataforma de redes sociales Big Data trajo impactos a los vehículos de Ford al comienzo del diseño del automóvil. El equipo de R&D de Ford una vez hizo un análisis sobre las formas de abrir la camioneta trasera de sus SUV (como abrir manualmente o automáticamente). Aunque sus encuestas de rutina no reflejan esto como un problema potencial, el equipo de Ford descubrió que la gente realmente hablaba mucho sobre eso.

https://preview.redd.it/dsut4pc2izy51.png?width=1080&format=png&auto=webp&s=9b274131088ee37a4e749d452f9310a28d92fb93
3. Utilice los CCTV para cambiar los menús Un restaurante de comida rápida fue lo suficientemente innovador como para cambiar entre los diferentes menús que se muestran en la pantalla grande en función de cuánto tiempo se detecta la cola a través de los CCTV. Basado en un algoritmo preestablecido, los CCTV envían información de la cola a la computadora que luego realiza el cómputo y envía los resultados para controlar qué menú mostrar en la pantalla grande. Por ejemplo, si la línea es larga, la pantalla del menú ofrecerá más opciones de comida rápida y cuando la línea es corta, la pantalla del menú ofrecerá platos que son más rentables pero que pueden tomar más tiempo para prepararse.
4. Google pronosticó con éxito la gripe invernal En 2009, Google estudió los 50 millones de palabras recuperadas más frecuentes y las comparó con los datos de los CDC de las temporadas de gripe 2003-2008 para construir un modelo estadístico. Finalmente, este modelo pronosticó con éxito la propagación de la gripe invernal, incluso específica de los estados.
5. Big Data sabe más sobre tu preferencia musical La música que escucha en el automóvil puede reflejar en cierta medida su preferencia musical. Gracenote obtuvo las técnicas que utilizan los micrófonos integrados en los teléfonos inteligentes y las tabletas para reconocer las canciones reproducidas en el televisor o estéreo del usuario, detectar reacciones como aplausos o abucheos, e incluso detectar si el usuario ha subido el volumen. De esta manera, Gracenote puede estudiar las canciones que les gustan a los usuarios y la hora y el lugar específicos cuando se reproduce esta canción.

https://preview.redd.it/az02ln23izy51.png?width=830&format=png&auto=webp&s=c8bd255fa2b5d1c1bcac695050dcd557ccd21aef
6. Microsoft Big Data predijo con éxito 21 premios Oscar En 2013, David Rothschild en Microsoft Institute New York usó Big data para predecir con éxito 19 de 24 premios Oscar y 21 premios Oscar en el año siguiente.
7. Use Big Data para pronosticar escenas del crimen PredPol, trabajando con la policía de Los Ángeles y Santa Cruz y un equipo de investigadores, predice las probabilidades de que ocurra un delito en función de una variación de los algoritmos de predicción de terremotos y los datos del delito que pueden ser precisos dentro de (500 square feet). En Los Ángeles, donde se aplicó el algoritmo, la distribución de robos y delitos violentos se redujo en un 33% y un 21% en consecuencia.

https://preview.redd.it/cipk6tk3izy51.png?width=660&format=png&auto=webp&s=e8de57cf18e5b84cbde15055bc7516a4c5239f59
8. Octoparse utilizó Revisiones para refinar productos Octoparse, una empresa de saas dedicada al Web Scraping, siempre tiene en cuenta la sugerencia del cliente. En 2020, Octoparse recolectó decenas de miles de revisiones de clientes, y usó PNL para estudiar las revisiones, y actualizó el producto, y la experiencia del cliente mejoró enormemente.
9. Encuentra tu amante por Big data El Ph.D. matemático Chris McKinlay es un estudiante en UCLA. Después de no encontrar a la chica adecuada después de muchas citas a ciegas, decidió utilizar las matemáticas y los datos para analizar sitios de citas. Con su talento, McKinlay ha creado un programa de robot hecho a sí mismo que utiliza cuentas falsas de OkCupid para recopilar una gran cantidad de información de mujeres de la Web. McKinlay pasó tres semanas recolectando 60,000 preguntas y respuestas de 20,000 mujeres en los Estados Unidos. Luego clasificó a las mujeres usuarias en siete grupos con diferentes sistemas basados en el algoritmo K-Modes mejorado que había desarrollado. Mediante el uso de un modelo matemático para calcular el grado de coincidencia entre usted y dos grupos de mujeres. Mientras salía con la 88na internauta, encontró a su verdadero amor.
10. Alibaba implementó actos antifalsificación de Big Data Alibaba reveló recientemente una serie de casos falsificados. El Departamento de Seguridad de Ali afirmó que "el big data más confiable, de hecho, son los datos de transacciones de la cuenta, la logística y la información de envío". El personal de seguridad de Alibaba dijo que pueden rastrear almacenes fuera de línea a través de consultas sobre direcciones de envío, direcciones IP, direcciones de devolución y más. Los datos de transacciones de la cuenta se pueden divulgar para cada transacción y cada registro de ventas. Incluso si los vendedores usan diferentes ID y tiendas, pueden encontrar comerciantes falsos fuera de línea a través de Big Data. Según el departamento de relaciones públicas de Alibaba, después de años de prácticas, se ha establecido un modelo de represión de big data para monitorear, analizar y tomar medidas enérgicas contra los sistemas de productos falsificados, y actualmente trabajando con la policía para boicotear la circulación de productos falsificados.
Hay tantos usos prácticos de Big data y data mining en nuestras vidas. En pocas palabras, algo que sintió mágico, puede contar con Big Data. Explore historias divertidas sobre Big data en sus vidas, y estamos encantado de hablarlo por usted.
Más artículos relacionados:
Las 30 Mejores Herramientas de Visualización de Datos en 2020
Los 30 Mejores Software Gratuitos de Web Scraping en 2020
Big Data: 70 Increíbles Fuentes de Datos Gratuitas que Debes Conocer para 2020
submitted by melisaxinyue to u/melisaxinyue [link] [comments]


2020.11.13 10:53 melisaxinyue Scraping Precios: Descargar Datos en Comercio Electrónico Web

Scraping Precios: Descargar Datos en Comercio Electrónico Web
En el campo comercial, se puede utilizar una gran cantidad de scraped data para el análisis empresarial. Podemos scrape los detalles, como precio, stock, calificación, etc., cubriendo varios campos de datos para monitorear cambios en bienes. Estos datos scraped pueden ayudar aún más a los analistas y vendedores del mercado a evaluar el valor potencial o tomar decisiones más significativas.
Sin embargo, no podemos scrape todos los datos con las API del website
Algunos sitios web proporcionan API para que los usuarios accedan a parte de sus datos. Pero a pesar de que estos sitios proporcionan API, todavía existen algunos campos de datos que no pudimos scrape o no tenemos autenticación para acceder.
Por ejemplo, Amazon proporciona una API de publicidad de productos, pero la API en sí misma no podía proporcionar acceso a toda la información que se muestra en su página de productos para que la gente pueda scrape, como el precio, etc. En este caso, la única forma de scrape más datos, dicho campo de datos de precios, es construir nuestro propio scraper mediante programación o usar ciertos tipos de herramientas de scraper automatizadas.
Es difícil scrape datos, incluso para programadores.
A veces, incluso si sabemos cómo scrape los datos por nuestra cuenta mediante la programación, como usar Ruby o Python, aún no podríamos scrape los datos con éxito por varias razones. En la mayoría de los casos, es probable que tengamos prohibido raspar de ciertos sitios web debido a nuestras acciones de scraping repetitivas sospechosas en muy poco tiempo. Si es así, es posible que necesitemos utilizar un proxy de IP que automatice la salida de las IP sin ser rastreados por esos sitios objetivo.
Las posibles soluciones descritas anteriormente pueden requerir que las personas estén familiarizadas con las habilidades de codificación y el conocimiento técnico más avanzado. De lo contrario, podría ser una tarea difícil o imposible de completar.
Para que los sitios web de scrape estén disponibles para la mayoría de las personas, me gustaría enumerar varias herramientas de scrape que pueden ayudarlo a raspar cualquier información comercial, incluidos precios, acciones, reseñas, etc., de manera estructurada con mayor eficiencia y velocidad mucho más rápida.

Octoparse

Puede usar esta herramienta de scrape para raspar muchos sitios web, como Amazon, eBay, AliExpress, Priceline, etc., para obtener datos que incluyen precios, comentarios, comentarios, etc. Los usuarios no necesitan saber cómo codificar para raspar datos, pero necesitan para aprender a configurar sus tareas.
La configuración de las tareas es fácil de entender, la interfaz de usuario es muy fácil de usar, como se puede ver en la imagen a continuación. Hay un panel de Workflow Designer donde puede apuntar y arrastrar los bloques visuales funcionales. Simula los comportamientos de navegación humana y raspa el los usuarios de datos estructurados necesitan. Con este raspador, puede usar la IP de proxy solo configurando ciertas Opciones avanzadas, que son muy eficientes y rápidas. Luego, puede raspar los datos, incluidos el precio, las revisiones, etc., según lo necesite después de completar la configuración.

https://preview.redd.it/b5c1b1y6czy51.png?width=1920&format=png&auto=webp&s=281615f6fcdd8f9fb9bdfc80f0c05c155715c54d
La extracción de cientos o más datos se puede completar en segundos. Puede scrape cualquier tipo de datos que desee, los marcos de datos se devolverán como en la figura a continuación, que incluye el precio y los resultados raspados de la evaluación del cliente.
Aviso: para todos los usuarios, hay dos ediciones de Octoparse Scraping Service: La edición gratuita y La edición de pago. Ambas ediciones proporcionarán las necesidades básicas de raspado para los usuarios, lo que significa que los usuarios pueden raspar datos y exportarlos a varios formatos, como CSV, Excel, HTML, TXT y bases de datos (MySQL, SQL Server y Oracle). Si bien, si desea obtener datos con una velocidad mucho más rápida, puede actualizar su cuenta gratuita a cualquier cuenta paga en la que esté disponible el Servicio de Cloud. Habrá al menos 4 servidores en la nube con Octoparse Cloud Service trabajando en su tarea simultáneamente. Aquí hay un video que presenta el servicio de nube de Octoparse.
Además, Octoparse también ofrece servicio de datos, lo que significa que puede expresar sus necesidades y requisitos de raspado y el equipo de soporte lo ayudará a raspar los datos que necesita.

Import.io

Import.io también se conoce como un web crawler que cubre todos los diferentes niveles de necesidades de rastreo. Ofrece una herramienta mágica que puede convertir un sitio en una tabulation sin ninguna sesión de entrenamiento. Sugiere a los usuarios descargar su aplicación de escritorio si es necesario rastrear sitios web más complicados.
Una vez que haya creado su API, ofrecen una serie de opciones de integración simples, como Google Sheets, Plot.ly, Excel, así como solicitudes GET y POST. También proporciona servidores proxy para evitar que los usuarios sean detectados por los website de destino, y puede scrape tantos datos como necesite. No es difícil usar esta herramienta que importe la interfaz de usuario, es bastante amigable de usar. Puede consultar sus tutoriales oficiales para aprender cómo configurar sus propias tareas de scraping. Cuando considera que todo esto viene con una etiqueta de precio de por vida y un increíble equipo de soporte, import.io es un primer puerto claro para aquellos que buscan datos estructurados. También ofrecen una opción paga de nivel empresarial para empresas que buscan una extracción de datos más compleja o a gran escala.

https://preview.redd.it/khwhdhq7czy51.png?width=1238&format=png&auto=webp&s=42c5dadb2adfa88f36bd1107b2c74f150c04ada5
ScrapeBox
Los expertos en SEO, los vendedores en línea e incluso los spammers deberían estar muy familiarizados con ScrapeBox. Los usuarios pueden recolectar fácilmente datos de un website para recibir correos electrónicos, verificar el rango de la página, verificar los servidores proxy y el RSS submission. Mediante el uso de miles de servidores proxy rotativos, podrá escabullirse de las palabras clave del sitio de la competencia, investigar en sitios .gov, recopilar datos y comentar sin ser bloqueado o detectado.

https://preview.redd.it/icb92o78czy51.png?width=884&format=png&auto=webp&s=3a86d628148950a64d49ac58d67f3c9aa42ceda1
submitted by melisaxinyue to u/melisaxinyue [link] [comments]