1001 Freelance Projects
Latest Projects from
Freelance Marketplaces
View Project
View this project in detail
(Note: you will be redirected to external marketplace)
Project title:
web scraping solution
Posted by:
External project from PeoplePerHour
Started:
10-Dec-2024 04:53 GMT
Description:
Requerimiento: Solución de Web Scraping para Portales de Medios de Información
Objetivo del Proyecto
Diseñar e implementar una solución automatizada de web scraping para recopilar información de portales de medios de información. Los datos recolectados deberán ser almacenados en una base de datos mediante la ejecución de un procedimiento almacenado (stored procedure) en SQL.
________________________________________
Alcance
1. Realizar scraping en sitios web de medios de información predefinidos, incluyendo, pero no limitado a:
o Noticias nacionales
o Noticias internacionales
o Deportes
o Entretenimiento
o Economía
2. Recolectar información clave, como:
o Título de la noticia
o Fecha de publicación
o Autor (si está disponible)
o Resumen o encabezado
o Contenido completo del artículo
o Categoría o sección del portal
o URL de la noticia
o Fuente del medio
3. Guardar los datos en una base de datos SQL mediante un stored procedure que permita:
o Validar la integridad de los datos antes de insertarlos.
o Evitar duplicidad de registros.
________________________________________
Requerimientos Funcionales
1. Extracción de Datos:
o Implementar un módulo para realizar scraping de páginas HTML dinámicas y estáticas.
o Manejar sitios con diferentes estructuras HTML, incluyendo aquellos que requieran interacción con JavaScript.
2. Gestión de Acceso:
o Incorporar control de acceso para sitios protegidos (si aplica), como inicios de sesión.
o Considerar técnicas anti-bloqueo (User-Agent Rotation, IP Proxy).
3. Almacenamiento de Datos:
o Diseñar un esquema en SQL que soporte la información recolectada.
o Implementar un procedimiento almacenado para insertar los datos en la base de datos, manejando validaciones como:
 Verificación de duplicados por URL.
 Registro de errores o inconsistencias en una tabla de logs.
4. Escalabilidad:
o Posibilidad de agregar nuevos portales sin modificar significativamente el código base.
5. Frecuencia:
o Programar ejecuciones automáticas en intervalos configurables (diario, semanal, etc.).
________________________________________
Requerimientos Técnicos
1. Lenguaje de Programación:
o Python (preferiblemente) o Node.js, utilizando frameworks como Beautiful Soup, Scrapy o Puppeteer.
2. Base de Datos:
o SQL Server o un motor compatible que permita la ejecución de procedimientos almacenados.
3. Integración con la Base de Datos:
o El programa de scraping debe ejecutar el stored procedure tras procesar cada lote de datos.
4. Manejo de Excepciones:
o Registro detallado de errores durante el scraping, almacenamiento o ejecución de stored procedures.
5. Compatibilidad:
o Diseñar la solución para que sea compatible con sistemas operativos Windows y Linux.
________________________________________
Criterios de Aceptación
1. La solución debe ser capaz de recolectar y almacenar información de al menos 5 portales de noticias iniciales.
2. La inserción en la base de datos debe completarse sin errores y siguiendo las validaciones establecidas.
3. El sistema debe ser modular para facilitar la adición de nuevos portales.
4. Los datos deben ser accesibles para consultas SQL tras su almacenamiento.
________________________________________
Project ID:
3411981
Project category:
Project budget:
View this project in detail
(Note: you will be redirected to external marketplace)
Last Projects / Browse Projects
  Project Started
Schwab API Development with Python and ThinkScript Conversion for Automated Trading
Category: C, Programming, Java, PHP, Pine Script, Python, Software Architecture
Budget: $550 - $1100 USD
04 Jul 2025 11:31 GMT
Unity3D Game Upgrade
Category: 3D Modelling, Game Art, Game Development, Game UI, IPhone, Mobile App Development, Unity, Unity 3D
Budget: $30 - $250 USD
04 Jul 2025 10:02 GMT
Astrology App Development
Category: Android, HTML5, IPhone, Mobile App Development, PHP
Budget: ₹12500 - ₹37500 INR
04 Jul 2025 10:01 GMT
Educational Video Tutorials Creation
Category: Content Creation, Content Development, Content Writing, Digital Marketing, Instructional Design, Video Editing, Video Production, Videography
Budget: ₹12500 - ₹37500 INR
04 Jul 2025 10:00 GMT
Create App-Direct QR Code
Category: Android, Android App Development, Graphic Design, IOS Development, IPhone, Mobile App Development, User Interface / IA, Web Development
Budget: $10 - $30 USD
04 Jul 2025 09:59 GMT
University Application Support for UBC & UofT
Category: Academic Advising, Article Writing, Education Consulting, Research, Research Writing, Technical Writing
Budget: $30 - $250 USD
04 Jul 2025 09:59 GMT
Chinese Translation of User Guide
Category: English (US) Translator, English Translation, Language Tutoring, PDF, Proofreading, Simplified Chinese Translator, Traditional Chinese (Hong Kong), Translation
Budget: $15 - $25 USD
04 Jul 2025 09:56 GMT
AdX Approval Specialist for Monetized WordPress Site
Category: Ad Planning & Buying, Advertising, Content Marketing, Digital Marketing, Google Ads, Google Adsense, Web Design, Website Optimization, WordPress
Budget: ₹1500 - ₹12500 INR
04 Jul 2025 09:56 GMT
Engaging Educational Blog Writer
Category: Article Rewriting, Article Writing, Blog Writing, Content Writing, Copywriting, Creative Writing, Proofreading, SEO Writing
Budget: ₹600 - ₹1500 INR
04 Jul 2025 09:55 GMT
Cross-Platform Mobile App Development
Category: Android, Android App Development, C++, Programming, HTML, Java, Mobile App Development, Python, Software Architecture
Budget: $10 - $30 USD
04 Jul 2025 09:55 GMT
Remote admin assistance for legal work 04 Jul 2025 09:55 GMT
Excel Add-in for PDF Comparison
Category: C#, Programming, Data Analysis, Data Entry, Data Extraction, Data Processing, Excel, Excel Macros, Excel VBA, Software Architecture, Visual Basic
Budget: $2 - $8 AUD
04 Jul 2025 09:54 GMT
Sketch for Sports Apparel 04 Jul 2025 09:53 GMT
Build a Colorful WooCommerce Store
Category: ECommerce, HTML, Shopping Cart Integration, Web Design, Web Development, WooCommerce
Budget: ₹1500 - ₹12500 INR
04 Jul 2025 09:53 GMT
Personal LOGO design 04 Jul 2025 09:52 GMT
Browse All Projects
Projects by Skills ...
android
ajax
asp
aspnet
cms
cpp
csharp
css
delphi
design
drupal
excel
facebook
flash
html
java
javascript
joomla
iphone
mysql
photoshop
php
python
ruby
seo
sql
sysadm
translate
typing
twitter
vbnet
xml
wordpress
writing
New!
Проекты на русском
(Projects in Russian)

Copyright © 2005-2024
1001 Freelance Projects