step 6 done.

Author: gordienkoas

page_analyzer/app.py

@@ -4,6 +4,8 @@
 import psycopg2
 from dotenv import load_dotenv
 import validators
+from bs4 import BeautifulSoup
+
 
 
 load_dotenv()
@@ -52,7 +54,8 @@ def urls():
     # Объединяем запросы для получения всех URL и последней проверки
     cur.execute('''
         SELECT u.id, u.name, u.created_at, 
-               uc.status_code, uc.created_at AS last_check
+               uc.status_code, uc.created_at AS last_check,
+               uc.h1, uc.title, uc.description
         FROM urls u
         LEFT JOIN url_checks uc ON u.id = uc.url_id
         AND uc.created_at = (
@@ -86,12 +89,11 @@ def url_detail(url_id):
     return render_template('result.html', url=url, checks=checks)
 
 
-@app.route('/urls/<int:url_id>/checks', methods=['POST'])
+@app.route('/check_url/<int:url_id>', methods=['POST'])
 def add_check(url_id):
     conn = get_db_connection()
     cur = conn.cursor()
 
-    # Получаем URL из базы данных
     cur.execute('SELECT name FROM urls WHERE id = %s', (url_id,))
     url = cur.fetchone()
 
@@ -104,16 +106,33 @@ def add_check(url_id):
     try:
         response = requests.get(url_name)
         response.raise_for_status()  # Проверка на ошибки HTTP
-        status_code = response.status_code
 
-        # Записываем код статуса в базу данных
-        cur.execute('INSERT INTO url_checks (url_id, status_code) VALUES (%s, %s)', (url_id, status_code))
-        conn.commit()
+        # Парсинг HTML с помощью BeautifulSoup
+        soup = BeautifulSoup(response.text, 'html.parser')
+
+        # Извлечение SEO-данных
+        h1_tag = soup.find('h1')
+        title_tag = soup.find('title')
+        description_tag = soup.find('meta', attrs={'name': 'description'})
+
+        h1_content = h1_tag.text if h1_tag else None
+        title_content = title_tag.text if title_tag else None
+        description_content = description_tag['content'] if description_tag else None
+
 
-        flash(f'Проверка успешна! Код ответа: {status_code}')
+        # Записываем код статуса и SEO-данные в базу данных
+        try:
+            cur.execute('''
+                INSERT INTO url_checks (url_id, status_code, h1, title, description) 
+                VALUES (%s, %s, %s, %s, %s)
+            ''', (url_id, response.status_code, h1_content, title_content, description_content))
+            conn.commit()
+        except Exception as e:
+            print(f'Ошибка при вставке данных: {e}')
+
+        flash(f'Проверка успешна! Код ответа: {response.status_code}')
     except requests.exceptions.RequestException as e:
         flash('Произошла ошибка при проверке.')
-        # Логируем ошибку, если нужно
         print(f'Ошибка: {e}')
     finally:
         cur.close()
@@ -122,7 +141,6 @@ def add_check(url_id):
     return redirect(url_for('urls'))
 
 
-
 if __name__ == '__main__':
     app.run(debug=True)
 

page_analyzer/templates/urls.html

@@ -15,28 +15,35 @@ <h1>Список URL</h1>
         {% endwith %}
 <div class="container mt-5">
     <h1 class="mb-4">Сайты</h1>
-    <table data-test="urls" class="table table-bordered table-hover">
-        <thead class="table-light">
+    <table class="table">
+    <thead>
+        <tr>
+            <th>ID</th>
+            <th>URL</th>
+            <th>Дата создания</th>
+            <th>Код последней проверки</th>
+            <th>Дата последней проверки</th>
+            <th>H1</th>
+            <th>Title</th>
+            <th>Description</th>
+        </tr>
+    </thead>
+    <tbody>
+        {% for url in urls %}
             <tr>
-                <th>ID</th>
-                <th>URL</th>
-                <th>Дата создания</th>
-                <th>Код статуса последней проверки</th>
-                <th>Дата последней проверки</th>
+                <td>{{ url[0] }}</td>
+                <td><a href="{{ url_for('url_detail', url_id=url[0]) }}">{{ url[1] }}</a></td>
+                <td>{{ url[2] }}</td>
+                <td>{{ url[3] if url[3] is not none else 'Нет проверок' }}</td>
+                <td>{{ url[4] if url[4] is not none else 'Нет проверок' }}</td>
+                <td>{{ url[5] if url[5] is not none else 'Нет данных' }}</td>
+                <td>{{ url[6] if url[6] is not none else 'Нет данных' }}</td>
+                <td>{{ url[7] if url[7] is not none else 'Нет данных' }}</td>
             </tr>
-        </thead>
-        <tbody>
-            {% for url in urls %}
-                <tr>
-                    <td>{{ url[0] }}</td>
-                    <td><a href="{{ url_for('url_detail', url_id=url[0]) }}">{{ url[1] }}</a></td>
-                    <td>{{ url[2] }}</td>
-                    <td>{{ url[3] if url[3] is not none else 'Нет проверок' }}</td>
-                    <td>{{ url[4] if url[4] is not none else 'Нет проверок' }}</td>
-                </tr>
-            {% endfor %}
-        </tbody>
-    </table>
+        {% endfor %}
+    </tbody>
+</table>
+
     <a href="{{ url_for('index') }}" class="btn btn-secondary">Назад</a>
 </div>
 {% endblock %}

pyproject.toml

@@ -5,6 +5,7 @@ description = "Add your description here"
 readme = "README.md"
 requires-python = ">=3.10"
 dependencies = [
+    "beautifulsoup4>=4.13.4",
     "flask>=3.1.0",
     "gunicorn>=23.0.0",
     "psycopg2-binary>=2.9.10",