Перейти к основному содержимому

SERP Scraping полное руководство ZimmWriter

Этот материал детально описывает работу с функцией парсинга выдачи Google (SERP Scraping) в ZimmWriter, которая автоматически собирает контент конкурентов для обогащения базы знаний ИИ перед написанием статей.

Ссылка на оригинал

Original English Guide

SERP Scraping в ZimmWriter

Парсинг страниц результатов поиска Google (SERP Scraping) — это ключевое решение в ZimmWriter для автоматического наполнения «мозга» ИИ актуальными и подробными знаниями по теме вашей статьи.

Давайте говорить начистоту: у базовых моделей ИИ есть ограничения по актуальности знаний (knowledge cutoff). Но даже если ИИ в теории знаком с темой, он может не обладать глубокой экспертизой. Когда вам нужно написать статью на тему, о которой ИИ ничего не знает, или на тему, требующую глубоких экспертных данных, необходимо использовать функцию парсинга SERP.

Как это работает (на высоком уровне)​

Понимание процессов, происходящих «за кулисами» во время парсинга SERP, поможет вам лучше ориентироваться в настройках. Разберем алгоритм на примере работы массового генератора (Bulk Writer):

  1. Вы вводите заголовок статьи в поле ввода Bulk Writer.
  2. Включаете опцию парсинга SERP (требуется подключенный Scraping API).
  3. Настраиваете дополнительные параметры и запускаете генерацию.
  4. ZimmWriter выполняет следующие шаги:
    • Обращается к серверу парсинга для выполнения поиска в Google по заголовку вашей статьи.
    • Получает список веб-страниц, находящихся в топе выдачи по этому запросу, а также список вопросов из блока «People Also Ask» (Люди также спрашивают) и другие SEO-данные.
    • Сохраняет данные выдачи в локальный кэш (кэш вмещает до 5000 записей SERP).
    • Оценивает релевантность найденных сайтов. Если запрос слишком узкий и Google не выдал ничего подходящего (например, «как научить слизняка кататься на велосипеде»), ZimmWriter прерывает процесс.
    • Парсит контент до 5 наиболее релевантных сайтов конкурентов.
      • Примечание: Если среди результатов есть несколько видео на YouTube, ZimmWriter спарсит транскрипт только для первого видеоролика.
    • Считывает структуру подзаголовков каждого сайта, извлекает SEO-ключи и с помощью ИИ генерирует краткое резюме для каждой страницы. Все спарсенные страницы кэшируются (кэш до 5000 страниц).
    • Использует собранную структуру подзаголовков конкурентов для составления плана вашей статьи.
    • Использует полученные резюме страниц для генерации тезисов (discussion points) к каждому подзаголовку (H2, H3 и т.д.) вашей будущей статьи.
    • Интегрирует собранные SEO-ключи в текст статьи.

Этот сложный процесс объясняет, почему генерация статей с парсингом SERP занимает больше времени, чем без него.

Парсинг SERP в массовом генераторе (Bulk Writer)​

В меню настройки SERP в Bulk Writer доступно несколько важных параметров:

  • Overwrite SERP cache for matching titles: Активируйте, чтобы ZimmWriter принудительно делал новый поисковый запрос в Google, даже если в локальном кэше есть старая копия выдачи для этого заголовка.
  • Overwrite webpage cache for matching URLs: Активируйте, чтобы принудительно перекачивать контент страниц конкурентов заново, игнорируя сохраненный кэш страниц.
  • Disable using SEO keywords from SERP: Отключает импорт ключевых слов из поисковой выдачи. Это позволяет вам активировать чекбокс «Automatic Keywords» для генерации ключей силами ИИ на основе контекста.
  • Disable using PAA for FAQ: Запрещает использовать вопросы из блока Google «People Also Ask» в качестве вопросов для блока FAQ статьи. Вместо них вопросы сгенерирует ИИ.
Совместимость
  • Парсинг SERP совместим с файлами SEO CSV. Если в строке CSV-файла не заполнены поля структуры, ключевых слов или фонового контекста, ZimmWriter автоматически заполнит их данными из SERP.
  • Парсинг SERP совместим с кастомными структурами (Custom Outlines).
  • Парсинг SERP несовместим с Deep Research, так как эти функции дублируют задачи друг друга. При активации одной вторая отключается.

Парсинг SERP в одиночном генераторе (SEO Writer)​

Кнопка запуска парсинга SERP находится на Шаге 2 (Step 2) в меню SEO Blog Writer.

Важное правило: Когда используются резюме страниц?​

Выжимки и резюме 5 спарсенных страниц не видны вам в интерфейсе программы, но они активно используются ИИ «под капотом» при генерации статьи.

В Bulk Writer тезисы из резюме используются всегда. Но в SEO Writer эти тезисы внедряются только в те подзаголовки, для которых вы НЕ указали индивидуальный URL для парсинга и НЕ ввели индивидуальный фоновый текст (Background Info).

Любая ручная информация или точечно указанная ссылка в настройках конкретного подзаголовка полностью перекрывает (отменяет) использование общих данных SERP для этого подраздела.

Как меняется работа с глобальным контекстом (Global Background)?​

Если вы не используете парсинг SERP, вам приходится вручную вставлять большой текст (до 1200 слов) в поле Global Background, чтобы ИИ понимал факты.

При включенном парсинге SERP необходимость в огромном глобальном контексте отпадает. Более того, большой текст в Global Background может навредить и привести к лишним тратам на API.

Правило работы с Global Background при парсинге SERP:

  • Для очень узких и нишевых тем используйте короткий глобальный фон длиной около 75 слов.
  • Для широких тем вообще не заполняйте поле Global Background.

Почему это работает лучше?​

Поскольку ZimmWriter генерирует уникальные тезисы (discussion points) индивидуально под каждый подзаголовок на основе контента конкурентов, ИИ получает точечные указания для каждого абзаца. Это гораздо эффективнее, чем пытаться скормить ему огромный глобальный текст на 1200 слов, где крупицы информации разбросаны по разным темам. Кроме того, такой подход сводит к минимуму дублирование и повторение мыслей в разных разделах статьи.

Способы запуска парсинга в SEO Writer​

Вы можете запустить парсинг двумя способами:

Способ 1: Предварительный парсинг (Scrape the SERP Now)​

Вы вводите заголовок статьи, открываете меню SERP и нажимаете кнопку «Scrape the SERP Now».

ZimmWriter сразу же выполнит парсинг выдачи, закроет меню и автоматически заполнит следующие поля в интерфейсе программы:

  1. Короткий глобальный контекст (Global Background).
  2. Списки заголовков H2 и H3 конкурентов.
  3. Список рекомендованных SEO-ключей.

Это позволяет вам использовать Option 3 для автоматической сборки структуры подзаголовков на основе реальных данных ваших конкурентов из топа. Когда структура готова, вы можете запустить генерацию кнопками внизу меню.

Способ 2: Парсинг в процессе генерации (без предварительного сбора)​

Использовать кнопку «Scrape the SERP Now» необязательно. Вы можете просто включить чекбокс парсинга SERP, вручную написать или сгенерировать структуру подзаголовков, выставить нужные настройки и нажать кнопку генерации.

ZimmWriter сначала соберет данные выдачи SERP в фоновом режиме, а затем сразу же напишет статью.