Парсим Гугл Поиск БЕСПЛАТНО для ЛЮБЫХ целей (n8n, Search Engine)

Друзья, всем привет. Сегодня мы с вами научимся скрейпить поисковую выдачу Гугла, например, на предмет поиска там контактов и лидов LinkedIn. Да ещё и будем делать это так, что не придётся платить ни за какой API. И в результате у нас будет полноценная таблица с контактами, лидами, прямыми ссылками на их LinkedIn и полным описанием. Для этого мы с вами разберёмся, что такое

костомный поисковый движок, научимся его вызывать через API, организовывать циклы, чтобы проходить по страницам выдачи поисковых результатов, научимся их парсить, класть в Google Shits и немножечко ждать между API запросами, чтобы не блокироваться Гуглом. Ну что такое интересно? Лайк, подписка, коммент и смотрим до самого конца. Конечно, эта тема намного шире, чем просто скрепинг контактов из LinkedIn, потому что вы можете прокидывать туда любой ваш поисковый запрос, который будет соответствовать вашему конкретному кейсу. Парсить его, сохранять в таблицу и таким образом наполнять вашу базу аутрича или другую базу, которая вам потребуется. Для того, чтобы обеспечить результат, нам с вами нужно разобраться

каким образом работает поисковый движок Google. Он умеет обрабатывать не только обычные запросы, в него ещё можно вписывать регулярные выражения таким образом, чтобы ограничивать результаты поиска. Например, пару базовых приёмов вы можете указать конкретный сайт, результат из которого вы ожидаете увидеть выдачи, а также обозначить обязательные выражения или слова, которые должны присутствовать в каждом результате выдачи. И с помощью подобного подхода вы можете довольно гибко контролировать, что Google вам будет выдавать. Например, тут вы видите, что у меня в выдаче только лишь результаты с LinkedIn и которые содержит именно те слова и выражения, которые я указал в своём запросе. И у нас с вами возникает резонный вопрос: а можем ли мы делать подобный поиск из NV с помощью API

Google, потом обрабатывать результаты и складывать их себе в таблицу? Короткий ответ: можно. И для этого нам придётся с вами проэмуровать Google поиск и обработать результаты прямо в NV8 Man. Это всё держится всего лишь на одной ноде запросе в Google Search Engine, но эту ноду нужно будет настроить. Давайте посмотрим, что у неё внутри. Здесь всё очень привычно. У нас есть конкретный URL, куда мы будем посылать наш getзапрос. Но при этом тут есть довольно непонятные поля, которые нам придётся с вами заполнить. Давайте начнём с самого простого. Нам нужен некоторый апи-ключ для того, чтобы авторизовать наш апизапрос. Каким образом получить Апиключ? Чтобы его создать, нам нужно

войти в консоль от Гугла. Можно просто нагуглить его, и первая же ссылка будет ввести в нашу консоль. Давайте попробуем открыть и здесь уже нажать кнопочку консоль. Здесь я уже предполагаю, что у вас есть базовое понимание, каким образом настраивается дашборд. А если нет, то обязательно посмотрите это видео. Мы это уже делали. Если вы сделали всё правильно, у вас будет какой-то проект, в котором вы можете настраивать криншелы Гугла. И когда мы находимся в каком-то проекте, мы нажимаем меню и здесь переходим на вкладку API сервисы и здесь на вкладку Credentials. Мы уже наверняка создавали себе Oуз клиентов, но для поискового движка Гугла достаточно создать IP ключ. Нажимаем создать новые кренлы. Здесь IP ключ. Здесь можно пока ничего не менять и нажимаем create. Вот наш IPI ключ, который мы теперь можем скопировать, вернуться в наш NVM и вставить сюда с полем. После того, как мы позаботились про API ключ, мы возвращаемся в нашу

консоль и пишем такую фразу: Custom search. Видим результат custom search API. Нажимаем на него и здесь нажимаем кнопку enable. Я только что это сделал, поэтому Custom Search API у меня уже активирован. Ну а дальше интересней, что такое CX и что это за value. Давайте разбираться. Возвращаемся в Google и пишем ещё один запрос. Programmable Search Engine. Это и есть создание эмуляции поискового движка, который мы можем вызывать по API. Отлично. Провалимся вовнутрь. Здесь нажимаем get started, и мы сразу попадаем на страницу создание нового поискового движка. Давайте дадим ему какое-нибудь имя. Я скажу тест2. Здесь достаточно указать, чтобы мы искали во всём интернете. Здесь отметить флажок, что мы не робот и нажать create. Как мы видим, у нас с вами уже выдаётся скрипт, где есть значение CX. По сути, это и есть айдишка вашего движка. Забираем её прямо отсюда. Возвращаемся в N8 и вставляем в поле CX.

Давайте посвятим немного времени этой ноде и разберёмся, откуда мы вообще знаем структуру этого API запроса. Для этого вернёмся на страницу Programmable Search Engine и здесь нажмём кнопочку Help Center. И здесь в объём API мы получим первый же результат custom search Jon. Давайте откроем эту страницу. Здесь видим, что есть описание Jon API и нажмём на кнопочку introduction. И здесь видим, что уже представлен некоторый базовый API endpoint. Это list. Давайте нажмём на него. И, в принципе, получим всё-всё-всё описание этого endпоинта. Здесь мы видим правильный URL, который следует использовать для Гетзапроса. Мы как раз этот URL используем в своей ноде и видим массу параметров, которые следует использовать. Как раз наш любимый CX, то

есть это одишка поискового движка, которую мы уже знаем, как делать. Здесь есть параметр Q, то есть, в принципе, сам поисковый запрос. И ещё один параметр, который нам понадобится - это старт. И здесь рассказано, что API может возвращать максимум 10 результатов. Если мы хотим идти по страницам этих результатов, нужно указывать параметр старт 11 21 для того, чтобы каждый раз возвращать по 10 результатов для каждой новой страницы. Это краеугольное знание, потому что без этого мы будем останавливаться всегда только на первой странице. Ну что, кажется, теперь мы знаем структуру API запроса и можем написать полную автоматизацию NVM. Возвращаемся в NVM и смотрим, из чего состоит теперь наша автоматизация. Перво-наперво я хочу создать некоторый массив. Этот массив содержит номера результатов, с которых начинается каждая страница. Я вам сразу скажу, что в моей практике я обычно использую первые три страницы от каждого поиска. Если вам нужно больше, вы можете просто добавить сюда банально 3141, и тогда ваши циклы будут идти для

каждого из этих элементов массива. Но нам сейчас понадобится только три страницы. Значит, оставим 1 11. API Гугла позволяет динамически подходить к этому вопросу. и, например, листать страницы до тех пор, пока не закончатся релевантные результаты. Вы можете с этим сами поразбираться, а мне достаточно для моих целей только первые три страницы, поэтому я ставлю такой подход. Давайте сразу выполним. Вот мы видим, что у нас получился массив из трёх элементов. Прекрасно. Дальше я добавляю ноду Splitout для того, чтобы разделить эти элементы поштучно и получить как раз три элемента, в котором будет Ray 1, Ray 11, Ray21. Это нужно для того, чтобы мы смогли теперь организовать цикл. Цикл добавляется через ноду loop. И здесь настройки никакие менять не нужно. Давайте выполним эту ноду. Мы видим, что мы уже готовы зайти на первый круг со значением array 1. Давайте же теперь составим

запрос к нашему движку поисковому для того, чтобы он нам смог вернуть наши результаты. API мы уже знаем. Вставляем сюда метод get и дальше добавляем обязательные поля, которые нам нужны. Во-первых, айдишка, которая у нас уже есть. Во-вторых, сам запрос. Обратите внимание на этот синтаксис. Сайт двоеточа и дальше сайт, с которого мы ожидаем результаты. Это ограничивает движок таким образом, что он нам отдаёт результаты только с этого сайта. Дальше наш API ключ. Мы его уже брали. И дальше то самое поле старт. Мы хотим, чтобы сейчас вернулись 10 результатов, начиная с позиции номер один. Друзья, пока мы не

пошли дальше, я хочу напомнить, что все автоматизации, которые мы строим на YouTube канале, в конце видео я скачиваю и помещаю в свою бесплатную Telegram-группу. Вы всегда можете зайти в эту группу, найти нужное видео и увидеть, что здесь прикреплён шаблон NVC man. Вы его просто скачиваете и через этот же самый механизм добавляете себе в NVN и работаете, экспериментируете с этой автоматизацией. Также в описании

будет ссылка на нашу про группу. Это уникальное место, где вы можете прокачивать свои AI скилы вне зависимости от вашего уровня. Здесь есть масса материалов для тех, кто уже что-то знает про AI и автоматизации и хочет углублять свои знания. И также здесь есть мастер-класс для тех, кто только начинает осваивать тематику автоматизации и N8N. С помощью этого мастер-класса можно буквально за несколько видео понять основы NMН автоматизации, каким образом всё функционирует внутри, и дальше уже при желании углублять свои знания с помощью проматериалов. Одним словом, тут огонь, заскакивать обязательно. Ну а мы продолжаем с нашей автоматизацией. Возвращаемся в ноду и давайте попробуем её выполнить. Выполняем и видим, что у нас очень быстро вернулись ответы. Давайте их скопирую и посмотрим их в редакторе. Обратите внимание, как

выглядит ответ. Он говорит, что я вернул тебе первые 10 элементов, начиная с первого, и на следующей страниц у тебя есть ещё 10, начиная с одиннадцатого. Это именно тот механизм, который мы можем использовать для динамического переключения страниц. И дальше пошёл массив items. И мы должны обратить внимание, каким образом он выглядит. Здесь есть очень важный Snippet, сама ссылка на LinkedIn, title и ниже description. И давайте теперь посмотрим, каким образом мы можем всё это распарсить. Возвращаемся в Nem и добавляем ноду с кодом. Вы всегда можете сами написать подобный код, например, отдав в вашу любимую нейронку результаты, которые вам отдал Google, и попросив её написать код, который парсит все важные значения из этой выдачи и отдаёт вам в виде джейсона. Например, здесь мы забираем результаты Гугла и пишем функции для выделения имени, роли, локации, картинок и всего остального, что считаем важным. Давайте попробуем выполнить эту ноду. Она нам отдала 10 элементов, потому что именно 10 результатов было в нашей выдаче, и она выделила имена, роли, ссылки на LinkedIn, снипеты и прочее, прочее. Здесь нужно понимать, что если вы будете использовать этот механизм для работы, например, не с Линдыном, а с какими-то вашими костомными запросами, вы всегда можете переписать этот код с помощью нейронки таким образом, чтобы она выделяла именно данные, нужные под ваш специфический кейс, используя тот же самый механизм. Но когда у нас уже есть с вами такие элементы, мы с вами знаем, что с ними можно сделать. Мы их помещаем в таблицу. Для этого добавляем ноду для добавления строки в спред. Вам тут понадобится добавить кредены для Гугла. Если не знаете, как делать, то посмотрите вот в этом видео. Либо полная инструкция, кстати, есть в нашем NCMN мастер-классе. И дальше мы добавляем сюда айдишку нашего спредшита. Ну и делаем мапг. Я удалю все значения из нашей таблички. Она совершенно пустая, поэтому мы с вами сейчас с самого начала попробуем выполнить этот шаг и посмотреть, каким образом замапятся значения. Так, ответ пришёл. Возвращаемся в Google Shits. И вот наши первые 10 результатов. Вот их роли, вот их снипеты, вот ссылки на их линкыны, вот их titles. И всё, что мы хотели выделить из наших результатов поиска. Дальше обязательно нужно будет добавить ноду Weight. Минимум 5 секунд. Это требуется для того, чтобы наши запросы к API гугла проходили нормально, а не блочились их системой. И так как мы ожидаем распарсить только первые три страницы, этот цикл должен пройти три раза. Ну что, давайте попробуем протестировать с самого начала и запустить всю автоматизацию. Запускаем. Видим, каким образом она отрабатывает. Так, прошла первый экстракт и добавила нам Google Sits. Ожидает 5 секунд. И мы видим, что она пошла на второй заход, уже добавляет результаты в Google Sits. Ждёт ещё 5 секунд и идёт на третий заход и опять добавляет значение в Google Ships. И после третьего прохода наша автоматизация остановилась. Смотрим на наш файл и видим 30 значений, 30 записей, которые мы теперь можем использовать для нашего аутрича. Ну что, друзья, мы только что с вами посмотрели на гибкий и бесплатный метод, который позволяет вам работать с выдачей результатов от Google поиска. Вы можете применять его для любых ваших задач. Эту автоматизацию забирайте в бесплатной Telegram-группе. А если хотите развиваться в сфере искусственного интеллекта и автоматизации, то залетайте в нашу прогруппу. Хорошего дня и пока. M.