Массовая обработка данных с помощью n8n. Курс "Автоматизация и искусственный интеллект"

Привет Я Артём и это новое видео из Моего курса по автоматизации и искусственному интеллекту полный набор уроков вы найдете по ссылке в описании А в этом занятии мы научимся обрабатывать большим массив данных которые найдем в интернете и сохраним их в свои таблицы Сегодня мы сделаем процесс который поможет нам обработать большое количество данных лежащих в интернете и найти среди них программы американских университетов по обучению кинематографу киноделом и показать нам эти программы отсортированные по количеству выпускников а также топ-3 скинутые в Telegram Давайте посмотрим как это выглядит я запускаю процесс сначала у нас отрабатывается вот этот узел и мы видим вот такой вот список на первом месте нью-йорка University и также в телеграме если мы сейчас посмотрим то видим такое сообщение лучше университеты для обучения киноискусству и три университета Давайте попробуем воссоздать этот процесс он не сложный и это достаточно увлекательно добавим Триггер который будет срабатывать Допустим раз в сутки допустим данные здесь обновляются раз в сутки мы хотим их вытаскивать то есть мы находим с Кирилл Триггер добавляем его как раз по умолчанию раз в сутки и теперь дальше Мы хотим добывать информацию из интернета она находится по определенным адресу это вот здесь я нашел заранее вот есть огромный такой набор данных по США соответственно здесь можно найти и данные по выпускникам университетов различных программ если Ну я уже за вас нашел эту ссылку если мы откроем эту ссылку вот прям как есть то мы увидим вот такой огромный массив данных формате json вот сейчас мы с ним будем работать и извлекать эти данные давайте мы создадим узел http Quest этот узел как раз позволяет обращаться к внешним источникам по вот по адресу и добавлять всякие параметры если мы сейчас запустим этот узел то у нас окажется здесь данные очень объемные То есть то что мы видели вот в браузере аннетенном предлагает их не отображать чтобы не тормозить работу программы но нам не нужны все данные поскольку нам нужны только данные за последний год Давайте же мы добавим данные добавим специальный параметр в данном случае вот конкретно в этом API это будет параметры в query то есть в запросе если опять же если я открою Вот эту вот ссылку то вы параметр Это например вот этот Dream Down Вот здесь мы видим вот этот параметр соответственно мы добавим еще к этому набору параметров еще один который называется год и укажем это сильно сузит наш dataset но даст нам только за последний год что нам собственно и надо Вот теперь мы видим уже более компактный такой набор данных Обратите внимание Вот здесь данный по первому университету я могу свернуть по второму но мы здесь пока не видим сколько данных поскольку они скрыты под полем дэйта нам нужно извлечь вот этот массив всех данных на самый верхний уровень Для этого нам понадобится узел айтем лист в режиме Split Out конкретно сейчас нам нужно извлечь данные из-под переменной из под свойства Data поэтому мы просто можем перетащить подтормаживает на таком наборе данных мы перетащили и у нас обратить внимание Data перенеслось Как именно Data они как выражение про выражение мы еще поговорим немножко позже вот обычно при перетаскивании образуются именно выражение и теперь мы можем запустить узел и увидеть что вошел один элемент А вышло Давайте посмотрим сколько вышло 288 Теперь мы с этими данными уже можем работать Давайте проверим какие из этих университетов содержат именно нужную нам программу а нужной нам программа это частная частный университет и четыре года или больше я уже сохранил это условие вот правит nonfoprofit и поможет нам в отделении нужных нам программ узел их То есть он сравнивает входящие элементы по

определенным признаку их может быть Несколько признаков и соответственно Он позволяет отделить нужные нам программы программа находится у нас в слове сектор перетаскиваем просто сюда отделить вот эти вот данные от ненужных соответственно смотрите вот я сейчас Перенесу вы видите такой зеленый текст в фигурных скобках Это означает что у нас автоматически превратилась вот это вот превратился текст выражение В Expression То есть это динамические данные которые подменяется в зависимости от текущего айтома элемента то есть 288 этому проходит проверку и вот мы видим здесь вот эти вот названия А здесь мы строго фиксируем И если мы сейчас запустим то Увидим что проверку пройдут далеко не все а именно 8 элементов имеет вот этот вот название программы а 190 имеют какое-то другое название программы например здесь вот общественное государственно четыре года или больше Все мы с этим разобрались отделили нужные нам элементы И теперь мы хотим отсортировать эти элементы по количеству выпускников Для этого нам нужно опять узел item List только уже с признаком сорта с операцией здесь ничего менять не будем кроме одного Какое поле А поле Мы всегда Давайте перетащим комплейшен и сделаем то есть убывающая теперь когда мы запустим то у нас мы будем точно знать независимость от входных данных порядков входных данных что здесь у нас отсортировано по вот этому признаку наверху самые большие программы А теперь когда мы все отсортировали давайте во-первых сложим наши данные в таблицу Я напечатаю здесь щит и выберу операцию добавить данные можете поменять потом то есть но вот эта операция ее можно выбрать при собственно создание узла Итак Значит нам нужно выбрать во-первых документ у меня уже есть список университетов Но если вы не видите название своего документа куда хотите сложить или с каким хотите провести операции то вы напечатаете название и находите нужный вам документ и теперь нужно еще выбрать лист он мне называется список далее У нас возникает такой вопрос Какие колонки что сложить можете попробовать автоматически сделать подбор колонок но я не рекомендую потому что он может вам добавить лишние колонки поэтому выбираем кастом и у нас возникает два столбца куда мы просто перетаскиваем нужные нам поля здесь у нас поле так поле University а количество выпускников это у нас поле completions теперь когда мы запустим Давайте Мы удалим это с нашего первого демонстрационного заполнения теперь когда мы запустим этот узел мы увидим как здесь появится данные вот так вот ну и увидим здесь результат Теперь давайте же давайте сделаем отправку в Telegram я тяну здесь опять из этого Из этой точки стрелочку и нахожу Telegram в телеграме Мне нужно отправить соответственно здесь мне нужно выбрать поставить в какой чат будет отправлено сообщение То есть вообще это в мой чат чтобы найти свои номер своего аккаунта вы Воспользуйтесь Ботом User info набираете юзер инфобот и вы видите собственно все эти данные копируйте и вставляете теперь нам нужно разобраться с текстом значит текст давайте я скопирую часть отсюда Вот этот текст лучший университета и теперь нам нужно отредактировать это как выражение важное замечание Мы хотим отправить прежде чем перейдем Мы хотим отправить это сообщение только один раз а входит сюда будет входить 98 элементов То есть если опять запущу этот узел он сейчас по всем стрелочкам разойдется вот Telegram узел

видит что в него входит 98 элементов и этот Telegram узел будет выполняться 98 раз Вы получите 98 одинаковых сообщений чтобы этого не произошло нужно пройти в настройку узла и нажать Здесь и тогда узел Telegram будет выполняться ровно один раз возвращаемся в параметры Теперь мы хотим сложить название наших университетов его надо взять из нулевого элемента счет начинается с нуля из нулевого элемента из первого из второго сделать это можно будет по-разному Ну давайте можем здесь давайте я перейду в режим редактирования вот здесь нашему Enter И теперь я открою дважды фигурные скобочки У меня появляется выражение сейчас нам нужно найти необходимый узел входящие данные Точнее то есть данные которые входят в узел они к ним можно Дотянуться до используя слово input то есть входные дальше у нас будут подсказочки возникают вот я нажал Input Мы видим что это такой вот Большой объект дальше я жму точку и нам у нас возникает несколько вариантов можно выбрать например первые элементы или последний первый или последний но я выберу All а будет обращение к массиву вот внизу мы видим gson так 0 выбираем это у нас нулевой элемент массива соответственно теперь я жму точку он нам предлагает gson Да мне нужен именно json потому что все наши данные лежат в общем поле Джейсон представлю точку теперь уже у нас возникает University и здесь мы уже видим что мы дотянулись до данных содержащих нью-йорке не верьте теперь я просто копирую это выражение Control C оставлю запятую пробел Control V вставляя здесь заменяю индекс с нуля на 1 Вот и Теперь наконец пишу и опять Вставляю и заменяя индекс 0 на 2 Итак мы смогли Дотянуться до трех первых элементов во входящих данных это один из способов Вы можете и другие поискать но конкретном примере остановимся на этом теперь я запущу и мы так пардон и мы видим вот это вот сообщение Давайте удалим и просто проверим что наш скажем так наш элемент наш бот может работать в автоматическом режиме то есть Сначала мы запустим его просто руками здесь Поставим на паузу Триггер чтобы он нам не мешал чтобы запускался именно этот процесс сначала запустим просто в автоматическом режиме в ручном режиме нажимаем execudworkflow все пошло работает прислали сообщение данные заполнились Ну теперь Если хотим то мы можем поставить триггер на скажем секунды и на 10 секунд вот поставили И теперь когда мы включим наш процесс то он будет работать раз в 10 секунд нам много не понадобится то совсем заспамятным все говорим Да давайте посмотрим на выполнение как только у нас будет выполнение здесь мы отключим так пошло выполнение сейчас у нас все проработает Все я отключаю это просто демонстрация чтобы у нас не было слишком много выполнении так он немножко подзавис бывает все смотрим вот у нас прислали сообщение автоматическом режиме и опять же в автоматическом режиме наша табличка заполнилась Вот это был один из простых способов сбора и обработки данных в интернете когда они уже представлены в удобном для нас виде