В предыдущем посту мы рассказали про два способа получения данных с веб-страниц, а в настоящей статье Вы получите пример обработки этих данных.
Следующий сценарий показывает, как получать требуемые данные через список URLS в текстовом файле,который находится в файле urls.txt и извлечь некоторое содержимое из них:
while read inputline
do
url="$(echo $inputline)"
mydata="$(lynx -source $url | grep -o 'ваше регулярное выражение здесь' | sed 's/здесь ненужные html tags //g')"
echo "$url,$mydata" >> myfile.csv
sleep 2
done <urls.txt
Шаги сценарий делает в последовательности, как указано ниже: Читать далее “Переодически извлекаем с веб-страницы информацию” »
Сила открытых операционных систем так называемых Unix-based , в том числе GNU/Linux, BSD, ОС Mac состоит в том, что Вы можете передавать по каналам команды и выполнять скрипты единовременно с объединением их вместе в одной строке.
А если более конкретно, то по каналам отправляется вывод одной команды на ввод следующей команды.
В качестве примера можно привести использование команды grep, чтобы найти все строки в logfile, которые содержат запись Googlebot, а затем отправить найденные строки команде wc, чтобы пересчитать их:
grep ‘Googlebot’ | wc -l
Вывод будет число строк, которые содержат запись Googlebot.
При автоматизации действий пользователя или просто использования компьютера, часто приходится производит поиск необходимых файлов.
Поиск — это необходимая операция и самая трудная по простоте использования.
Вот – хороший список реальных примеров использования для поиска и манипулирования файлами в linux и unix.
Находим все файлы в linux и unix:
sudo find / -type f -name *.jpg -exec cp {} .
find . -type f -size +10000 -exec ls -al {} ;
find . -atime +1 -type f -exec mv {} TMP ; # переместите файлы старше 1 дня создания в каталог TMP
find . -name "-F" -exec rm {} ; # a script error created a file called -F
find . -exec grep -i "vds admin" {} ; find . ! -name "*.Z" -exec compress -f {} ;
find . -type f ! -name "*.Z" ! -name ".comment" -print | tee -a /tmp/list
find . -name *.ini find . -exec chmod 775 {} ;
find . -user xuser1 -exec chown -R user2 {} ;
find . -name ebtcom* find . -name mkbook find . -exec grep PW0 {} ;
find . -exec grep -i "pw0" {} ; find . -atime +6 Читать далее “Реальные примеры поиска в linux и unix” »
