Lynx изначально поддерживает автоматизацию при работе в Интернете.
Например,нижестоящая команда выполнит, ранее записанные все Ваши перемещения и нажатия клавиш в файл
lynx -accept_all_cookies -cmd_script=/путь/название Вашего файла
Эта команда покажет lynx прочитать символы из указанного файла, которые могут быть использованы в заданиях cron для автоматического входа на веб-сайты, которые дают вам,например,возможность для входа в систему один раз в день (именно поэтому использовалась опция -accept_all_cookies).
Для создания Вашего файла скрипта,используйте
lynx -cmd_log=названия Вашего файла
В предыдущем посту мы рассказали про два способа получения данных с веб-страниц, а в настоящей статье Вы получите пример обработки этих данных.
Следующий сценарий показывает, как получать требуемые данные через список URLS в текстовом файле,который находится в файле urls.txt и извлечь некоторое содержимое из них:
while read inputline
do
url="$(echo $inputline)"
mydata="$(lynx -source $url | grep -o 'ваше регулярное выражение здесь' | sed 's/здесь ненужные html tags //g')"
echo "$url,$mydata" >> myfile.csv
sleep 2
done <urls.txt
Шаги сценарий делает в последовательности, как указано ниже:
Читать далее…
В наборе администрирования имеется полезная утилита, если, например, удаленно не имеешь доступа к иксам.
В этом случае нелишним будет знать об утилите wmctrl, которая позволяет для оконных менеджеров, поддерживающих спецификацию EWMH/NetWM ( sawfish, fvwm ,icewm, kwin (KDE), metacity и т.д.), исполнять такие действия, как получение информации об объектах, изменение размера и перемещение окон запущенных программ. Она же подходит для автоматизации определённых действий, только надо прикинуть цели! WEBBOT в действии!
Ниже привожу другие полезные утилиты, работающие в режиме командной строки:
- zenity - средство построения GTK диалогов из командной строки;
- xosd - вывод текста на экран, с тенью и прозрачным фоном;
- xclip - доступ к буферу обмена X Window из командной строки;
- devilspie - при появлении окна с заданными параметрами выполняется определенное действие;
- xnee - может записывать и воспроизводить определенные действия в X Window окружении в форме макросов (например, для создания демонстраций или роботов);
- x2x - позволяет привязывать клавиатуру и мышь от одного X дисплея к другому (включая удаленные).
Некоторые из вышеприведённых будут рассмотрены на примерах в нашем проекте.
Следите за постами!
При автоматизации действий пользователя или просто использования компьютера, часто приходится производит поиск необходимых файлов.
Поиск — это необходимая операция и самая трудная по простоте использования.
Вот - хороший список реальных примеров использования для поиска и манипулирования файлами в linux и unix.
Находим все файлы в linux и unix:
sudo find / -type f -name *.jpg -exec cp {} .
find . -type f -size +10000 -exec ls -al {} ;
find . -atime +1 -type f -exec mv {} TMP ; # переместите файлы старше 1 дня создания в каталог TMP
find . -name "-F" -exec rm {} ; # a script error created a file called -F
find . -exec grep -i "vds admin" {} ; find . ! -name "*.Z" -exec compress -f {} ;
find . -type f ! -name "*.Z" ! -name ".comment" -print | tee -a /tmp/list
find . -name *.ini find . -exec chmod 775 {} ;
find . -user xuser1 -exec chown -R user2 {} ;
find . -name ebtcom* find . -name mkbook find . -exec grep PW0 {} ;
find . -exec grep -i "pw0" {} ; find . -atime +6
Читать далее…
lynx -crawl
Мы много уделяем внимание текстовому браузеру — Lynx. Не смотря на давность происхождения и отсутствие поддержки ряда стандартных для современности функций и опций, lynx не потерял своего достойного места в средствах администрировании и автоматизации действий пользователя на просторах Интернета.
Сегодня мы опишим способ сохранения web-страниц с помощью вышеназванного браузера. Для чего эта надо? Если вы читаете текст, то ,естественно, будете применять данный способ в своих скриптах,программах и т.п..
И так для начало создадим каталог для теста:
mkdir lynx_test
Зайдём в директорию :
cd ./lynx_test
Запустите команду lynx с опцией -crawl, которая исследует все ссылки на данном сайте и запишет историю в файл c расширением .dat. Не делайте так на больших веб-сайтах, потому что это расходует много трафика на сайте.
lynx -crawl -traversal “http://www.webbot.com”
Читать далее…
Используем опыт предыдущего поста, постараемся пересчитать число внешних ссылок на странице с помощью любимого браузера lynx
lynx -dump "http://www.webbot.org.ua/"|grep -o "http.*" | grep -v "http://www.webbot.org.ua" | wc -l
Использование grep с опцией -v говорит утилите дать все строки, которые не соответствуют шаблону. В данном случае это даст Вам все ссылки, которые не включают имя домена на текущей веб-страницы.
lynx может использоваться с опцией -dump , чтобы сформировать дамп текста или связываемые веб-страницы в терминале. Этот вывод может затем передаваться в команду grep , которая может извлечь ссылки (urls) или другую информацию.
Следующая строка рассчитает число имеющихся ссылок на веб-странице, в том числе внутренние и внешние :
lynx -dump “http://www.example.com/” | grep -o “http.*” | wc -l
Посмотрите GNU/Linux Lynx tutorial для получения более конкретной информации о том, как lynx и grep могут работать вместе, чтобы извлечь ссылки.
Команда wc -1 пересчитывает число строк. В данном случае, каждая строка - одна ссылка, так, пересчитывая таким способом строки, дается вам иформация о числе ссылок на веб-странице.
Хочу начать тему автоматизации с небольшой заметки о самом великом браузере всех времён и народов - LYNX. Почему именно о нем? Что такого у проекта open source, что делает его привлекательным?
Тогда отвечу по порядку:
- Lynx - текстовый браузер,что поддерживает выполнение скриптов,т.е. автоматизация встроена в его функционал.
- Lynx - браузер,что, подобно знаменитому firefox, настраивается под человека. Для этого можно править конфиг в редакторе или через псевдографическое меню.
- Lynx используют поисковые машины. Именно так в автомате как в Lynx видят они Интернет!
Читать далее…
