Софт-Портал

Xenu Links

Рейтинг: 4.3/5.0 (292 проголосовавших)

Категория: Windows

Описание

Xenu s Link Sleuth - программа для проверки ссылок

Поиск битых ссылок на сайте

С проблемой битых ссылок к сожалению приходится сталкиваться каждому веб-мастеру. Ибо с ростом проекта неизбежно растёт как количество внутренних ссылок, так и внешних. Причин появления ссылок, ведущих на несуществующий адрес может быть много, от банальных опечаток и других оплошностей до изменения домена и просто ссылки в комментариях или статьях на сайте стают устаревшими. В любом случае это отражается на удобстве навигации и поиска нужной информации. Ясно, что такие ссылки требуют как можно более быстрого устранения и корректировки. Вот только если на вашем сайте уже немало страниц, проверять все вручную не представляется возможным. К счастью выход из ситуации есть. И в этом посте я хочу познакомить читателей с очень полезной и наверно незаменимой программой для вебмастера – Xenu’s Link Sleuth . которая проверяет ссылки на сайте и выводит отчёт об ответах сервера, благодаря чему можно быстро и удобно найти все битые ссылки, внешние и узнать ещё много полезной информации.

Для начала следует отметить, что Xenu’s Link Sleuth анализирует не только ссылки в буквальном смысле, а и такие элементы как рисунки, скрипты, таблицы стилей. Хотя в большинстве случаев они подключаются ко всем страницам шаблонно и проблем не наблюдается, всё же возможность их проверки на доступность, особенно если они подгружаются с других серверов очень нужная и полезная. Таким образом принцип работы довольно прост и понятен:
  1. старт с некоторой страницы сайта;
  2. поиск ссылок и переход по ним;
  3. повтор пунктов 1-2 пока не будут проанализированы все найденные;
  4. предоставление результатов работы, которые можно сохранить как отчёт в формате HTML.
Теперь по обыкновению рассмотрю вкратце положительные стороны и некоторые недостатки этой программы:
Плюсы:
  • Xenu’s Link полностью бесплатная программа ;
  • малый размер (меньше 1Мб);
  • простой интерфейс и простота работы;
  • присутствует справка (хоть и англоязычная);
  • сохранение проведённого анализа;
  • удобная таблица с результатами ;
Именно в последнем главный козырь. Поскольку эту таблицу можно сортировать по разным доступным столбцам, можно в очень удобном виде получить интересующие данные, например: посортировать по типу контента, по размеру, по ответу от сервера и т.д. Разные типы сортировки рассмотрю ниже.
Среди недостатков я бы выделил пока что только три следующих:
  • нет возможности установить таймаут между запросами к серверу, а это может привести к повышенной нагрузке на него, особенно если сайт не малый и анализ занимает длительное время;
  • нет возможности исключить из проверок ссылки по шаблону, но в будущих версиях автор якобы планирует ввести поддержку Robots.txt
  • англоязычность тоже в плюс не занесёшь, хотя ничего страшного там нет.
Кроме того я бы предложил ввести также опцию, с помощью которой можно было бы указать, как должна представляться программа, другими словами указать поле User-Agent. Такая опция к примеру имеется в Download Master. Настройка Xenu’s Link перед работой

Фактически опций в ней очень мало, но так легче будет разобраться ;) На вкладке Basic следует отметить в первую очередь параметр «Parallel Threads» регулируемый ползунком. Он указывает сколько параллельных запросов будет отправляться на сервер при анализе страниц сайта. Учитывая то, что нельзя задать таймаут, установка этого значения в малую величину (не более 4-6) сможет снизить нагрузку на сервер. Советую не ставить значение больше 8, если не используете выделенный сервер. Иначе может произойти своего рода DoS-атака. В поле «Maximum depth» задаётся максимальная глубина поиска. другими словами уровень. Большие значения нужны только для крупных сайтов с множеством подрубрик. Обычно больше 10-20 не надо, хотя по умолчанию стоит аж 999.
«Treat redirections as errors:» эта опция позволяет указать как будут интерпретироваться ответы сервера о перенаправлении – как ошибка или нет. Если был переезд на новый домен, то ссылки на старый могут вызывать редирект, что поможет вам их найти. Если опция не отмечена, то ответы со статусом перенаправления не будут считаться битыми ссылками.
В секции Report отмечаете, что должно войти в отчёт. Во вкладке Advanced заслуживают внимания 2 опции: «Allow Cookies» – позволяет принимать куки (для каких случаев это нужно есть в FAQ в справке) и поле «Retries» – количество попыток связи при ошибке. Может быть полезным при нестабильной работе сервера.

Проверка и поиск ссылок на сайте

Запустить процесс проверки ссылок очень просто. Достаточно нажать на панели инструментов кнопку Check URL или комбинацию клавиш Ctrl+N. После этого в появившемся окне с названием Xenu’s starting Point в самом первом поле следует ввести стартовую страницу, с которой начнётся поиск и анализ ссылок. Обычно для этой цели надо указать либо адрес главной страницы, либо карту сайта в HTML-формате как у меня в примере.

Флажок "Check external links" позволяет указать, будут ли проверяться на доступность внешние ссылки. Ставить его сразу не обязательно. Внешние ссылки всё равно будут в отчёте, только не прошедшие тестирование. Запустить их проверку можно будет потом выбрав в меню Options -> Check external URLs .

Также на этом шаге можно указать адреса, которые будут исключены из проверки, если они начинаются по указанному вами шаблону, например по протоколу mailto: или другие. И ещё дополнительно указать какие ссылки будут считаться внутренними, если начинаются по определённому шаблону.

Дальше начинается процесс поиска всех ссылок и их проверка. Чтобы не создавать большую нагрузку на сервер я советую время от времени нажимать на паузу, что позволит временно приостановлять запросы, т.е. вместо отсутствующего таймаута между запросами, о котором я выше упоминал. Весь процесс занимает примерно 1-10 минут, а то и больше. Всё зависит от количества ссылок на сайте и количества параллельных запросов. По завершении проверки вам будет предложено просмотреть отчёт в виде HTML-страницы, где будет приведён список проверенных адресов, средние размеры страниц, внешние и внутренние ссылки, разные процентные отношения и т.п. Лично мне больше нравится таблица самого проекта, который можно сохранить с расширением .xen. Все битые ссылки (ошибка 403) или с другими проблемами, как например ошибка (403 – отказ в доступе) будут выделены красным цветом, а все работающие – зелёным. Следует иметь в виду, что не каждая ошибка 403 в самом деле таковая. Я обнаружил, что Википедия Xenu’s Link даёт ответ 403, хотя при переходе в браузере ссылки рабочие. Это может быть связано с куками, а может и с полем User-Agent, о котором я тоже упоминал.

Анализ результатов проверки Xenu’s Link Sleuth

Самое интересное начинается теперь, когда надо проанализировать полученные результаты. Из сводной таблицы можно узнать очень многое применяя сортировку по соответствующим столбцам:
  • Statusпо ответу с сервера. Позволяет сгруппировать страницы со статусом ОК и с разными ошибками (404 т.е. битые ссылки) и соответсвенно их исправить. Нажав Ctrl+B можно применить фильтр, оставляющий в списке только битые ссылки.
  • Type – сортировка по содержимому контента. Т.е. все HTML-страницы будут сгруппированы вместе, все скрипты, css-стили и т.д. тоже вместе.
  • Size – сортировка по размеру. В этом случае можно увидеть самые большие страницы на сайте и самые маленькие.
  • Title – сортировка по этому столбцу даст возможность быстро отыскать дублированные заголовки страниц. Тоже весьма полезная функция.
  • In Links и Out Links – сортировка по количеству входящих и исходящих ссылок со страницы соответственно. Количество исходящих ссылок означает именно исходящих, а не внешних. Это поможет вам более равномерно делать внутреннюю перелинковку, уделяя больше внимания страницам с меньшим количеством входящих ссылок. Таким образом приблизительно можно увидеть, какие страницы имеют больший PageRank. Естественно ссылки с других сайтов не учтены, поэтому в реальности будут различия. В анализе по моему сайту наибольше входящих ссылок получили самые свежие статьи. Это за счёт виджета свежих записей, размещённого в сайдбаре. Выбрав из контекстного меню URL Properties можно увидеть все ссылающиеся страницы и все ссылки на другие страницы.
  • Duration – используя сортировку по этому столбцу можно узнать, какие страницы дольше всего грузятся, а какие быстрее. Это тоже поможет провести оптимизацию по возможности.
Создание карты сайта в Xenu

К перечисленным выше функциям в Xenu’s Link Sleuth предоставляется возможность построить карту сайта в формате xml, почти такую же как генерирует плагин Google Sitemap XML, но недостаток в том, что туда войдут все страницы и даже такие файлы как js, ico и т.п. и запрещённые в Robots.txt. Поэтому пока без поддержки Robots.txt нельзя использовать эту возможность с хорошим результатом. Остаётся ждать пока будет реализован учёт этого файла, что позволит гораздо качественнее и быстрее проводить проверку сайта, исключая множество ненужных страниц как из тестирования так и из создаваемой карты сайта.

Сайт программы – Xenu’s Link Sleuth. автор – Tilman Hausherr
Там же можно и скачать Xenu’s Link Sleuth

Xenu links:

  • скачать
  • скачать
  • Другие статьи, обзоры программ, новости

    Скачать Xenu s Link Sleuth 1

    Xenu's Link Sleuth 1.3.8


    Познакомьтесь с Xenu's Link Sleuth - небольшой, простой, понятной и бесплатной программой, позволяющей найти битые ссылки, изображения, фреймы, дополнительные модули (plug-ins), фоновые рисунки (backgrounds), графические карты сайта (local image maps), таблицы стилей (style sheets), скрипты и Java-апплеты. Программа выводит список проверенных ссылок с сортировкой по различным параметрам. Также она позволяет создавать отчет с результатами проверки. Скачать Xenu's Link Sleuth можно ниже.


    Особенности и возможности программы:
    - Простой и удобный пользовательский интерфейс
    - Возможна повторная проверка битых ссылок (это удобно при временной недоступности проверяемого сайта)
    - Простой формат отчета
    - Размер исполняемого файла программы меньше 1Мб
    - Возможность проверки защищенных сайтов по протоколу SSL ("https://")
    - Определение и вывод редиректов (т.е. пересылок на другие страницы)
    - Возможно формирование карты проверяемого сайта
    - Проверка ссылок через кэш гугл, сервис алекса и сервис wayback machine и др. полезные функции.

    Все это может пригодится как простым пользователям, так и администраторам сайтов, последним, особенно (нашел битую ссылку и поправил ее, просто и удобно).

    Все остальное вроде видно на скриншотах, а для удобства вложил в архив неплохое описание-руководство в pdf на русском языке.
    Перевести программу можно как сыщик ссылок от Xenu (перевод вольный).

    Ну и еще, я выложил портативную версию, т.к. смысла в ее установке нет, работает она с любого места.
    Скачивайте и пользуйтесь, удачи вам.

    Название выпуска: Xenu's.Link.Sleuth.v1.3.8
    Разработчик: Tilman Hausherr
    Сайт. home.snafu.de
    Лицензия: FreeWare
    Язык: English
    Размер: 571 KB
    ОС: Windows
    Скачать: Xenu's Link Sleuth 1.3.8 Portable


    Shadow Defender 1.4.0.650 - Repack KpoJIuK (11)

    Даже не знаю, у меня одного так происходит или нет, но после установки Shadow Defender на Windows 7 и Windows 8.1 (обе с обновлениями) система "тупо слетала". Попробовал установить товарищу (у него "железо" покруче - Intel core i3) - так у него операционка даже 3-х часов не продюжила и сдохла. Avast данную программу ещё в процессе скачивания квалифицировал как "зловред" и по-моему мнению был прав. Но, как говорится - кто ищет, тот всегда найдёт. Альтернатива (вполне рабочая, только придётся PrivaZer-ом или Privacer-ом раз в сутки диск чистить)является Faronics Deep Freeze/белый мишка/. Я лично смог установить только версию Deep.Freeze.Standard.8.30.020.4627 - 8.31 почему-то никак не активируется. Есть ещё один аналог - Toolwiz TimeFreeze (кстати бесплатный). Но я в силу природной недоверчивости всё-таки более доверяю платным программам. Буду рад, если оказался кому-то полезен. Всего доброго!
    Ссылка: https://cloud.mail.ru/public/KGbM/xBV1XV1ss

    Active@ Partition Recovery Ultimate 15.0.0 + Professional (33)

    Так шо, последний вариант не работает?

    Microsoft Office 2010 SP2 Professional Plus + Visio Premium + Project Pro / Standard 14.0.7172.5000 - Repack KpoJIuK (11)

    13.59 Gb торрент
    внутри 5 файлов, хрен разберёшь какой файл от чего

    Apowersoft Streaming Video Recorder 6.0.0 + Rus (253)

    Вчера вышла Apowersoft Streaming Video Recorder 6.0.1 (Build 08/23/2016)
    Старая регистрация(рег/кейген) работает
    Линк
    http://dl-us.apowersoft.com/streaming-video-recorder.exe
    Добавьте плз в шапку

    Proxifier v3.21 + Portable (209)

    Ключ для portable

    поверх ставим иснталл, оттуда же, ключ остался тот же. ;)
    ключ берём старым кейгеном ;)

    Bug head Emperor v7.45 + x64 (26)

    Улучшатель Звука SRS Audio Essentials не совместим с Windows 10 (при установке выдаёт ошибку "1920").


    В Windows 10 ошибка 1920 не является признаком несовместимости! У вас просто не запущена "Служба кэша шрифтов Windows", она как правило, по умолчанию, включается вручную. Зайдите в "Службы" раздела "Администрирование" "Панели управления", запустите соответствующую службу, и переведите её в автоматический режим запуска.

    Rapid Typing Tutor 5.2 + Portable (85 464)


    Rapid Typing is now also available as 64-bit Windows program
    User logout without closing application
    Teacher creates new student accounts with own lesson settings
    Speed and Accuracy diagrams can be displayed together or separately
    Lesson Goal is displayed on the Speed and Accuracy diagrams
    Result window and student diagrams are displayed without delay
    Using multi select to assign courses to a group
    Use native digits for numeric formatting defined by the system's regional settings
    The full support for the Right to Left languages
    Persian course for experienced students from Iran, created by Sayyid AliReza
    Rapid Typing Italian distributive with full Italian localisation(including Help) created, www.rapidtyping.com/it
    Many performance improvements

    Pixia 6.02z-x86 + v6.02u2-x64 / 5.42d / v4.80b Rus (85 464)

    Немного статистики Steam: Доля Windows 10 продолжает расти (590)

    Причина перехода на новую десятку - новое ядро. которое работает быстрее. dx 12. вот и все плюшки в ней. Мелкие надеялись получить все прибыли со своего продукта с каждого. кто установит win 10. Но они явно просчитались. Из моих друзей. знакомых никто ещё не перешёл на эту ось. и она явно ещё не доведена до совершенства. скорее наоборот. Мелкие судорожно лепят свои обновы. после которых ось вообще перестаёт работать. и по поводу этого есть отзывы. Я надеюсь что со временем всё исправят. пройдёт время и десятка станет народной .

    JetBrains WebStorm 2016.2.2 (85 464)

    Xenu s Link Sleuth

    Xenu Link Sleuth скачать

    Xenu Link Sleuth - победительница битых ссылок и первый помощник каждого оптимизатора. Среди подобных программ, отличается простотой использования (разобраться с ней сможет даже человек, никакого отношения к поисковой оптимизации не имеющий) и возможностью формировать технические отчеты для разносторонней оценки показателей сайта.

    Xenu's Link Sleuth представляет cобой простейший краулер, программу-паук который посещает все доступные для перехода ссылки. В отличие от индексирующих ботов поисковых систем, он не использует алгоритмы ранжирования и обходит сайт полностью, проверяя все доступные страницы.

    Чаще всего такие ошибки возникают после изменения контента или перемещения его в закрытую зону сайта. При нахождении таких объектов или адресов, проверяйте, не содержат ли они обратных ссылок.

    Если такие ссылки имеются, крайне желательно для таких адресов установить переадресацию 301-м редиректом, в противном случае вы лишите себя точек входа и пользователи, к примеру, сделавшие закладку на ваш сайт, будут попадать в никуда.

    Сканирование сайта объемом в тысячу страниц, в среднем, занимает не более 5-ти минут. По завершению работы Ксену Линк формирует удобные отчеты по 403-м и 404-м ошибкам. Из подобного софта конкуренцию выдерживает только Screaming Frog SEO Spider. Программу Xenu скачать бесплатно на русском языке и установить на компьютер для проверки битых ссылок можно с этой странички или на официальном сайте.

    Xenu - настройка и описание

    Описание и настройка Xenu 1.2 e

    В Интернете все происходит стремительно, ежедневно рождаются, умирают и переводятся на новые технологии отдельные страницы, целые сайты и даже огромные порталы. Соответственно, множество гиперссылок ежедневно становятся неактуальными. Это доставляет серьезное неудобство сайтостроителям: создал неделю назад страничку, а уже сегодня половина ссылок с нее ведет "в никуда". Естественно, посетители такой странички раздражены и начинают поминать недобрым словом ее создателя, который, в общем-то, не сильно виноват. Ведь не проверять же ему вручную работоспособность сотен ссылок на всех страницах своего сайта!

    Впрочем, некоторая доля его вины есть: владелец сайта не озаботился установкой одной из множества программ, которая бы автоматически проверяла гиперссылки на живучесть. В качестве примера такой программы я приведу бесплатную утилиту Xenu’s Link Sleuth. Работать с Xenu на удивление просто, а в результате получается очень подробный и обстоятельный отчет обо всех имеющихся на сайте ссылках. Делается это так.

    Первым делом укажем страницу, с которой Xenu начнет исследование гиперссылок.
    Это может быть адрес (URL) стартовой страницы нашего сайта, например, http://bazila.net/
    Точно так же можно указать отдельную страницу сайта, например,
    http://bazila.net/saytostroenie/deshevyj-platnyj-khosting-dlya-sajta-na-joomla.html.
    Наконец, это может быть HTML-документ, сохраненный на жестком диске домашнего компьютера, например, file:///D:\probe. html .
    Обратите внимание: адрес в Интернете (URL) должен заканчиваться символом "слеша" / .

    Теперь зададим область исследования. Должен ли Xenu проверять работоспособность ссылок. которые уводят за пределы нашего сайта? Если должен, то поставим отметку в поле Check External Links. Затем перечислим адреса, которые имеют прямое отношение к нашему сайту, хотя и не соответствуют URL главной страницы. Например, к "внутренним" страницам отнесем все те, адреса которых начинаются с http://bazila.net
    Кроме того, перечислим начала адресов, которые совсем не нужно проверять, например, адреса счетчиков ( http:// top100.rambler. ru ) или баннерных сетей ( http:// www. linkexchange. ru ).

    Все готово, можно начинать анализ гиперссылок. Скорость выполнения этой операции сильно зависит от заданных условий: по Сети исследование проводится гораздо медленнее, чем на локальном диске, и так далее. Но рано или поздно мы получим в главном окне программы список всех встреченных в указанной области поиска гиперссылок, подробную информацию о каждой из них и результирующий отчет в виде отдельного HTML-документа.

    В главном окне программы по каждой гиперссылке будет представлена следующая информация:

    • Адрес ссылки (URL). Кстати, можно настроить программу таким образом, что она будет показывать только неработающие ссылки из числа проверенных.
    • Статус. то есть, результат проверки. Статусов несколько:
      • ok – обозначает, что все в порядке, такие строчки окрашены в зеленый цвет.
      • no such host – по указанному адресу больше ничего нет, ссылка не работает, строчка окрашена в красный цвет.
      • skip type – так отмечаются ссылки, не подлежащие проверке, например, адреса электронной почты. Такие строчки окрашены в коричневый цвет.
      • user skip – Xenu обнаружил данную ссылку, но она исключена пользователем из области поиска. Цвет – коричневый.
      • Тип страницы, ее размер (в байтах), заголовок (содержимое тега <TITLE> или отметка о переадресации, redir ) и некоторую другую служебную информацию.

    На иллюстрации к этой программе приведен результат анализа. Выделенная строчка как раз содержит адрес, не ответивший на запрос Xenu. Вообще говоря, это не означает, что адрес "умер" навсегда. Вполне вероятно, что во время анализа произошел какой-то технический сбой в Сети. Однако звоночек прозвенел – адрес нужно проверить более тщательно, уже вручную. Может быть, имеет смысл связаться с владельцами данного сайта и узнать у них подробности происходящего.

    Кстати, Xenu предоставляет еще одну полезную возможность: отправки отчета об обнаруженных неработающих ссылках по электронной почте. Так что можно исследовать сайт своего друга и сообщить ему результаты исследования.

    Кроме того, есть функция обнаружения файлов-сирот (orphan ). Прежде чем запускать ее, Xenu спросит разрешения, затем зайдет на сервер и проверит, нет ли на нем файлов, на которые не ссылается ни одна страница вашего сайта. Такое часто бывает: владелец сайта удалил веб-страницу, а относящиеся к ней файлы – нет. Беда не слишком большая, но лишний мусор на сервере еще никому на пользу не пошел.

    Отдельно отмечу, что с помощью программы можно проверять даже страницы, доступ к которым осуществляется по безопасному протоколу SSL (адреса таких страниц начинаются с префикса https:// ).

    В заключение скажем об HTML-отчете, который выдает Xenu по результатам исследования. Он очень подробный и состоит из нескольких разделов:

    • Неработающие ссылки. отсортированные по адресам (URL).
    • Неработающие ссылки. отсортированные по страницам, на которых они встречаются.
    • Ссылки, которые работают, но с помощью функции редиректа перенаправляют посетителей на другие страницы. Редирект замедляет загрузку страниц, поэтому в некоторых случаях имеет смысл поставить ссылку сразу на прямой адрес.
    • Ссылки протоколов FTP и Gopher. Xenu. к сожалению, не проверяет такие ссылки на работоспособность. Однако, имея их полный список под рукой, пользователь может проверить их самостоятельно, вручную.
    • Список страниц, которые можно сообщить поисковым интернет-системам для индексации.
    • Карта (оглавление) сайта, в которой указаны не URL страниц, а их заголовки, то есть, содержимое тега <TITLE> .
    • Неработающие внутренние ссылки. то есть ссылки, которые должны вести на какие-то страницы нашего же сайта, а ведут "в никуда".
    • Список файлы-сирот (orphan ).
    • Обобщенная статистика исследования: сколько ссылок получили тот или иной статус в результате проверки.

    В настройках программы пользователь указывает, какие данные должны быть включены в результирующий отчет. Кроме того, есть возможность указать, сколько ссылок одновременно Xenu будет испытывать "на прочность" (от одной до ста) и на какую "глубину" он будет заглядывать (вплоть до уровня 999).

    Таким образом, после того как Xenu прошерстит указанную область поиска, в руках пользователя окажется вся информация, с помощью которой неработающие ссылки можно исправить или удалить с сайта. Эту операцию, конечно, придется выполнять вручную. Но так даже лучше, не правда ли?

    Интуитивно понятно, что несуществующие ссылки выделены красным цветом, а существующие — зелёным.

    В колонку “Address” заносятся адреса ссылок. Колонка “Status” показывается статус ссылок; в отчёте для сайта htmlbiz.ru мне попалось три варианта:
    404 ошибка — такой страницы не существует,
    500 ошибка — неправильно настроенный сервер,
    “no such host” — домен не существует, или не делегирован.

    В колонке “Type” показан тип содержимого таргетной страницы: это может быть html-документ, приложение, картинка, или ещё что-нибудь. Колонка “Size” в комментариях не нуждается. А колонка “Title” представляет собой список анкоров — достаточно полезная штука.

    “Level” — уровень вложенности страницы-акцептора (относительно главной страницы сайта). “in Links” и “Out Links” — количество входящих и исходящих ссылок соответственно.

    Колонка “Server” и все последующие колонки содержат техническую информацию.

    У программы Xenu есть отдельная кнопка «проверить все битые ссылки» — специально для случаев, когда отдельные сайты временно недоступны.

    Кстати говоря, этим её возможности не ограничиваются: Xenu позволяет экспортировать результаты в текстовый файл (к сожалению, кириллица обрабатывается некорректно), а также — что гораздо приятнее — составить карту сайта в xml-формате. Создание карты сайта будет полезно для небольших статических сайтов, которые, тем не менее, хотят, чтобы все их страницы были проиндексированы Гуглом и Яндексом.

    Системные требования:
    OS Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7


    Понравилась статья? Поделитесь в соцсетях и получите сюрприз!

    Xenu Link Sleuth - проверка структуры сайта

    Xenu Link Sleuth - проверка структуры сайта

    24 января 2012 г. Просмотров: 3561 Комментарии: 3
    Программы

    Xenu Link Sleuth интересный инструмент для анализа вашего сайта. Программа предназначена для поиска битых ссылок на сайте, она как поисковый паук анализирует все найденные ссылки. Если у вас на сайте большое количество статьей и в них может содержать ни одна ссылка и даже не две, а также изображения - программа их проверит и выдаст подробный результат по всем ссылкам и изображениям. А ведь вручную вы просто не справитесь с этой задачей.

    Программа бесплатная, с русифицированным меню, имеет простые настройки.

    Какую же пользу мы извлечем из этого программного продукта?

    1) Находим не уникальные заголовки (title).

    Каждая страница должна иметь уникальный тайтл, иначе страница будет фильтроваться как дублированный контент в поисковиках, или же отображаться как дополнительный результат. В специальном столбце Title можно увидеть заголовки всех страниц сайта.

    2) Находим страницы с большим временем отдачи.

    В столбце Duration можно найти информация о времени отдачи страницы сайтом, после чего ее можно оптимизировать, что положительно скажется на вашем сайте.

    3) Находим страницы с большим количеством исходящих ссылок.

    Программа показывает исходящие ссылки с каждой страницы. А за ними нужно следить, чтобы быть на хорошем счету у поисковиков.

    4) Уровень вложенности страниц

    Уровень вложенности не должен быть большим, чтобы обычный читатель сайта мог легко до нее добраться.

    5) Проверка входящих внутренних ссылок на страницу

    Так сказать проанализировать внутреннюю перелинковку. На какие страницы ваш сайт больше ссылается, а на какие вовсе по одной ссылке. Узнайте внутренний вес ваших страниц.

    6) Составляем карту сайта

    Для статических сайтов данная функция будет очень полезной. С помощью Xenu можно создать файл sitemap.xml.

    7) Картинки без тега ALT

    Атрибут ALT очень важен для оптимизации сайта, для нахождения вас по изображениям или для улучшения позиций в поиске.

    Принцип работы:

    После запуска программы мы увидим пустое окно с меню и панелью инструментов:

    Для проверки сайта, выбираем на панели инструментов крайнюю левую кнопку. Появиться окно, в котором необходимо ввести ваш адрес сайта. Также устанавливаем галочку "Проверять внешние ссылки".

    При нажатии на кнопку "Больше опций. " можно увидеть следующее окно настроек:

    Тут желательно установить поменьше потоков 3-5. Чтобы не нагружать сильно сайт.

    В панели "Отчет" можно настроить какие данные нужно добавить в результаты сканирования (html). В окне программы будут результаты не зависимо от этих настроек.

    Отчет после сканирование в формате html очень большой, и содержит множество статистических данных.

    Замеченный недостаток, это отображение русских заголовков страниц в кодировке win-1251 в неверной кодировке. А вот сайты заточенные под utf-8 нормально передают заголовки.

    Другой отчет представленный в окне программы имеет много столбцов с информацией по каждой странице и изображению:

    адрес ссылки, возвращаемый статус, mime-тип, размер, заголовок, уровень вложенности, кол-во внешних и внутренних ссылок, время отдачи страницы.

    Xenu - проверка исходящих и битых ссылок на сайте

    Сегодня хочу рассмотреть вопрос, о технической составляющей наших сайтов, и предлагаю каждому заглянуть под "капот" своего сайта или блога. Действительно ли с вашим сайтом все в порядке, как это кажется на первый взгляд? Поговорим о программе Xenu, которая поможет найти битые, исходящие и другие непригодные ссылки на вашем ресурсе.

    Программа Xenu - проводим технический аудит на сайте

    Приветствую, совсем я пропал и перестал заниматься своим блогом. Все больше ухожу в работу с коммерческими сайтами. Воспользуюсь небольшим перерывом и поделюсь полезной программой Xenu для Веб-мастеров, которая уже ни раз меня выручала. Работаю с ней уже довольно давно и постоянно применяю на практике.

    Используя программу Xenu вы можете найти все исходящие и битые ссылки на своем сайте.

    Коротко расскажу один интересный случай, который случился несколько месяцев назад. На одном из сайтов, над которым я работаю, в частности интернет-магазин произошел взлом. Моя коллега, большое ей спасибо, заметила в нескольких карточках с товаром, подозрительные ссылки на другие сайты. Данные ссылки никак не могут присутствовать на нашем ресурсе, так как мы его используем для клиентов. Сразу же запустили Xenu, на этом сайте довольно много страниц, поэтому проверка занимает примерно 1-2 часа.

    В конце проверки мы обнаружили порядка 20 исходящих ссылок, в том числе, на сайты 18+ и интернет-казино. Так же удалось вычислить злоумышленника, так как он оставил исходящую ссылку и на себя. Да, существует такая биржа в интернете, которая продает ссылки со взломанных сайтов, возможно кое-кто о ней слышал.

    В результате мы все почистили, так же нашли пару интересных скриптов и заменили пароли. Последствия были не сильно ощутимы, но потеряли немного трафик в Google, так как отреагировали примерно спустя неделю. Перейдем к практике.

    Проверка исходящих и внешних ссылок

    Основываясь на истории, которую я вам рассказал, если вы заподозрили, что с вашим ресурсом что-то не так (к примеру потеря позиций или трафика), советую периодически прогонять свой сайт или блог с помощью данной программы. Вы даже можете это сделать сейчас, в целях профилактики, вместе со мной.

    Первое, что мы с вами посмотрим, это как обнаружить внешние ссылки. Xenu вы можете скачать по ссылке программа для проверки внешних ссылок .

    1. Запускаем программу, вводим адрес нашего сайта и нажимаем ОК.

    Ждём пока робот, пробежит по всем нашим страничкам. В зависимости от того, на сколько много у вас страниц, сканирование длится от нескольких минут до нескольких часов.

    2. Как только робот обошел все страницы, мы видим список различных ссылок, которые присутствуют на нашем ресурсе. Для того, что бы было проще увидеть и найти исходящие ссылки с вашего сайта, сортируем ссылки по полю "Address". Смотрим на начало списка и конец, и вот наши внешние ссылки.

    В данном случае, я сам ставил эти ссылки и знаю, что вреда они никакого не несут. Но если вы увидели, что ссылка не ваша, необходимо ее найти и удалить.

    3. Для того, что бы быстро найти страницы откуда проставлена внешняя ссылка, необходимо при нажатии, правой кнопкой мыши по "плохой" ссылке выбрать "URL properties".

    • исходящую ссылку
    • анкор
    • страница, где находится ссылка

    Ищем битые ссылки на сайте с Xenu

    Теперь давайте проверим, есть ли на сайте битые ссылки, которые отдают 404 код и как их найти. Основная причина появления таких ссылок, это то, что адрес (URL) страницы, на которую ведет ссылка поменялся или страница удалена, а ссылка осталась. Так же есть и другие причины.

    4. Для того что бы найти битые ссылки, делаем сортировку в Xenu по полю "Status".

    При такой сортировке, вы так же сможете найти и ссылки по которым происходит редирект, что тоже очень полезно.

    Я рассказал вам основные два моменты по поиску внешних и битых ссылок на сайте с помощью Xenu. Программа является бесплатной и на сколько я знаю, уже довольно старая и не обновляется, но для нас главное, что работает.

    Так же я использую данную программу, при "первом знакомстве" с сайтом, которым начинаю заниматься.

    На этом все, если у вас есть другой интересный софт на данную тему, делитесь в комментариях!

    Игорь, спасибо за прогу! Скачал, поставил себе. До этого использовал на WordPress плагин Broken Link Cheker, а теперь буду совмещать. Отказался бы от плагина совсем, но он присылает письмо на почту, если появилась ссылка на 404 или т.п. т.е. очень удобно.

    Анатолий, пожалуйста! Я думаю, если тебе понадобиться проверить сайт на внешние и битые ссылки и он не на WordPress, то вариант с Xenu подойдет.

    Безусловно. На обеде еще и ноут личный достану и поставлю на него.

    Скачал. Проверил сайт. Есть пару красных полосок, в основном на файлы из темы, теперь еще бы разобраться как их решить!

    Если есть битые ссылки и это административный раздел, который не индексируется, то ничего страшного.

    Я пользовалась этой прогой, когда в старой теме исходящие вшитые искала. Нашла и обезвредила. Тоже пользуюсь плагином. Теперь узнала о новых возможностях с программой Xenu

    Игорь, большое искреннее спасибо за такую прогу! Я кажется нашел причину попадания моего блога под АГС =) На своём блоге нашел 17, внедренных без моего ведома, исходящих ссылок

    Пожалуйста, если исходящие ссылки ведут на ГС, тогда от них необходимо избавиться, как можно быстрее. Желаю скорейшего выхода из под фильтра!

    Отличная программа, время от времени стараюсь проверять свой сайт. -)

    программа супер, подскажите-находит несколько внешних ссылок, но не нахожу их в коде, как быть?

    Евгений, сходу не помогу. Но можете написать мне на любые контакты, с конкретным примером. Попробуем разобраться!

    Xenu - незаменимая вещь для оптимизатора. Самое удивительное, что программа бесплатна. Я бы еще советовал SeMonitor (более дружественный интерфейс). О нем довольно неплохо написано в книге "Поисковая оптимизация. Практическое руководство по продвижению сайта в Интернете"

    перенес сайт с движка на другой движок на тестовой площадке сделал импорт надо найти ссылки старого сайта (грубо говоря внешние ссылки и страницы откуда они вдут) может есть какой софт для такого анализа

    А эта программа, не подходит?

    Интересно. а если в графе "страница откуда ведёт ссылка" стоит чужой сайт, а анкор -редирект. Что это значит?

    вот это вот еще радует последнее время http://machinosum.com/ попробовал. но да, платная и англоязычная. всех благ

    А у меня вот такая проблема Этой прогой и раньше пользовался Все было ок Но вот прикупил домен русский Решил проверить сайт с русским доменом на битые ссылки и чуть не ошалел Что ни ссылка то битая Дело в том что ссылку прога в идит только в формате крокозябр ( например сайт/jdkjkkvnjclkjlk782467g jkgvbvjh ) А если я проставлял в тексте ссылку в виде сайт/русские буквы то он ее воспринимает как битую Может знаете прогу где можно проверить сайт с русским доменом?

    Попробуй Netpeak Spider, возможно они поддерживают русскоязычные домены.

    Популярные программы для Веб-мастеров

    Веб-мастер, оптимизатор, блоггер. Администрирую клиентские сайты, знаю #SEO и немного больше :)

    Инструменты

    Reg.ru - надежный хостинг провайдер

    Cackle - первая система комментирования с индексируемой микроразметкой рейтинга

    Как проверить сайт на битые ссылки

    Все о создании сайтов, блогов, форумов, интернет-магазинов, их продвижении в поисковых системах и заработке на сайте Как проверить сайт на битые ссылки — Xenu Link Sleuth, плагин Broken Link Checker, а так же возможности Яндекса и Google

    Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Битые ссылки — это не самая животрепещущая тема для вебмастера, ибо всегда найдется что-то более важное и значимое, чем вам будет предпочтительней заняться.

    Да и утомительно это — искать программу, расширение или онлайн сервис, где осуществляется проверка, а затем долго и муторно осуществлять правку найденных нерабочих гиперссылок на своем ресурсе.

    В принципе, гораздо проще забить на эту проблему, ибо маловероятно, что они присутствуют на вашем проекте в огромных количествах и их влияние вряд ли как-то скажется на отношение посетителей и поисковых систем. Или же все-таки скажется?

    Проверка битых ссылок в Яндекс и Гугл Вебмастерах

    Вопрос довольно интересный, ибо однозначной информации по этому поводу нет. Но если судить по тому, что в панелях для вебмастеров Яндекса и Google имеется раздел, где будут приведены все найденные нерабочие ссылки на вашем сайте, то это уже можно считать первым признаком того, что поисковикам они вовсе не по барабану.

    Думаю, что при большом их количестве поисковые системы могут посчитать этот ресурс заброшенным и понизить его в выдаче. Так ли это на самом деле я не знаю, но даже то, что битые ссылки представляют существенное неудобство для посетителей, может служить достаточно весомым аргументом к тому, чтобы всерьез задуматься об их выявлении и исправлении.

    Конечно же, сделать это вручную не представляется возможным даже на очень маленьких проектах, не говоря уже о больших порталах. Проверка — это прерогатива программных средств — ботов поисковых систем, онлайн сервисов или специально для этого написанных программ или расширений для используемого вами движка сайта.

    Но все равно, даже после того, как все нерабочие гиперссылки будут найдены, решение об их исправлении или удалении придется принимать именно вам, и по каждой из них в отдельности. Поэтому, если решитесь на данную проверку, на всякий случай запаситесь терпением и некоторым количеством времени.

    Если говорить о причине их появления на сайте, то в случае блога KtoNaNovenkogo.ru это в основном мои собственные ошибки при осуществлении ручной внутренней перелинковки, а так же внешние ссылки на ресурсы авторов комментариев, которые успели за это время кануть в лету.

    Присутствуют и другие варианты их появления. Вообще, причиной неработающих линков могут быть и изменения Урлов без использования 301 редиректа для склеивания нового адреса со старым, да и много других сугубо индивидуальных проблем.

    Как я уже упомянул чуть выше, существует несколько способов, с помощью которых можно проверить свой проект на наличие подобных изъянов. Самым очевидным мне кажется воспользоваться тем списком нерабочих ссылок, который собрали боты поисковых систем.

    В панелях вебмастеров Яндекса и Google можно будет узнать, на каких страницах и какие именно нерабочие гиперссылки были найдены, а затем, по возможности, внести необходимые исправления в админке своего проекта.

    Про работу с панелями для вебмастеров Яндекса и Google я уже довольно подробно писал, поэтому позволю себе лишь привести линки на эти материалы:

    1. Большущая статья по возможностям Яндекс Вебмастера находится тут
    2. Чуть менее подробная по Гугл Вебмастеру — здесь

    Давайте начнем проверку с инструментов для веб-мастеров от Google. Будем считать, что воспользовавшись приведенными выше материалами, вы уже добавили свой ресурс в панель Гугла, и теперь вам останется лишь пройти из левого меню в «Сканирование» — «Ошибки сканирования» :

    На открывшейся странице перейти на вкладку «Не найдено», где и будут сосредоточенны все нерабочие, по мнению Google, ссылки на вашем проекте. Но тут следует понимать, что поисковик рассматривает не только ваши внутренние линки, но и все внешние, что были проставлены с других ресурсов.

    Т.о. в списке не найденных документов будут присутствовать Урлы, полученные не только в результате ваших собственных ошибок при внутренней перелинковки, но и результаты ошибок тех пользователей, которые второпях поставили на вас ссылку со своего сайта или чужого форума, но не проверили ее работоспособность.

    Напротив каждого не найденного документа вы увидите код ошибки 404 (читайте про то, как удержать посетителя на странице «404 not found». что тоже может являться выходом из сложившегося положения). Посмотреть Урл страницы, которую Гугл не смог найти на вашем ресурсе, можно щелкнув по любой строке.

    Там же на вкладке «Ссылающиеся домены» вы можете найти страницы, с которых данная битая ссылка была проставлена.

    Если в открывшемся окне вы увидите адреса вебстраниц не вашего сайта, то исправить, скорее всего, ничего не сможете. Но если нерабочие гиперссылки были проставлены со страниц вашего же собственного ресурса, то нужно будет в админке найти требуемую статью и поправить, либо удалить некорректный линк.

    Думаю, что разберетесь, но наравне с панелью инструментов Google не примените посмотреть информацию о не найденных документах и в панели для вебмастеров от Яндекса, ибо их данные могут отличаться.

    В Яндекс Вебмастере вам нужно будет перейти в левом меню на «Индексирование сайта» — «Исключенные страницы». а в открывшемся окне выбрать вариант «HTTP-статус: Ресурс не найден (404)»:

    Вы увидите список всех найденных страниц с ошибкой 404, но нас интересуют только те варианты, где Яндекс нам готов указать на источники, с которых эта самая неработающая ссылка была проставлена (там будет стоять значок, показанный на скриншоте ниже).

    Щелкните по нему и вы сможете увидеть откуда ноги растут. Т.к. нет смысла пытаться поправить битые ссылки на сторонних ресурсах, то вам нужно выбрать вверху вариант «Внутренние»:

    Далее идете в админку своего ресурса, отыскиваете нерабочую гиперссылку и либо исправляете ее, либо удаляете, чтобы не вносила сумбур в работу отлаженного механизма.

    Проверка битых ссылок в программе Xenu Link Sleuth

    Я мог бы еще упомянуть в этой статье про ряд сервисов, позволяющих проверить битые линки онлайн, но, к сожалению, я так и не нашел достойного бесплатного решения, а пробовать платные у меня как-то рука не поднялась. На бесплатных же проверить можно очень ограниченное число страниц, а следовательно, актуальность такого способа весьма сомнительна.

    Но можно ведь использовать не только онлайн сервисы, но и программы, которые будут установлены на ваш компьютер. Одной из самых популярны и, что очень важно, бесплатных программ для проверки битых ссылок является Xenu Link Sleuth, о которой я и хочу вам рассказать.

    Итак, сначала вам нужно будет скачать Xenu Link Sleuth и установить на свой компьютер.

    После ее запуска выберите из меню «File» — «Check URL» и в открывшемся окне введите URL вашего ресурса, поставьте галочку «Check external links» (для проверки на битость не только внутренних линков вашего ресурса, но и ссылок, ведущих с него на другие ресурсы) и нажмите «ОК».

    В результате программа Xenu Link Sleuth начнет искать и анализировать все внутренние и внешние (проставленные с вашего ресурса, например, на сайты авторов комментариев) ссылки. Все найденные неработающие гиперссылки в результирующем отчете будут помечены соответствующим образом (не найдено, не удалось связаться и т.д.).

    Сам по себе отчет представляет неоценимый интерес не только с точки зрения ошибок 404, но нас в первую очередь интересует именно это. В окне Xenu Link Sleuth имеется возможность отсортировать весь список по ряду табуляторов, которые находятся в самом верху.

    Для проверки именно битых ссылок нужно будет воспользоваться табулятором «Status», в результате чего все помеченные красным строки будут собраны в одном месте списка.

    Для того, чтобы узнать, а на какой именно странице вашего сайта проставлена неработающая гиперссылка, вам нужно щелкнуть по ней правой кнопкой и выбрать из контекстного меню вариант «URL Properties» :

    В самом низу открывшегося окна вы увидите список адресов страниц вашего сайта, на которых была найдена данная битая ссылка. Вам останется только зайти в админку своего ресурса и провести необходимую правку.

    Но, как я уже упоминал чуть выше, программа Xenu Link Sleuth, при должном подходе и сообразительности, способна предоставить намного больше информации. Если вы поэкспериментируете с другими табуляторами программы, то сможете получить следующую информацию о вашем сайте из этого отчета:

    1. если вы попробуете отсортировать данные в окне программы по табулятору «Title», то таким способом можете найти страницы своего сайта, имеющие дублированные заголовки Title или не имеющие их вовсе
    2. с помощью табулятора «Size» можно найти слишком тяжелые страницы своего проекта, которые будут долго загружаться
    3. с помощью табулятора «In Links» можно узнать количество входящих ссылок на любой документ своего ресурса, а из контекстного меню (щелчок правой кнопкой и выбор самого нижнего пункта в открывшемся меню) можно будет узнать и адреса страниц, ссылающихся на этот документ
    4. с помощью сортировки табулятором «Out Links» в окне отчета программы Xenu Link Sleuth сможете узнать количество исходящих ссылок с той или иной страницы своего ресурса, а из контекстного меню — посмотреть, на какие именно страницы проставлены ссылки
    5. отсортировав по табулятору «Type», можно найти изображения не имеющие тега Alt
    6. табулятор «Level» позволит просмотреть вложенность тех или иных страниц вашего сайта

    В общем, Xenu Link Sleuth имеет просто неоценимую значимость. Кроме этого, для статического сайта она может построить карту, которую потом можно будет подсунуть поисковым системам для ускорения индексации.

    Также Xenu Link Sleuth по результатам проверки может сформировать очень удобный отчет в виде Html странички, где можно будет в удобоваримом виде просмотреть все вебстраницы своего проекта, имеющие битые ссылки и увидеть упомянутую выше карту.

    Для создания отчета вам нужно выбрать в меню программы пункты «File» — «Report» или просто нажать R на клавиатуре. В верху страницы с отчетом будет расположено меню с разделами:

    Поиск ссылок в WordPress с помощью Broken Link Checker

    Если у вас блог на движке WordPress, то возможно вам будет удобнее воспользоваться плагином Broken Link Checker для проверки неработающих гиперссылок.

    Он может осуществлять повторную проверку через указанный вами промежуток времени, прекращать свою работу в моменты, когда сервер вашего хостинга сильно нагружен, и, что самое важное, позволяет исправлять или удалять битые ссылки прямо из своего окна, не требуя захода в окно редактирования статей.

    Итак, скачала вам нужно будет скачать Broken Link Checker и установить этот плагин на WordPress стандартным образом. Если возникнут с этим проблемы, то можете обратиться к этому материалу.

    Сразу после установки он начнет работать и сканировать ваш блог на наличие битых ссылок. Зайдя на страницу настройки этого плагина («Параметры» — «Проверка ссылок») в админке Вордпресса, вы сможете увидеть, сколько гиперссылок уже нашел Broken Link Checker на вашем блоге, а также сделать необходимые настройки.

    Здесь вы можете задать частоту повторного сканирования, попросить посылать вам сообщение на E-mail при обнаружении недоступной страницы, а также попросить плагин выделять найденные гиперссылки с помощью особого стиля CSS.

    Но у Broken Link Checker есть еще несколько вкладок с настройками. На вкладке «Look For Links In» вы можете задать, в каких именно материалах вашего блога он будет осуществлять поиск, а на вкладке «Which Links To Check» указать, ссылки с каких объектов будут проверяться.

    На вкладке «Дополнительно» вы можете максимально минимизировать нагрузку этого плагина на сервер хостинга, ограничив время поиска и задав порог загруженности сервера, при превышении которого он прервет свою работу.

    По мере проверки будет предоставляться отчет о проделанной работе и найденных битых ссылках, который вы сможете посмотреть, перейдя в меню админки WordPress в «Инструменты» — «Неправильные линки».

    Здесь у вас будут богатые возможности по работе с ними, причем все, что вам может потребоваться (отредактировать, удалить ее, перейти к материалу, в котором проставлен данный линк), будет возможно сделать прямо отсюда, никуда не переходя и ничего не ища:

    В этом и состоит, на мой взгляд, основное преимущества плагина Broken Link Checker. Думаю, что для Joomla тоже должны существовать аналогичные расширения, но я, к сожалению, с ними пока не знаком. Если у кого то есть наработки в этой области, просьба отписаться в комментариях. Спасибо.

    Удачи вам! До скорых встреч на страницах блога KtoNaNovenkogo.ru