И sitemap

Файл robots.txt - текстовый файл, содержащий в себе указания для поисковых роботов. В нем можно прописать запрет на индексацию той или иной страницы сайта. Причем, запрет этот будет ограничен лишь выбранной вами поисковой системы.

Имя этого файла, robots.txt. обязательно должно быть прописано маленькими буквами. ROBOTS.txt или Robots.txt – это неправильное написание имени файла.

Сам файл должен находиться в корневой директории сервера.

Допускаются комментарии, которые всегда следуют после знака ”#”. А заканчиваются комментарии окончанием строки. Комментарии пишутся по вашему желанию, можно составить robots.txt и без комментариев.

Например, для сайта http:// xxx.ru

User – agent: Yandex
Disallow: /contacts/
Disallow: /address.html
# Запрещает ботам Yandex посещать папку http:// xxx.ru/contacts/
# Запрещает запрашивать файл http:// xxx.ru/address.html

User – agent – это имя бота, для которого применяются правила исключения, описанные в файле robots.txt. Вполне возможно, что строк User –agent будет несколько, прописывать их необходимо каждый с новой строки.

User – agent: Yandex
User – agent: Googlebot

Для описания правил индексации ботами, для которых в файле robots.txt не сделана отдельная запись, применяют параметр “*”. В файле robots.txt может быть лишь одна запись с этим параметром.

User – agent: *
Disallow:

Ботам всех поисковых систем разрешено индексировать все файлы, страницы и т.д.

Disallow – в данном поле прописывают частичный или полный путь к тому месту на сайте, посещение которого для ботов поисковой системы запрещено .
Если запретов и исключений несколько, то следует каждое описать с новой строки. В любом файле robots.txt. каким бы он ни был, всегда должно присутствовать хотя бы одна запись disallow.

• Имя файла robots.txt с маленькой буквы. Файл текстовый, можно создать его с помощью блокнота Windows.
• Размещается в основной директории сервера.
• Должен содержать минимум одну запись User – agent и минимум одну запись Disallow .
• Поле User – agent не должно оставаться пустым.

Некоторые системы поддерживают дополнительное поле для robots.txt, такое как Host. в Yandex, для определения основного зеркала сайта.

User – agent: Yandex
Disallow: /image/
Host: http:// xxx.ru
# Запрет боту Yandex на индексирование папки http:// xxx.ru/image/
# основным зеркалом назначено http:// xxx.ru

Карта сайта – это форма дополнительной навигации по сайту. С её помощью пользователь может передвигаться по сайту, не использую навигацию сайта.

Карта (Sitemap ) – всего лишь помощь “заблудившемуся” посетителю, модель структуры сайта, целиком размещенная на одной странице.

Как прописать sitemap в robots.txt

User – agent: *
Disallow:
Sitemap: http://www.xxx.ru/sitemap.xml

Здесь тоже разрешено ботам всех поисковых систем индексировать все файлы, папки и страницы. Кроме этого, указывается расположение карты сайта (Sitemap ) в формате .xml.

Отношение web-мастеров к Sitemap самое разнообразное. Одни считают, что без неё поисковые системы плохо индексируют сайт. другие уверены, что наличие карты сайта негативно сказывается на индексации.

Создать её можно либо самостоятельно, либо воспользоваться бесплатным сервисом. который сам на основе существующего сайта, создаст вам Sitemap. в том числе - и в формате .xml.

Проектирование и изготовление флешек и зажигалок на заказ. Используемые материалы - медь, латунь. Моддинг флешек выполняется в Steampunk (стимпанк) стилизации.

По всем интересующим вас вопросам можно обратиться ко мне ВКОНТАКТЕ

Добавлены новые авторские статьи в соответствующий раздел.

Продвижение по низкочастотным запросам. НЧ, СЧ, ВЧ запросы.

АГС 30. Алгоритм фильтрации сайтов от Яндекса.

Вирусный маркетинг. Теория быстрой раскрутки.

Снежинск. Работа с новым поисковым алгоритмом Яндекса.

Советы по оптимизации картинок .

‘Noindex’ и ‘nofollow’. Особенности использования <noindex> и ’nofollow’

XML DOM

Объектная модель документа (DOM) определяет стандартный способ доступа к элементам документа и манипулирования ими.

XML DOM определяет стандартный способ доступа к элементам XML документа и манипулирования ими.

XML DOM представляет XML документ в виде древовидной структуры.

При помощи дерева DOM можно получить доступ ко всем элементам документа. Можно изменять и удалять содержимое (текст и атрибуты) элементов, создавать новые элементы. Элементы, их текст и атрибуты формируют, так называемые, узлы DOM.

HTML DOM определяет стандартный способ доступа к элементам HTML документа и манипулирования ими.

При помощи дерева HTML DOM можно получить доступ ко всем элементам HTML документа.

В следующем примере парсится XML документ в объект XML DOM, из которого затем при помощи Javascript извлекается некоторая информация:

<html>
<body>
<h1>Заметка</h1>
<div>
<b>Кому:</b> <span id="to"></span><br />
<b>От:</b> <span id="from"></span><br />
<b>Сообщение:</b> <span id="message"></span>
</div>

<script>
if (window.XMLHttpRequest)
xmlhttp=new XMLHttpRequest();
>
else
xmlhttp=new ActiveXObject("Microsoft.XMLHTTP");
>
xmlhttp.open("GET","note.xml",false);
xmlhttp.send();
xmlDoc=xmlhttp.responseXML;

Важное замечание!
Чтобы извлечь текст "Tove" из элемента <to> XML файла, используется следующее выражение:

Обратите внимание, что даже если в XML файле присутствует только ОДИН элемент <to>, все равно необходимо использовать индекс массива [0]. Это объясняется тем, что метод getElementsByTagName() возвращает массив.

В следующем примере парсится XML строка в объект XML DOM, из которого затем при помощи Javascript извлекается некоторая информация:

<html>
<body>
<h1>Заметка</h1>
<div>
<b>Кому:</b> <span id="to"></span><br />
<b>От:</b> <span id="from"></span><br />
<b>Сообщение:</b> <span id="message"></span>
</div>

<script>
txt="<note>";
txt=txt+"<to>Tove</to>";
txt=txt+"<from>Jani</from>";
txt=txt+"<heading>Напоминание</heading>";
txt=txt+"<body>Не забудь обо мне в эти выходные!</body>";
txt=txt+"</note>";

if (window.DOMParser)
<
parser=new DOMParser();
xmlDoc=parser.parseFromString(txt,"text/xml");
>
else // Internet Explorer
<
xmlDoc=new ActiveXObject("Microsoft.XMLDOM");
xmlDoc.async=false;
xmlDoc.loadXML(txt);
>

В следующем примере мы открываем XML файл и затем в цикле обходим каждый элемент CD и отображаем значения элементов ARTIST и TITLE в таблице HTML:

<script>
if (window.XMLHttpRequest)
xmlhttp=new XMLHttpRequest();
>
else
xmlhttp=new ActiveXObject("Microsoft.XMLHTTP");
>
xmlhttp.open("GET","cd_catalog.xml",false);
xmlhttp.send();
xmlDoc=xmlhttp.responseXML;

document.write("<table border='1'>");
var x=xmlDoc.getElementsByTagName("CD");
for (i=0;i<x.length;i++)
<
document.write("<tr><td>");
document.write(x[i].getElementsByTagName("ARTIST")[0].childNodes[0].nodeValue);
document.write("</td><td>");
document.write(x[i].getElementsByTagName("TITLE")[0].childNodes[0].nodeValue);
document.write("</td></tr>");
>
document.write("</table>");
</script>

Карта сайта

Продолжаем тему, посвящённую скорейшей и качественной индексации вашего сайта. Предположим, что вы уже зарегистрировали свой сайт в самых известных поисковых системах интернета.

Что дальше? Сидеть и ждать? Нет. Мы не из тех, кто будет сидеть, и дожидаться, когда-же добрый робот-поисковик дойдёт до нашего сайта и полностью проиндексирует все его страницы. Мы будем ему в этом нелёгком деле помогать. Но помогать мы будем не добрым словом, а прямым и очень результативным действием. Мы создадим файлы Sitemap.

Сервис для создания карты сайта

Sitemap (дословно - централизованная карта) – это файл, содержащий дополнительную информацию для поискового робота о вашем сайте. Информацию о том, сколько страниц содержит ваш сайт, какие страницы имеют большую значимость по сравнению с другими. Также Sitemap помогает роботу быстрее добраться до страниц, требующих несколько линковых переходов.

Самые популярные поисковые системы, для которых обычно и рекомендуется создавать карту сайта это Яндекс и Google. О других системах здесь говорить не буду. Так вот; и русский Яша, и его американский друг Гугл поддерживают Sitemap-файлы форматов .xml и .txt. То есть конечная форма будет выглядеть следующим образом: sitemap.xml и sitemap.txt (или так: urllist.txt) соответственно.

Если вы не являетесь большим специалистом в деле написания файлов sitemap, то я могу порекомендовать вам отличный (без преувеличения) и что немаловажно абсолютно бесплатный сервис (в отличии от интернет–предложений от 700 рублей): Create your Google Sitemap Online - XML Sitemaps Generator ( www.xml-sitemaps.com ). дающий гарантию индексации вашего сайта в течение недели. И единственный недостаток его состоит в том, что он на английском языке. Но это, ни в коем случае не является препятствием.

Даже не зная английского, вы без труда – интуитивно поймете, куда вставить URL-адрес вашего сайта, так же увидите, где кнопка старт (Start), и без труда через минуту скачаете готовые файлы- sitemap весом всего в несколько килобайт.

Можно ли txt перевести в xml? и если да, то как?

Alex Мыслитель (8194) 5 лет назад

Да, можно. Парсишь txt и формируешь xml :)

intro-nikol Мастер (1668) 5 лет назад

Например текстовый файл (sample.txt) содержит текст
Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

тогда правильно построенный XML-файл (sample.xml) будет выглядеть например так:

<text>
<paragraph>Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.</paragraph>
</text>
В Википедии все достаточно понятно объясняется http://ru.wikipedia.org/wiki/XML

XML - XSLT

Откуда:
Сообщений: 92

В файл должны быть добавлены значения атрибутов элементов схемы из тэгов TfrElemView (каждый с новой строки) в следующем формате:
"<file>","<nm>",<dx>,<dy>,<n>,<id>,<deg>
,где <file> - имя преобразуемого файла без расширения,
<nm> - значение атрибута nm
<dx> - значение атрибута dx
<dy> - значение атрибута dy
<n> - значение атрибута n, либо пустая строка
<id> - значение атрибута id, либо пустая строка
<deg> - значение атрибута deg, либо пустая строка

Количество добавленных записей должно соответствовать количеству тэгов TfrElemView в исходном файле.

Откуда:
Сообщений: 92

а как офрмить, что бы формировалось в таком формате, а не в одну строку -

Element1, 16, 32, 3, 125, 90
Element2, 16, 48, 2, 234, 90
Element3, 48, 16, 1, 234,
Element4, 32, 16. 100,
Element5, 16, 16. 0,
Element6, 16, 16. 0,
Element7, 16, 16. 1, 270
Element8, 16, 16. 3, 270
Element9, 16, 16. 3, 270
Element10, 16, 16. 16,
Element11, 16, 16. 16,
Element12, 16, 16. 16, 180
Element13, 16, 16. 20,
Element14, 16, 16. 20,
Element15, 16, 16. 20,
Element16, 16, 16. 20,
Element17, 16, 16. 22, 90
Element18, 16, 16. 31,
Element19, 16, 16. 68, 180
Element20, 16, 16. 68, 180
Element21, 16, 16. 68,

Re: XML - XSLT - TXT [new]

Вставьте, где нужно, разрыв строки

Re: XML - XSLT - TXT [new]

епт, там между тэгами должно быть

Re: XML - XSLT - TXT [new]

Да твою ж налево. &# x0a; (без пробелов)

Re: XML - XSLT - TXT [new]

Откуда:
Сообщений: 92

Re: XML - XSLT - TXT [new]

Откуда:
Сообщений: 92

Подскажите, как правильно синтаксис писать - требуется сохранять в файл,например txt, результат xsl

Re: XML - XSLT - TXT [new]

Откуда: ☭
Сообщений: 47975

Непонятен смысл вопроса. XSL ничего не знает про файлы.

Re: XML - XSLT - TXT [new]

Откуда:
Сообщений: 92

а вот это код что делает, я предположил, что выводит в файл результат

Re: XML - XSLT - TXT [new]

Откуда:
Сообщений: 3077

Это из XSLT 2.0 для которого нужен соответствующий парсер.

Re: XML - XSLT - TXT [new]

Откуда:
Сообщений: 92

так все таки можно формировать файл результата xsl. и как

Re: XML - XSLT - TXT [new]

Откуда:
Сообщений: 3077

bamper78, написать программу выполняющую преобразование и сохраняющую результат в файл или взять готовую.

Объявление директивы Sitemap в

Файл robots.txt служит для объявления ссылки на XML-файл(ы) карты сайта. Данная директива предназначена для уведомления поисковых роботов о наличии карты сайта в специальном формате XML Sitemaps.

После того как Вы создали и загрузили XML-файл Sitemap на веб-сервер.

Когда следует обновлять директивуSitemap?

Обновлять директиву следует только в том случае, когда действующий URL файла Sitemap изменился. В случае, если Sitemap обновился, но его URL остается прежним, никаких дополнительных действий производить не нужно.

Для того чтобы добавить директиву о наличии файла Sitemap в robots.txt следует добавить такую строку:

– это полный URL Вашего файла XML Sitemap (например: sitemap.xml).

В итоге, robots.txt у Вас должен получиться такого вида:

User-Agent: *
Sitemap: httр://mysite.com/sitemap.xml

В случае если Вам нужно обновить директиву – достаточно заменить имеющуюся в robots.txt строку:

Что делать если robots.txt содержит несколько секций (User-Agent)?

Если Вы используете различные директивы для разных поисковых роботов, Вам следует добавить директиву Sitemap в каждую из них (либо в те из них, соответствующим поисковым роботам которых, Вы хотите передать информацию о Sitemap).

В итоге, robots.txt у Вас должен получиться такого вида:

# Для всех, кроме Google и Yandex
User-Agent: *
Sitemap: httр://mysite.com/sitemap.xml

# будет использована роботами Яндекса
User-Agent: Yandex
Sitemap: httр://mysite.com/sitemap.xml

# будет использована роботами Google
User-Agent: Googlebot
Sitemap: httр://mysite.com/sitemap.xml

Конвертер ТХТ или JTV в - Форум NeoBook

200?'200px':''+(this.scrollHeight+5)+'px');"> Вот как раз сложность и состоит в том что бы понять как функционирует конкретный документ, вложенный и древообразный.

Не думаю, что автор ради конвертера будет изучать тонкости xml. Ему, надоело наверное в ручную копи-пастить вот он и хочет заменить эту процедуру, вот потому я и написал, что сложного в этом нет

200?'200px':''+(this.scrollHeight+5)+'px');"> SetVar "[nachalo]" "<?xml version='1.0' encoding='utf-8' ?>[#13]<!DOCTYPE tv SYSTEM 'http://www.teleguide.info/xmltv.dtd'>[#13]<tv [info]>[#13]"
Loop "1" "20" "[i]"
SetVar "[telo]" "[telo]<channel id='[i]'>[#13]<display-name lang='ru'></display-name>[#13]<icon src='http://www.teleguide.info/img/channel/[i].gif' /></channel>[#13]"
EndLoop
SetVar "[konec]" "</tv>"
FileWrite "XMLTV.xml" "All" "[nachalo][telo][konec]"

Я так понял задумку проекта автора, но возможно Woha28, подразумевал что то более серьезное, тогда, как сказал Alex3A

200?'200px':''+(this.scrollHeight+5)+'px');"> сложность и состоит в том что бы понять как функционирует конкретный документ, вложенный и древообразный.

изучать эту "кухню" и googl в помощь

Добавлено (19 Декабрь 2009, 00:22)
---------------------------------------------
Woha28. а чем не устраивает программка, которая идет в комплекте.

200?'200px':''+(this.scrollHeight+5)+'px');"> Технически, если знаеш что делать, а если впервые это видиш, то совсем другое дело.

Ну да, если он этот документ в первые увидел, когда на форум заливал, тогда возникнут друдности.

Сообщение отредактировано
sp3d - Сб, 19 Декабря 2009, 00:32

200?'200px':''+(this.scrollHeight+5)+'px');"> Вот как раз сложность и состоит в том что бы понять как функционирует конкретный документ, вложенный и древообразный.

Не думаю, что автор ради конвертера будет изучать тонкости xml. Ему, надоело наверное в ручную копи-пастить вот он и хочет заменить эту процедуру, вот потому я и написал, что сложного в этом нет

200?'200px':''+(this.scrollHeight+5)+'px');"> SetVar "[nachalo]" "<?xml version='1.0' encoding='utf-8' ?>[#13]<!DOCTYPE tv SYSTEM 'http://www.teleguide.info/xmltv.dtd'>[#13]<tv [info]>[#13]"
Loop "1" "20" "[i]"
SetVar "[telo]" "[telo]<channel id='[i]'>[#13]<display-name lang='ru'></display-name>[#13]<icon src='http://www.teleguide.info/img/channel/[i].gif' /></channel>[#13]"
EndLoop
SetVar "[konec]" "</tv>"
FileWrite "XMLTV.xml" "All" "[nachalo][telo][konec]"

Я так понял задумку проекта автора, но возможно Woha28, подразумевал что то более серьезное, тогда, как сказал Alex3A

200?'200px':''+(this.scrollHeight+5)+'px');"> сложность и состоит в том что бы понять как функционирует конкретный документ, вложенный и древообразный.

изучать эту "кухню" и googl в помощь

Добавлено (19 Декабрь 2009, 00:22)
---------------------------------------------
Woha28. а чем не устраивает программка, которая идет в комплекте.

200?'200px':''+(this.scrollHeight+5)+'px');"> Технически, если знаеш что делать, а если впервые это видиш, то совсем другое дело.

Ну да, если он этот документ в первые увидел, когда на форум заливал, тогда возникнут друдности. Автор - Сергей
Дата добавления - 19 Декабря 2009 в 00:24

200?'200px':''+(this.scrollHeight+5)+'px');"> Другими словами, это более умный и навороченный ини файл, или своеобразная база данных.

да с этим все понятно
меня интересует откуда он взял этот файл, и зачем ему этот конвертор из .тхт в .xml.
не проще ли качать сразу готовый на неделю и ложить в нужную папку.
причем в программе должна быть настройка по автоматическом скачивании тв-программки и все это делается автоматом

200?'200px':''+(this.scrollHeight+5)+'px');"> Надо вначале разобраться чего и откуда из хмл читает эта прога и как это соотносится с каналами.

это(<channel id="1">. </channel>)грузится типа меню каналов с описанием и иконкой, это(<programme start=". " stop=". 0" channel="1">. </programme >)сама телепрограммка а сортируется по вот этой(channel="1")переменной

200?'200px':''+(this.scrollHeight+5)+'px');"> <tv>
<!--для меню-->
<channel id="1">
<display-name lang="ru">Первый канал</display-name>
<icon src="http://www.teleguide.info/img/channel/1.gif" />
</channel>
<!--тв-программа-->
<programme start="20091221050000 +0300" stop="20091221050500 +0300" channel="1">
<title lang="ru">Новости</title>
</programme>
<programme start="20091221050500 +0300" stop="20091221090000 +0300" channel="1">
<title lang="ru">Телеканал "Доброе утро"</title>
</programme>
</tv>

Сообщение отредактировано
sp3d - Вс, 20 Декабря 2009, 11:38

200?'200px':''+(this.scrollHeight+5)+'px');"> Другими словами, это более умный и навороченный ини файл, или своеобразная база данных.

да с этим все понятно
меня интересует откуда он взял этот файл, и зачем ему этот конвертор из .тхт в .xml.
не проще ли качать сразу готовый на неделю и ложить в нужную папку.
причем в программе должна быть настройка по автоматическом скачивании тв-программки и все это делается автоматом

200?'200px':''+(this.scrollHeight+5)+'px');"> Надо вначале разобраться чего и откуда из хмл читает эта прога и как это соотносится с каналами.

это(<channel id="1">. </channel>)грузится типа меню каналов с описанием и иконкой, это(<programme start=". " stop=". 0" channel="1">. </programme >)сама телепрограммка а сортируется по вот этой(channel="1")переменной

200?'200px':''+(this.scrollHeight+5)+'px');"> <tv>
<!--для меню-->
<channel id="1">
<display-name lang="ru">Первый канал</display-name>
<icon src="http://www.teleguide.info/img/channel/1.gif" />
</channel>
<!--тв-программа-->
<programme start="20091221050000 +0300" stop="20091221050500 +0300" channel="1">
<title lang="ru">Новости</title>
</programme>
<programme start="20091221050500 +0300" stop="20091221090000 +0300" channel="1">
<title lang="ru">Телеканал "Доброе утро"</title>
</programme>
</tv>

Автор - Сергей
Дата добавления - 20 Декабря 2009 в 11:21