Індекс пошукової машини - це база даних мережевих ресурсів, яка постійно оновлюється і модифікується з урахуванням того, наскільки часто пошукові боти виявляють нові сторінки або зміни у вже існуючих сайтах.
Зміна - це зміна контенту, поява нового посилання або зміна системи посилань. Якщо сайт новий, то необхідно якийсь час, що б він був проіндексований пошукачем - тільки після цього можна сподіватися зустріти його в результатах пошуку. Період індексації займає від 2 днів до двох тижнів і тут все залежить від конкретної пошукової системи.
Наприклад, за статистичними даними, найвища швидкість індексації у Googl'а. Індексація відбувається наступним чином - бот знаходить сторінку і порівнює її вміст з тим, що йому про неї відомо.
Якщо сторінка тільки народилась на світ, то вона з'являється в індексі, як нова сторінка, якщо ж у ній старий контент, то бот відправляється по своїх справах далі і нічого не робить. Схематично все виглядає просто.
Але для того, що б сайт максимально був проіндексований, необхідно створити дружній для бота інтерфейс, а це значить - код сайту повинен задовольняти параметрам, які дозволять боту забратися по посиланнях з Index-сторінки в глиб сайту. Для цього треба прагнути дотримуватися ряду умов, серед яких треба назвати, по-перше, глибину посилань. Дуже добре індексуються сторінки, де, навіть до найдальшої, можна дістатися за три переходи з головної, а якщо такої можливості немає, то корисно створити карту сайту.
По-друге, якщо Ви хочете, щоб була проіндексована вся сторінка цілком, то вигідно її робити не дуже об'ємною, тому бот індексує тільки перші 100-200 кб. тексту. Ну й у третіх - пошукачі не завжди розуміють скрипти і, якщо навігація ними перевантажена, то бот, швидше за все, не стане добре індексувати сайт в глибину. Тому, доцільно зробити альтернативні html-посилання. Наостанок треба сказати, що чим більше зовнішніх посилань має сайт, тим швидше він буде переіндексувати.