SEOSpyder

[PeterS]

ВАЖНО: Ако нямате Mac или не работите под OSX прескочете - софтуера не е за вас...

В процеса на създаване на сайт и неговото ежедневно поддържане човек (или не дай си боже екип) винаги се стига до един специфичен момент когато страници се променят/изтриват/преместват, но препратките към старите страници стоят което води до неизбежното "грешка тип 404". До същата ситуация се стига и когато външен препратка в сайта води до 404. Затова често-често SEO оптимизаторите пускат анализ на целия сайт под специфични софтуери за да се засекат тези грешки, особенно откакто Google почнаха да наказват за подобни деяния.

Има определен набор от инструменти за проверка на сайта било то настолни или облачни. За съжаление тук потребителите на Windows са по-облагодетелствани от нас защото разполагат с доста повече инструменти за целта. Особенно използван инструмент за целта е Xenu.

През 2011 създадохме малък интрумент за проверка на нашия сайт който беше едно малко и грозно патенце, но си вършеше работата доста добре. В момента софтуера е вече красив и грациозен лебед и е вече готов за представяне.

След прибавяне на линк започва обхождането му. На горната снимка можете да видите резултата от проверката на блога ми: http://peter.nikolow.me/ Докато работи софтуера обхожда всички линкове към специфичния сайт и до 1-во ниво от външните линкове.



Резултатите са филтрирани по файлове - HTML, картинки, CSS, JS, RSS както и по типа на отговора - 2ХХ, 3ХХ, 4ХХ, 5ХХ и други (тук попадат разни javascript елементи, mailto, ftp и др. такива).

След приключване на обхождането резултатите може да се експортират към CSV, sitemap (xml) както и в GraphVZ (универсален файлов формат за показване на графи с отворен код).

Молбата ми е - пуснете го и ако имате проблеми/препоръки или мнение го споделете. ВСЕ още има разни дребни забележки и проблеми тук-там затова се нуждаем от вашата помощ. Всички тестери ще получат копие от финалния продукт когато бъде готов и имената им ще бъдат записани в приложението.

Линка за смъкване на приложението е тук: http://cloud.mobiliodevelopment.com/SEOSpyder/SEOSpyder-0-12.zip Приложението работи на OSX 10.6, 10.7 и 10.8

[bluesky]

Много добра идея!

От есента, (максимум зимата), планирам сайт - ето един полезен и нужен инструмент.

[ggzy]

Пиши ме тестер. С Маджентото издържа една минута и крашна. Имам лог от грешката ако си заинтересуван.

[Petar Jamby]

С Маджентото издържа една минута и крашна.

При мен си ги парсна без проблем, около 200+ линка.

Може би би било добре да има по видими индикации кога е завършила обработката. В момента, светва червена точка, и в началото се чудех дали не е грешка или нещо друго.

[PeterS]

@ggzy

Дай ми на лични линка към Магентото. Тук работи с часове и парсва без проблем 10к линка, а един тестер е опердашил 30к без проблем.

@jamby77

Горе има едни точки - червена когато не работи и 2 зелени когато работи. Може би трябва да направим зелените по-ярки, а червената по-ненатрапчива.

Отделно - има бутон Run и такъв Stop. Само единия е активен което показва дали работи...

[Petar Jamby]

Здравейте, точките ги видях, това което имах предвид е да са малко по очевидни, и да има нещо от рода на сигнал когато превърши работа, все пак ако са хиляди линкве, може да му отнеме малко време докато приключи работа.
При такъв случай едно звуково напомняне би било на място.

[PeterS]

@jamby77

Само да оправим едно креширане и ще добавя това.

[PeterS]

Така... вече сме на по-нова версия - 0.17

Промени:
 - добавена е възможност за избор на user agent; вече може да се маскирате дори като googlebot, други ботове или браузъри включително и мобилни!
 - добавена е възможност за работа с чуждоезикови домейни - idn; например http://цени.net/
  - добавена е възможност за използване на base tag-a ако съществува
 - отстраннени са няколко много досадни проблема със срив на цялото приложение; ако все пак ви крешира свържете се с мен и споделете версия на операционната система както и сайта който обработвате
 - отстранени са няколко проблема свързани с подаване на параметри към url-i
 - отстранен е проблем когато url-a е частично написан на кирилица

Новата версия може да бъде смъкната оттук:
http://cloud.mobiliodevelopment.com/SEOSpyder/SEOSpyder-0-17.zip
ИЛИ просто изберете от менюто Check for updates ако разполагате с по-стара такава.

Не забравяйте, че е в тестов период и са възможни проблеми. Ако намерите такъв или видите нещо което според вас не е правилно не се колебайте са се свържете с нас.

[PeterS]

И версия 1.0 е вече на линия. Можете да си я смъкнете оттук:
http://www.mobiliodevelopment.com/seospyder/

Безплатната версия има едно ограничение на линковете, но това не пречи да проверите дали софтуера е подходящ за целта.

Промените от последните версии са:
  - отчита изходящите линковете вече се отчитат и като вътрещни и външни
  - отчитат се и H1, H2 и H3 таговете
  - отчита се правилно Google Authorship-a като Author и Publisher
  - отчитат се OpenGraph таговете
  - позволява създаването на допълнителни филтри като - покажи всички изходящи връзки които сочат към text/html и са със статус 404
  - позволява да се видят социалните статуси на страниците
  - и много, много други

Инструмента е особенно подходящ за дизайнери и програмисти на сайтове, както и за SEO оптимизатори. Надявам се че ще ви бъде полезен...

[PeterS]

Безплатната версия вече е налична и в AppStore:

https://itunes.apple.com/app/id648917964

[PeterS]

Налично е и видео презентация за продукта:

http://www.youtube.com/watch?v=5ip03xNfpwg