Czy w Internecie coś może być ukryte?

Żartobliwa myśl powiada, że jeśli czegoś nie ma w Internecie, tego w ogóle nie ma. A do sprawdzania tego, co jest, używamy Google’a. Wynika stąd, że o tym, co jest, decyduje Googlowa wiedza.

Dobrze jednak wiedzieć, że dogmat o boskości Google’a jest często kwestionowany. Ba, sławna ta wyszukiwarka zdaniem niektórych znajduje co najwyżej kilka procent danych dostępnych w Internecie, a wedle kalkulacji skrajnych, choć trudnych do kwestionowania, zaledwie 0,2 proc.

Wszystko zależy oczywiście od metody liczenia, więc nie należy się zbytnio przywiązywać do takich kalkulacji.

Faktem jest jednak, że wyszukiwarki ogólne nie są w stanie znaleźć wielu informacji. Ta część, której nie znajdują, zwana jest ukrytym Internetem (ang. Invisible Web).

Rozpoczynam więc cykl artykułów, w których postaram się objaśnić to zjawisko. Być może uda się dotrzeć do nieznanych źródeł, informacji tajemniczych i faktów nieujawnionych. Czy tak, wiedzieć nie możemy, bo to, co ukryte, zrazu musi być też tajemnicze.

Google dla podróżników (1)

Szanujący się podróżnik, również wirtualny, lubi mieć dostęp do map i planów miast, bo ułatwia to wędrówkę prawdziwą i jest konieczne, gdy chcemy wędrować kursorem po mapie. To akurat jest googlowa możliwość, która nie wymaga wcześniejszej wiedzy, ale dobrze przecież nawet w Internecie działać świadomie.

Trzeba wpisać w okienku nazwę wyszukiwanego miejsca (państwa, miasta itd.), i już.

Lepiej nie klikać wcześniej na link „Mapy”, bo utrudnimy sobie dostęp do wyszukiwania stron. Do map i tak mamy szybki dostęp, wystarczy kliknąć na obrazek.

Można też wpisywać bardziej skonkretyzowane lokalizacje, np. kody pocztowe, nazwy ulic z numerami.

Szczęśliwy traf

„Szczęśliwy traf” to – jak każdy zauważył, ale bał się przyznać, że nie wie, o co chodzi – nazwa przycisku na stronie głównej Google’a. W wersji angielskiej to się nazywa „I’m feeling lucky”, można więc debatować nad trafnością przekładu. Nie o tym jednak ma być mowa.
Naciśnięcie tego przycisku sprawi, że zostaniemy od razu przeniesieni na pierwszą stronę spośród wyszukanych. Jest to w takim razie skrót, który pozwala pominąć wyświetlaną standardowo stronę z wynikami wyszukiwania.

Czy to dobre, czy złe, niech każdy oceni sam. Moim zdaniem jednak oszczędność wynosi jeden klik i nic więcej. Jeśli ktoś szuka czegoś na poważnie, musi przejrzeć najmniej kilka wyszukanych stron. A jeśli szuka czego popadnie, pozbawia się możliwości trafienia po swojemu (nie zawsze przecież klikamy na pierwszy wyszukany link).

Dzięki informacji jednego ze współtwórców Google’a wiemy, że tylko 1% wyszukań kończy się wyborem opcji „Szczęśliwy traf”, co oznacza, że chyba nie jest specjalnie użyteczna. I co ciekawe, na tym przycisku Google traci podobno 110 mln dolarów rocznie, bo kto pomija stronę z wynikami wyszukiwania, nie ogląda też linków sponsorowanych.

Jeśli ktoś reklam nie lubi oglądać, ten rzeczywiście trafia tym sposobem szczęśliwie. A sam przycisk po naszemu mógłby się nazywać zręczniej, proponuję „Szczęśliwy skrót”.

Co Google źle oblicza?

Rozwiązanie paradoksu googlowego, o którym była mowa ostatnio, może okazać się proste. Niewykluczone, że na każdej ze znalezionych stron wyszukiwane wyrażenie występowało więcej niż raz. Problem w tym, że rozbieżność między liczbą wyników wyszukiwania a liczbą wskazanych stron wynosi 12:1. Oznacza to, że na każdej stronie musiałoby paręnaście razy wystąpić połączenie "czytam blog". Sprawdziłem kilka przypadków, wniosek jest taki, że to raczej niemożliwe.

Konkluzja: Google nasz nieoceniony coś tam liczy źle. A co?

Wyników dużo, ale mało, czyli paradoks googlowy

Dziś o paradoksie googlowym, czyli rozbieżności między liczbą wyszukań podawaną przez tę wyszukiwarkę a liczbą faktycznie wyszukanych stron.

Żeby paradoks googlowy wykryć, trzeba odważyć się na przeglądanie następnych stron z wynikami, nie tylko pierwszej. Jest to rzadko spotykane działanie wśród z natury niecierpliwych internautów, więc problem jest – zdaje się – nieznany.

Na konkretnym przykładzie wygląda to tak, że wpisujemy jakąś frazę, np. "czytam blog", po czy dowiadujemy się, że mamy „około 9690 wyników”. Wielkie to bogactwo zaraz zniknie w oczach, wystarczy powędrować do ostatniej strony z wynikami. W tym wypadku będzie to strona 40., a na niej się dowiemy, że wyniki tak naprawdę były 393.

Co prawda dowiadujemy się też, że „Aby pokazać najbardziej trafne odpowiedzi, pominięto kilka bardzo podobnych stron do tych już wyświetlonych”.
Można więc powtórzyć szukanie, co też zrobiłem. Tym razem dostałem wiadomość o 9610 wynikach, tyle że wyświetliwszy je po 10, ostatnie wyszukane linki znalazłem na stronie 80.

Na razie zgłaszam tylko wykrycie tego paradoksu googlowego, bo nie mam zadowalającej odpowiedzi, skąd aż taka rozbieżność. Apeluję do Czytelników o zgłaszanie propozycji jego rozwiązania.

Googlanie, ale nie szukanie

Dziś kilka sztuczek, które można zrobić za pomocą Google'a.

Sztuczka pierwsza, czyli googlokalkulator. Wpisujesz w okienku wyszukiwania odpowiednie działanie matematyczne, np. 123+456, i naciskasz Enter. Jest wynik. Można też odejmować, mnożyć (z gwiazdką), dzielić (używając ukośnika). A co się stanie, jak wpiszesz 5^2? Otrzymasz wynik potęgowania. A gdy mu wpiszesz takie coś: sqrt(100), spodziewaj się, że Ci wyliczy pierwiastek od liczby podanej w nawiasie.

Sztuczka druga, czyli googloprzelicznik. Można w podobny sposób używać Google'a jako przelicznika różnych jednostek długości, wagi, masy. Wpisujemy na przykład „25 cali w cm” i okazuje się, że jest to 63,5 centymetra.

W instrukcji podają nawet tajemniczo, że można przeliczać „wiele innych (jednostek)”, trzeba więc chyba to przetestować, do czego zachęcam.

Zaawansowane szukanie dla wymagających czytelników

Podstawowym formatem plików internetowych jest HTML. Zwykle jest to dobre, ale bywają z tego powodu problemy. Głównym jest przeogromna liczba plików tego typu, które Google nam prezentuje w wynikach wyszukiwania. Zmyślne algorytmy Googlowe zmyślnymi algorytmami, ale nikt nie zagwarantuje, że to, czego potrzebujemy, nie znajduje się na przykład na 879 stronie wyników, a więc nie mamy szans do tego dotrzeć.

Od czego jednak internetowe doświadczenie, które mówi, że jeśli ktoś już bardzo napracował się nad jakimś tekstem i chce go zaprezentować czytelnikom w postaci typograficznie niezmiennej, zapisuje pliki w formacie PDF? Z doświadczenia tego wynika mądrość, że w PDF-ach zapisuje się cenniejsze rzeczy niż internetowa drobnica potraktowana HTML-em.

Jednym z najlepszych pomysłów na znalezienie wartościowych tekstów będzie więc wyszukiwanie plików PDF. Wykonanie należy do rzeczy prostych, wpisujemy słowa kluczowe, a po nich „filetype:pdf”, np. „Henryk Sienkiewicz filetype:pdf”. Można też skorzystać z wyszukiwania zaawansowanego i tam odważnie wybrać odpowiedni format pliku.

Tym sposobem nigdy nie zabraknie Wam dobrej lektury.

Wyszukiwanie wielokrotnie wzmocnione, czyli multiwyszukiwarki

Pomysł na multiwyszukiwarkę (zwaną też metawyszukiwarką) jest prosty: Przeszukać zasoby kilku wyszukiwarek, które mają własne bazy danych, i już. Wcześniej oczywiście trzeba przygotować skrypt, który takie zadanie wykona. Z punktu widzenia użytkownika ma to sens, bo ułatwia zdobywanie informacji, zwiększa jego skuteczność i sprzyja oszczędności czasu. Na ogół działają one na stronach internetowych, choć są i takie, które wymagają instalacji w komputerze, żeby mogły zintegrować się z przeglądarką (np. polska Negative).

A skoro pomysł prosty i realizacja chyba nietrudna, multiwyszukiwarek powinno być dużo. I tu ciekawostka. Angielskich znam coś ze 20, np. wspomniane kilka dni temu HotBot i LyGO, polskich zaś znaleźć nie można. Kiedy już jedną znalazłem, okazało się, że jest na darmowym serwerze i mocno ozdobiona reklamami, co wygląda nieprofesjonalnie. Była kiedyś Emulti.pl, ale jej klapa musiała być tak wielka, że właściciel nie zadbał nawet o zachowanie domeny, która teraz poniewiera się w Internecie.

Nic to nie szkodzi, bo możemy korzystać z zagranicznych. Którą wybrać? Oprócz wymienionych godne uwagi są Metacrawler i Webcrawler. Ich wyniki wyszukiwania, przynajmniej dla języka polskiego, są bardzo zbliżone, bo korzystają z obowiązkowego zestawu Google, Yahoo!, Bing.

Teraz proszę sprawdzić, czy i jak bardzo udało się wzmocnić skuteczność wyszukiwania.

Jak usprawnić najprostsze wyszukiwanie

Najprostsze wyszukiwanie, powie chyba każdy, jest banalnie łatwe, a polega na wpisaniu jakiegoś słowa do wyszukiwarki. Owszem, to łatwe, ale zwykle nieskuteczne, bo dostaniemy tysiące adresów, z których możemy sprawdzić najwyżej ułamek procenta.

Lepszy sposób polega na tym, żeby prowadzić poszukiwanie metodą kolejnych przybliżeń, dodając kolejne wyrazy i eliminując zbędne elementy. Na przykład szukamy informacji o autorze Quo vadis. Wpisujemy najpierw hasło „Sienkiewicz”, i już widzimy, że mamy ok. 2,8 miliona wyszukanych tekstów, a wśród nich innych Sienkiewiczów, instytucje imienia Sienkiewicza itd. Wpisanie „Henryk” trochę pomoże, ale ciągle mamy nadmiar bogactwa, przy czym przeważają biografie i streszczenia. My zaś wpiszemy „Latarnik”, a że chodzi nam o film, dopiszemy „ekranizacja”.

To jeszcze nie musi być koniec poszukiwań, ale kto tej metody nie stosował, niech sprawdzi, że jest wydajna i skuteczna.