Socket, pobieranie zawartosci www

[rompi]

Witam,

Jestem pierwszy raz na net forum gdyz aktualnie potrzebuje zrobic taki program do pobierania strony . Moja specjalizacja to bardziej telekomunikacja i nie mam jeszcze opanowanego srodowiska programistycznego
Mozna by przeslac mi taki kod dzialajacego lub w nie w pelni programu(tak zebym mogł wkleic
Sprubuje tez popatrzyc moze znajde jakies rozwiazanie

Rom

[Miroo_007]

Hmmm... już dawno nie było takiego odzewu na forum. Z tego wynika, że trzeba mieć tylko fajnego awatara i po sprawie.

Co do tematu. Czy przypadkiem nie rwie ci połączenia w trakcie ściągania strony?

Mozna by przeslac mi taki kod dzialajacego lub w nie w pelni programu(tak zebym mogł wkleic
Sprubuje tez popatrzyc moze znajde jakies rozwiazanie

Zadawaj pytania w nowym wÄ…tku.

[shycat]

Dziwnie to Ty przedstawiłaś problem. Brak sensownego kodu aby go można było przetestować (to co ja napisałem do testów działa OK), brak adresu strony na której są problemy. Może problem sprawia kawałek kodu którego nie wkleiłaś, a zresztą …

---

Twoja wiadomosc lekko mnie rozsmieszyla i udowadnia to, ze albo nie czytasz postow, ktore pisze, albo jestes tak slabym programista, ze nie jestes w stanie zrozumiec problemu ktory przedstawilam... o jakim kawalku kodu mowisz, o procedurze dla buttonu, ktory wywoluje:

Socket->ReceiveText();

... to raczej bez sensu... co do adresu strony pisalam przeciez, ze problem wystepuje na roznych stronach JAK I ROWNIEZ NA LOCALHOSCIE, przy uzyciu lokalnego serwera czego chyba nie trudno sie domyslic ... podalam nawet kawalek kodu php... jak nie masz nic do powiedzenia, co mogloby rozwiazac problem to nie pisz glupich postow... to, ze jestes tu moderatorem to nie znaczy, ze jestes tu "Bogiem"...

Co do tematu. Czy przypadkiem nie rwie ci połączenia w trakcie ściągania strony?

Nie, nie zrywa na 100% ... sprawdzalam tez na localhoscie ...

[Miroo_007]

Dziwnie to Ty przedstawiłaś problem. Brak sensownego kodu aby go można było przetestować (to co ja napisałem do testów działa OK), brak adresu strony na której są problemy. Może problem sprawia kawałek kodu którego nie wkleiłaś, a zresztą …

Witold ma rację. Musisz pokazać więcej. Sam kod nie wystarczy:

Kod: Zaznacz cały

void __fastcall TForm1::ClientSocket1Read(TObject *Sender, TCustomWinSocket *Socket)
{
      AnsiString odp=Socket->ReceiveText();
      //....
}

Pokaż jak łączysz odpowiedzi od serwera (co robisz ze zmienna odp). Pokaż parametry połączenia. Czasem błąd leży tam gdzie się nawet nie spodziewasz.

Twoja wiadomosc lekko mnie rozsmieszyla i udowadnia to, ze albo nie czytasz postow, ktore pisze, albo jestes tak slabym programista, ze nie jestes w stanie zrozumiec problemu ktory przedstawilam... o jakim kawalku kodu mowisz, o procedurze dla buttonu, ktory wywoluje:

Tylko nie pobijcie siÄ™ na tym forum...

[Miroo_007]

Zrób taki test. Po otrzymaniu całej treści strony usuń fragment tekstu (odp.Delete(1,100)) i sprawdź poprzez Evaluate/Modify czy czasem część strony, która wcześniej nie mieściła się w zmiennej odp nie jest już widoczna.

Kod: Zaznacz cały

void __fastcall TForm1::ClientSocket1Read(TObject *Sender, TCustomWinSocket *Socket)
{
       TStringList *Lista = new TStringList;
       Lista->Add(Socket->ReceiveText());
       //....
}

rozwiazanie ktore mi podales niestety nie dziala...

Sorry mój błąd. Powinno być coś takiego:

Kod: Zaznacz cały

//----------Unit1.h----------
class Form1 {
     public:
          TStringList *Lista;
}
//---------Unit1.cpp--------
__fastcall TForm1::TForm1(TComponent* Owner)
   : TForm(Owner)
{
      Lista = new TStringList;
}
void __fastcall TForm1::FormDestroy(TObject *Sender)
{
     delete Lista;
}
void __fastcall TForm1::ClientSocket1Read(TObject *Sender, TCustomWinSocket *Socket)
{
       Lista->Add(Socket->ReceiveText());
       //....
}

[Cyfrowy Baron]

Problemem może być strona, którą próbujesz pobrać, gdybyś np. próbowała pobrać stronę index.php z tego forum, to też otrzymasz kawałek kodu, akirat ten który zawiera plik index.php, a nie cała stronę główną forum.

[Witold]

Twoja wiadomosc lekko mnie rozsmieszyla...

Cóż, chciałem ci pomóc, myślę sobie - protestuje, może się czegoś nauczę. Postanowiłem że spróbuję odtworzyć problem:
1. Nie umieściłaś kodu który pokazywał by łączenie, napisałem go sobie.
2. Nie podałaś strony na której problem występuje tylko "jezeli kod jest wiekszy, pobierany jest tylko kawalek" – dobra wskazówka! Wybrałem http://www.wp.pl. Około 140kB, dobrze wybrałem ? A jeszcze twój localhost ale tam sobie protestować nie mogłem, mylę się ?
3. Odbieranie danych: hura, mam kawałek kodu metody: void __fastcall TForm1::ClientSocket1Read(TObject *Sender, TCustomWinSocket *Socket) - niestety za mało, nie wiem jak dane są łączone (jak pisałem, testowałem - dane z http://www.wp.pl przychodziły w 35 kawałkach). Odbieranie danych - musiałem napisać sobie sam.
4. Nie wiedziałem też jak sprawdzałaś ile danych zostało pobrano, niby trudno się pomylić, ale czasami i takie rzeczy się zdarzają. To też sobie napisałem.
5. Czas na testowanie – u mnie wszystko OK (cała strona znalazła się w Memo1).

Wniosek: błąd jest prawdopodobnie u ciebie w kodzie, nie mogłem lepiej sprawdzić, bo olałaś moje pytania/prośby (zbyt banalne/nudne? – wybacz). Dla twojej wiadomości jestem słabym "programistą" i nie jestem moderatorem.

o jakim kawalku kodu mowisz, o procedurze dla buttonu, ktory wywoluje:
Socket->ReceiveText();

Wcześniej Socket->ReceiveText(); umieściłaś w ClientSocket1Read(TObject *Sender, TCustomWinSocket *Socket), to nie to samo. I jak można zrozumieć o ci chodzi ? A ty potrafisz czytać z zrozumieniem ? Prosiłem o kod który mógłbym przetestować, to czego nie podałaś wypisałem wyżej.

co do adresu strony pisalam przeciez, ze problem wystepuje na roznych stronach JAK I ROWNIEZ NA LOCALHOSCIE, przy uzyciu lokalnego serwera czego chyba nie trudno sie domyslic ... podalam nawet kawalek kodu php

Ja prosiłem o adres aby sprawdzić czy kod który napisałem poradzi sobie z daną stroną. Nie prosiłem o kod php.

jak nie masz nic do powiedzenia, co mogloby rozwiazac problem to nie pisz glupich postow.

Konkretnie które moje wypowiedzi były poza tematem/głupie ?

.. to, ze jestes tu moderatorem to nie znaczy, ze jestes tu "Bogiem"...

Nie jestem moderatorem, na podstawie czego twierdzisz że czuję się tu "Bogiem"...

[Miroo_007]

...Å‚Ä…czysz te fragmenty z sobÄ… ?

np

Kod: Zaznacz cały

void __fastcall TForm1::ClientSocket1Read(TObject *Sender,
      TCustomWinSocket *Socket)
{
Memo1->Lines->Add(Socket->ReceiveText());
}

Co do laczenia... kod ktory podales niczego nie laczy...

Mylisz się. Ten kod łączy treść. Inaczej mówiąc dodaje nową treść do już istniejącej.

To co was różni to AnsiString i TStringList. Shycat używa AnsiString, a Witold TStringList. Moim zdanie problem nie polega na typie AnsiString tylko bardziej na przeładowanym operatorze "=" dla tego typu. Shycat wykorzystuje ten operator do przypisania i być może ten operator nie jest przystosowany do dużych rozmiarów danych. Jednym z rozwiązan jest to co pokazałem w poprzednim poście, czyli dopisywanie danych do obiektu TStringList.

[Cyfrowy Baron]

Trochę się już pogubiłem w tym wątku, ale Miroo_007 może mieć rację.

Witold napisał:

3. Odbieranie danych: hura, mam kawałek kodu metody: void __fastcall TForm1::ClientSocket1Read(TObject *Sender, TCustomWinSocket *Socket) - niestety za mało, nie wiem jak dane są łączone (jak pisałem, testowałem - dane z http://www.wp.pl przychodziły w 35 kawałkach). Odbieranie danych - musiałem napisać sobie sam.

właśnie w tym rzecz, przepisując dane przesyłane w pakietach do jednej zmiennej AnsiString powoduje że zmienna zapamiętuje ostatni pakiet, więc chyba mozna tak:

Kod: Zaznacz cały

void __fastcall TForm1::ClientSocket1Read(TObject *Sender,
      TCustomWinSocket *Socket)
{
Memo1->Lines->Add(Socket->ReceiveText());
}


albo też tak:

Kod: Zaznacz cały

void __fastcall TForm1::ClientSocket1Read(TObject *Sender, TCustomWinSocket *Socket)
{
  AnsiString odp += Socket->ReceiveText();
}

Nie mam socketów, więc tego nie sprawdzę, a gdy je kiedyś miałem, to i tak ich nie używałem, więc mogę się oczywiście mylić.

[Darek_C++]

Polecam bibliotekę wininet i funkcję do obsługi żądań HTTP
Nie ma problemu z pobieraniem "dużych" stron kodowanych w UTF-8, iso-8859-2.
W razie problemów z polskimi znakami można skorzystać z funkcji utf8ToAnsi.