Linux за българи: Форуми

Здравейте,
Търся скрипт с който мога да сваля списъка с непрочетените теми тук във форума и да си ги направя на RSS .
Някакви идеи за това как да стане?

Здравейте,
Търся скрипт с който мога да сваля списъка с непрочетените теми тук във форума и да си ги направя на RSS .
Някакви идеи за това как да стане?

Защо трябва да използваш скрипт? Аз карам директно с Liferea.
(http://www.linux-bg.org/forum/index.php?type=rss;action=.xml)

Защото ми трябва списъка с моите обновени теми, не общите.
А няма как да го извадя с вгета защото трябва да се логна преди това.

http://www.linux-bg.org/forum/index.php?action?board=72.0;sa=news;type=rss;action=.xml;u=[id]

Накрая ID го заменяш с твоето потребителското ID.

PS: пак не става... Моя грешка.

PS2: Оказва се, че самият RSS на форума не поддържа показване само на твоите теми. Дори и този за новините показва всички нови теми или теми в които е написан пост, без значение кой е автора.

аз затова питам дали някой си е играл с wget например да свали страница от сайт като мине през идентификацията. има описани разни хватки със запазване на куки и т.н.
Идеята ми е като изтегля списъка с обновените ми теми да го прекарам през един пхп  скрипт и той да го преформатира като рсс и да си го лепна на десктопа.
Всъщност гледах нещо такова с curl,  но там ми е безкрайно мътна история.

Ами гледах POST заявката и има идин hidden параметър: hash_passwrd, който се изпраща и до тука съм стигнал, ама спрях понеже имам друга работа. Иначе гледах man-а на wget и на curl, но и на мен ми се видя малко мътна работа.

С wget  би трябвало да стане така (в момента няма как да го тествам):

wget -O - --save-cookies=cookies.txt --keep-session-cookies --auth-no-challenge --no-check-certificate --post-data "user=ПОТРЕБИТЕЛСКОТО_ИМЕ&passwrd=ПАРОЛАТА&hash_passwrd=" "http://www.linux-bg.org/forum/index.php?action=login2"

wget -O - --keep-session-cookies --load-cookies=cookies.txt "http://STRANICATA_KOIATO_TI_YTIABVA"

---------
Можеш да ползваш и някой автоматизатор за браузване в Web. Тук съм насъбрал няколко, можеш да си харесаш нещо по-лесно за работа: http://blog.nediko.info/web-mechanize-engines

Да, при мен работи. Сега остава само парсъра.

И с curl би трябвало да няма проблем. Примерно през конзолата би трябвало да е така:
Ако и това работи, ще е много лесно конзолната версия да се прехвърли към PHP (ако му е зареден cURL).

Ами гледах POST заявката и има идин hidden параметър: hash_passwrd, който се изпраща и до тука съм стигнал, ама спрях понеже имам друга работа. Иначе гледах man-а на wget и на curl, но и на мен ми се видя малко мътна работа.

Да, но функцията за хеширане на паролата работи само при наличието на sha1_hex() функцията (която при мен FireBug я дава undefined), иначе паролата се предава некодирана.

Всъщност са се погрижили да може да се влиза във форума и с браузери без JS :)

Еххх, най накрая съм с биричка на машина с конзола, с php и нефилтриран интернет  ;D
Ей един вариант, който ми дойде на акъла:

GeSHi (PHP):
<?php
function curl_get_links(){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.linux-bg.org/forum/index.php?action=login2');
curl_setopt ($ch, CURLOPT_POST, 1);
curl_setopt ($ch, CURLOPT_POSTFIELDS, 'user=ПОТРЕБИТЕЛ&passwrd=ПАРОЛА');
curl_setopt ($ch, CURLOPT_COOKIEJAR, 'cookie.txt');
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
$store = curl_exec ($ch);
curl_setopt($ch, CURLOPT_URL, 'http://www.linux-bg.org/forum/index.php?action=unread');
$content = curl_exec ($ch);
curl_close ($ch);
 
return $content;
}
 
// ############################# Извличане на всички линкове
 
$html = curl_get_links();
$links = array();
 
$dom = new DOMDocument();
@$dom->loadHTML($html);
 
$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");
 
for ($i = 0; $i < $hrefs->length; $i++) {
    $href = $hrefs->item($i);
    $url = $href->getAttribute('href');
	if(preg_match('/\.0;topicseen$/',$url)){
		if(in_array($url, $links)) continue;
		$links[] = $url;
	}
}
foreach($links as $l) echo $l."\r\n";
?>

Това може да се вкара в някакъв аплет за десктопа примерно.

Код

GeSHi (PHP):
curl_setopt($ch, CURLOPT_URL, 'http://www.linux-bg.org/forum/index.php?action=unread');

GeSHi (PHP):
curl_setopt($ch, CURLOPT_URL, 'http://www.linux-bg.org/forum/index.php?action=unreadreplies');

Tака трябва да е за отговори на теми в които си писал или си постнал.

уау това проработи
Благодаря на всички !
Сега ще видя как ще го бодна на десктопа.

Еххх, най накрая съм с биричка на машина с конзола, с php и нефилтриран интернет  ;D
Ей един вариант, който ми дойде на акъла:

Код

GeSHi (PHP):
<?php
function curl_get_links(){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.linux-bg.org/forum/index.php?action=login2');
curl_setopt ($ch, CURLOPT_POST, 1);
curl_setopt ($ch, CURLOPT_POSTFIELDS, 'user=ПОТРЕБИТЕЛ&passwrd=ПАРОЛА');
curl_setopt ($ch, CURLOPT_COOKIEJAR, 'cookie.txt');
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
$store = curl_exec ($ch);
curl_setopt($ch, CURLOPT_URL, 'http://www.linux-bg.org/forum/index.php?action=unread');
$content = curl_exec ($ch);
curl_close ($ch);
 
return $content;
}
 
// ############################# Извличане на всички линкове
 
$html = curl_get_links();
$links = array();
 
$dom = new DOMDocument();
@$dom->loadHTML($html);
 
$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");
 
for ($i = 0; $i < $hrefs->length; $i++) {
    $href = $hrefs->item($i);
    $url = $href->getAttribute('href');
	if(preg_match('/\.0;topicseen$/',$url)){
		if(in_array($url, $links)) continue;
		$links[] = $url;
	}
}
foreach($links as $l) echo $l."\r\n";
?>

Това може да се вкара в някакъв аплет за десктопа примерно.

а с тази магия как може да се извлече заглавието на темата?
абсолютно неразбираемо ми е как успява даже да извади баш на темите линковете   ??? ???

Ако решиш да ползваш DOM-модела, който за подобни случки ми се струва най-лек (и може би най-бърз, заради печения парсер на PHP), тогава извличаш името на линка с nodeValue. Примерно:
$title = $href->nodeValue;
Ам по-добре да видим целия код.

GeSHi (PHP):
<?php
function curl_get_links(){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.linux-bg.org/forum/index.php?action=login2');
curl_setopt ($ch, CURLOPT_POST, 1);
curl_setopt ($ch, CURLOPT_POSTFIELDS, 'user=ПОТРЕБИТЕЛ&passwrd=ПАРОЛА');
curl_setopt ($ch, CURLOPT_COOKIEJAR, 'cookie.txt');
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
$store = curl_exec ($ch);
curl_setopt($ch, CURLOPT_URL, 'http://www.linux-bg.org/forum/index.php?action=unread');
$content = curl_exec ($ch);
curl_close ($ch);
 
return $content;
}
 
// ############################# Извличане на всички линкове
 
$html = curl_get_links();
$links = array();
 
$dom = new DOMDocument();
@$dom->loadHTML($html);
 
$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");
 
for ($i = 0; $i < $hrefs->length; $i++) {
    $href = $hrefs->item($i);
    $url = $href->getAttribute('href');
    $title = $href->nodeValue;
 
	if(preg_match('/\.0;topicseen$/',$url)){
		if(in_array($url, $links)) continue;
		$links[] = $url;
		$titles[] = $title;
	}
}
foreach($links as $key=>$val){
 echo $val." - ".$titles[$key]."\r\n";
}
?>

Малко е дървено потока да се разделя в 2 масива, но пък е по-лесно за четене. Единия масив  са ти линковете, а другия масив заглавията, така, че да могат лесно да се напасват за всякакви нужди.

Имам една малка забележка към скрипта, който иначе си е ОК за мен - ползваш in_array(), което би моглo да се замести доста по-ефективно с асоциативни масиви:

GeSHi (PHP):
 
	$href = $hrefs->item($i);
	$url = $href->getAttribute('href');
	$title = $href->nodeValue;
 
	if(preg_match('/\.0;topicseen$/',$url))
	{
		if(isset($links[$url])) continue;
		$links[$url] = $title;
	}

Така и двата масива, които генерираш се предават с един масив при това с релацията помежду им.

Забележката е супер!  [_]3

добавям и кода за генериране на rss

GeSHi (PHP):
echo '<?xml version="1.0" encoding="utf-8"?>
<!DOCTYPE rss PUBLIC "-//Netscape Communications//DTD RSS 0.91//EN" "http://my.netscape.com/publish/formats/rss-0.91.dtd">
<rss version="0.91">
	<channel>
		<title>Linux за българи: Форум</title>';
 
foreach($links as $key=>$val){
 echo "<item><title>".$titles[$key]."</title><link>".$val."</link></item>\r\n";
}
 
echo "	</channel>
 
</rss>";
?>

ъъъъ всъщност след забележката на Влад, трябва ли нещо да променям в кога за генерация?

ъъъъ всъщност след забележката на Влад, трябва ли нещо да променям в кога за генерация?

Предполагам, че трябва да стане нещо от сорта на:

GeSHi (PHP):
<?php 
echo '<?xml version="1.0" encoding="utf-8"?>
<!DOCTYPE rss PUBLIC "-//Netscape Communications//DTD RSS 0.91//EN" "http://my.netscape.com/publish/formats/rss-0.91.dtd">
<rss version="0.91">
	<channel>
		<title>Linux за българи: Форум</title>';
 
foreach($links as $url => $title){
 echo "<item><title>".$title."</title><link>".$url."</link></item>\r\n";
}
 
echo "	</channel>
 
</rss>";
?>

а ей това заклинание

    if(preg_match('/\.0;topicseen$/',$url))

как трябва да се промени да хване последната страница на темата?

Малко не толковa PHP :)

rss.xsl

GeSHi (XML):
<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
 
	<xsl:output
		method="xml"
		omit-xml-declaration="no"
		doctype-public="//Netscape Communications//DTD RSS 0.91//EN"
		doctype-system="http://my.netscape.com/publish/formats/rss-0.91.dtd"
		indent="yes"
	/>
 
	<xsl:template match="/">
		<rss>
			<channel>
				<title>Linux за българи: Форум</title>
				<xsl:apply-templates select="/html/body//table/tr/td/table/tr[position() > 1]/td[position() = 3]/a[position() = 1]"/>
			</channel>
		</rss>
	</xsl:template>
 
	<xsl:template match="a">
		<item>
			<title><xsl:value-of select="." /></title>
			<link><xsl:value-of select="../span/a[last()-1]/@href" /></link>
		</item>
	</xsl:template>	
</xsl:stylesheet>
 

GeSHi (PHP):
...
$html = curl_get_links();
 
$dom = new DOMDocument();
@$dom->loadHTML($html);
 
$xslDoc = new DOMDocument();
$xslDoc->load("rss.xsl");
 
$proc = new XSLTProcessor();
$proc->importStylesheet($xslDoc);
 
echo $proc->transformToXML($dom);
 

тц, не става така, нещо се гелпи.


а ей това заклинание

    if(preg_match('/\.0;topicseen$/',$url))

как трябва да се промени да хване последната страница на темата?

Кое, какво не става?

Не е точно, последната страница а последното менение:

GeSHi (PHP):
if(preg_match('/topic=\d+\.msg\d+;topicseen#new$/',$url))
 

Намерих си един  бъг в XSLT-файла - при една страница, няма пейджър и дава празен линк.
Поправено:

GeSHi (XML):
<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
 
	<xsl:output
		method="xml"
		omit-xml-declaration="no"
		doctype-public="//Netscape Communications//DTD RSS 0.91//EN"
		doctype-system="http://my.netscape.com/publish/formats/rss-0.91.dtd"
		indent="yes"
	/>
 
	<xsl:template match="/">
		<rss>
			<channel>
				<title>Linux за българи: Форум</title>
				<xsl:apply-templates select="/html/body//table/tr/td/table/tr[position() > 1]/td[position()=3]/a[position()=1]"/>
			</channel>
		</rss>
	</xsl:template>
 
	<xsl:template match="a">
		<item>
			<title><xsl:value-of select="." /></title>
			<link>
				<xsl:choose>
 
					<xsl:when test="../span/a[last()-1]/@href">
						<xsl:value-of select="../span/a[last()-1]/@href" />
					</xsl:when>
 
					<xsl:otherwise>
						<xsl:value-of select="./@href" />
					</xsl:otherwise>
 
				</xsl:choose>
			</link>
		</item>
	</xsl:template>	
</xsl:stylesheet>
 

GeSHi (PHP):
<?php
 
function getContent()
{
	$ch = curl_init();
 
	curl_setopt($ch, CURLOPT_URL, 'http://www.linux-bg.org/forum/index.php?action=login2');
	curl_setopt ($ch, CURLOPT_POST, 1);
	curl_setopt ($ch, CURLOPT_POSTFIELDS, 'user=USERNAME&passwrd=PASSWORD');
	curl_setopt ($ch, CURLOPT_COOKIEJAR, 'cookie.txt');
	curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
	$store = curl_exec ($ch);
	curl_setopt($ch, CURLOPT_URL, 'http://www.linux-bg.org/forum/index.php?action=unreadreplies');
	$content = curl_exec ($ch);
	curl_close ($ch);
 
	return $content;
}
 
$html = getContent();
 
$dom = new DOMDocument();
@$dom->loadHTML($html);
 
$xslDoc = new DOMDocument();
$xslDoc->load("rss.xsl");
 
$proc = new XSLTProcessor();
$proc->importStylesheet($xslDoc);
 
header("Content-type: application/rss+xml; encoding=utf-8");
echo $proc->transformToXML($dom);

Кое, какво не става?

Не е точно, последната страница а последното менение:

Код

GeSHi (PHP):
if(preg_match('/topic=\d+\.msg\d+;topicseen#new$/',$url))
 

това вади последните теми във форума .

Цитат на: VladSun в Aug 24, 2011, 12:39

Кое, какво не става?

Не е точно, последната страница а последното менение:

Код

GeSHi (PHP):
if(preg_match('/topic=\d+\.msg\d+;topicseen#new$/',$url))
 

?

T.e.?

http://www.linux-bg.org/forum/index.php?topic=41443.msg230753;topicseen#new ми вади тази страница с последият пост - "бившия" , де :)

това вади последните теми във форума .

Порблемът е, че не взима заглавието тъй като е друг линк :)
Може да се вземе лесно,обаче :)

GeSHi (PHP):
for ($i = 0; $i < $hrefs->length; $i++) 
{
    $url = $hrefs->item($i)->getAttribute('href');
    $title = $hrefs->item($i - 1)->nodeValue;
 
	if(preg_match('/topic=\d+\.msg\d+;topicseen#new$/',$url))
	{
		if(!isset($links[$url]))
		{
			$links[$url] = $title;
		}
	}
}
 

стана !
сега отива на последното мнение :)