home *** CD-ROM | disk | FTP | other *** search
/ Chip Hitware 10 / Chip_Hitware_Vol_10.iso / chiphit / online / 95sbnews / nospam.doc < prev    next >
Text File  |  1997-12-23  |  17KB  |  251 lines
  1. Tips for avoiding SPAM
  2.  
  3. (c) Scott M. Baker, 1997
  4. -------------------------------------------------------------------------------
  5.  
  6. What is SPAM?
  7.  
  8. The term SPAM is generally used to refer to off-topic commercial messages which 
  9. are posted to newsgroups. These messages are usually advertisements for some 
  10. form of 'Pay' service, usually of an adult nature. Typically, advertisers post 
  11. SPAM messages multiple times and to multiple newsgroups. 
  12.  
  13. While it's hard to blindly condemn commercialism, some of this has really 
  14. gotten out of hand. Some SPAM advertisers post hundreds of bulky off-topic 
  15. pictures to newsgroups where they clearly do not belong. Some of them even post 
  16. adult material to non-adult groups. This kind of recklessness and complete 
  17. disregard for Internet users has had a dreadful impact on usenet newsgroups.
  18.  
  19. There are ways to get by in a SPAM-filled world though. Through the use of 
  20. SBNews and the techniques I describe below, I have found it easy to eliminate 
  21. nearly all of the SPAM out there. My experiements show that by using the 
  22. techniques below, you can easilly reduce the amount of SPAM you download to 
  23. less than 1%. That's less than one SPAM download for every hundred good 
  24. downloads. 
  25.  
  26. How can SBNews be set up to avoid SPAM?
  27.  
  28. I will present a list of techniques below, most of which that I use myself on 
  29. my own configuration:
  30.  
  31.    1. "Maximum XRef Limit". The most effective technique, which also requires 
  32.       very little manual effort is to use the Maximum XRef Limit. This setting 
  33.       is located under the pull-down menu "Configure:Preferences". Typically, a 
  34.       SPAM advertiser posts to many newsgroups at a time. When an article is 
  35.       posted to many newsgroups, the news server automatically generates an 
  36.       XRef header in the message which contains a list of which groups the 
  37.       article is posted to. To make a long story short, you can tell SBNews to 
  38.       ignore a message that is posted to too many newsgroups. I usually find a 
  39.       setting of 8 to be appropriate, although these days an even lower setting 
  40.       (5, or even 2 or 3) may be necessary. Note: You may also want to check 
  41.       the "preload xref hdrs" box, described in step 3.
  42.    2. "Lockout XRef". You can find this option under the pull-down menu 
  43.       "Configure:Lockout:Xref Group Name". As described above, the XRef line 
  44.       contains a listing of newsgroups to which the message is posted to. There 
  45.       may be some newsgroups which contains subject matter that you are 
  46.       absolutely certain that you don't want to receive (perhaps material that 
  47.       is offensive to you). If a message is cross-posted to one of these 
  48.       undesirable groups, then you probably don't want it. You can enter the 
  49.       names of groups that are undesirable into the Lockout XRef dialog box, 
  50.       and SBNews will ignore any message which is cross-posted to the groups 
  51.       that you list. Note: You may also want to check the "preload xref hdrs" 
  52.       box described in step 3.
  53.    3. "Preload XRef Headers". This option is located under the pull-down menu 
  54.       "Configure:Preferences". By default, SBNews does not pre-download the 
  55.       header lines containing xref information. This is done to make the header 
  56.       download process faster for people who do not use the XRef options 
  57.       described above. Thus, SBNews doesn't know that a message should be 
  58.       ignored until the message has begun downloading. To abort the message, a 
  59.       disconnect/reconnect cycle is required, which is a bit inefficient. 
  60.       However, if you make heavy use of the xref limit/lockouts (described 
  61.       above), then you will probably want to pre-download the xref headers. 
  62.       Checking this option will cause SBNews to download the headers ahead of 
  63.       time, so that SBNews can decide whether a message should be ignored 
  64.       without having to begin downloading the message. I highly recommend this 
  65.       option if you use steps 1 & 2 above.
  66.    4. "Minimum Message Lines". Located under the pull-down menu 
  67.       "Configure:Preferences". There are a lot of SPAM advertisers that post 
  68.       short text messages into the binary groups. Although these messages are 
  69.       short, they still do waste some of your download time parsing through 
  70.       them. I recommend setting the minimum lines setting to "100". If there's 
  71.       anything with less than 100 lines, then it probably isn't worth having 
  72.       anyway.
  73.    5. "Lockout Poster". Located under the pull-down menu 
  74.       "Configure:Lockout:Poster", "Current:Lockout", and "Previous:Lockout". 
  75.       The poster is the name of the person who sent the message. SPAM 
  76.       advertisers usually invent bogus names, but they do tend to reuse the 
  77.       names frequently. Sometimes they will consistently use the same domain 
  78.       part of a name. When you lockout a poster, SBNews will ignore any 
  79.       messages posted by that name. You can manually enter lockouts using the 
  80.       "Configure:Lockout:Poster" dialog box, or you can automatically lockout a 
  81.       person who posted an unsuitable image in the previous/current thumbnails 
  82.       by using the "Current:Lockout" and "Previous:Lockout" options. You don't 
  83.       have to specify a full name, you can specify just part of the name. For 
  84.       example, if you locked out "@bogusspam.com", that would match 
  85.       "tom@bogusspam.com", "joe@bogusspam.com", etc. 
  86.    6. "Lockout Subject". Located under the pull-down menu 
  87.       "Configure:Lockout:Subject". SPAM advertisers have to mention their 
  88.       service somewhere, and they usually like to do it in the subject field of 
  89.       the message. Sometimes they'll stick an http address in there. As with 
  90.       the Lockout Poster option, you don't have to type a full subject line 
  91.       here, you can just enter the part of the subject that identifies the SPAM 
  92.       advertiser. For example, "phone sex" would eliminate any message subject 
  93.       that had that phrase in it. 
  94.    7. Add "free" to Lockout Subject. Located under the pull-down menu 
  95.       "Configure:Lockout:Subject". Every commercial SPAM advertiser wants you 
  96.       to think that their pay service is free, so the majority of them put the 
  97.       word "free" in the subject line. Locking out free will get rid of a 
  98.       considerable amount of junk. There is a risk with this option -- you will 
  99.       lose some relevant data from people who actually are posting something 
  100.       that is free, but this is the exception rather than the rule. 
  101.       [Recommended cautiously due to possible loss of relevant material]
  102.    8. Add "http://" to Lockout Subject. Located under the pull-down menu 
  103.       "Configure:Lockout:Subject". Commercial SPAM advertisers like to put 
  104.       their http address in the subject line so that you know how to get to 
  105.       their service. As with the previous step, you will probably miss out on 
  106.       some actual relevant material from people who are posting http addresses 
  107.       to their website. Again, this is the exception rather than the rule. 
  108.       [Recommended cautiously due to possible loss of relevant material]
  109.    9. Use the <Headers> button. You can use the <headers> button to parse 
  110.       through the headers of a newsgroup and lockout/reject messages as you see 
  111.       ones you don't want. This is rather labor intensive, but it does provide 
  112.       good results. SBNews will need to actually load the headers for a group 
  113.       before you can edit them (thus, you must be connected). 
  114.   10. "Lockout Any". Located under the pull-down menu "Configure:Lockout:Any". 
  115.       You can lockout a phrase from any header line. This works on subject, 
  116.       from, posting-host, xref, and about a dozen other header lines in the 
  117.       message. Thus, if you know a phrase you absolutely don't want ("phone 
  118.       sex" is a good candidate here!), you can type in in here and SBNews will 
  119.       abort any message with the offending phrase.
  120.   11. "Lockout Posting Host". Located under the pull-down menu 
  121.       "Configure:Lockout:Posting-Host". This is a real power-user option. Each 
  122.       message includes a "NNTP-Posting-Host" field which identifies the host 
  123.       from which the message was sent. Usually this host is the ISP (Internet 
  124.       Service Provider) of the SPAM advertiser. To find "NNTP-Posting-Host" 
  125.       fields, you'll have to use the <Headers> button, and the <Read> button 
  126.       located in the headers list to read an offending message, then scroll 
  127.       through header lines of the message itself. "NNTP-Posting-Host" should be 
  128.       one of them. Enter the host name into the lockout dialog. Like I said, 
  129.       this is a power user type function and should only be used by experienced 
  130.       persons. Most SPAM advertisers do not bother to supply a fictitious 
  131.       posting host, so this usually works. However, you will reject an entire 
  132.       host (which could be thousands of people), so this should be used with 
  133.       caution. 
  134.   12. Submit complaints. The only way SPAM can really be stopped is if enough 
  135.       complaints are registered to the appropriate authorities. Some ISP's have 
  136.       very strict anti-SPAM policies and will terminate any users who post 
  137.       spam. This is usually not the case for the big commercial sites though. 
  138.       Who do you complain to? The SPAM posters usually go to great lengths to 
  139.       hide their true identities so they cannot be traced. However, if you user 
  140.       the <Headers> button and <Read> the messages, you can find some 
  141.       interesting data in the message headers. Look at the "Path:", 
  142.       "Organization:", and "NNTP-Posting-Host:" lines -- these usually have 
  143.       some valid addresses. You can try sending complaints in that direction. 
  144.       The domain part is not enough to send to alone, you'll need a full email 
  145.       address. You can pre-append the names "webmaster@", "support@", 
  146.       "complaints@", "orders@", etc to the addresses and see if you can get 
  147.       somewhere. (For example, if you see "Organization: bogusspam.com", try 
  148.       posting to "webmaster@bogusspam.com") Sometimes your own ISP will have a 
  149.       complaints department to which you can attach a message to and they will 
  150.       follow-up and contact offender's ISP themselves. 
  151. -------------------------------------------------------------------------------
  152.  
  153. Summary:
  154. ┌───────────────────────┬──────────────────────────┬─────────────────────────┐
  155. │What                   │Where                     │Why                      │
  156. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  157. │Maximum XRef Limit     │Configuration:Preferences │Ignore messages posted to│
  158. │                       │                          │more than a specified    │
  159. │                       │                          │number of newsgroups     │
  160. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  161. │Lockout XRef           │Configure:Lockout:Xref    │Ignore messages posted to│
  162. │                       │                          │specific groups          │
  163. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  164. │Preload XRef           │Configure:Preferences     │In combination with      │
  165. │                       │                          │above, pre-loads the     │
  166. │                       │                          │"Xref" information so    │
  167. │                       │                          │that SBNews can ignore a │
  168. │                       │                          │message without having to│
  169. │                       │                          │start downloading it.    │
  170. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  171. │Minimum Message Lines  │Configure:Preferences     │Ignore messages with too │
  172. │                       │                          │few lines in them to hold│
  173. │                       │                          │meaningful data          │
  174. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  175. │Lockout Poster         │Configure:Lockout:Poster  │Ignore messages form a   │
  176. │                       │                          │specified person (or any │
  177. │                       │                          │"From:" header line      │
  178. │                       │                          │containing the specified │
  179. │                       │                          │pattern)                 │
  180. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  181. │Lockout Subject        │Configure:Lockout:Subject │Ignore messages with a   │
  182. │                       │                          │specific subject (or any │
  183. │                       │                          │"Subject:" header line   │
  184. │                       │                          │containing the specified │
  185. │                       │                          │pattern)                 │
  186. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  187. │Add "free" to Lockout  │Configure:Lockout:Subject │Lots of 'Pay' services   │
  188. │Subject                │                          │put 'Free' in the message│
  189. │                       │                          │subject.                 │
  190. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  191. │Add "http://" to       │Configure:Lockout:Subject │Lots of 'Pay' services   │
  192. │Lockout Subject        │                          │put their http:// address│
  193. │                       │                          │in the message subject   │
  194. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  195. │<Headers> button       │<Headers> Button          │Manually view message    │
  196. │                       │                          │headers and              │
  197. │                       │                          │reject/lockout the ones  │
  198. │                       │                          │you don't want.          │
  199. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  200. │Lockout Any            │Configure:Lockout:Any     │Lockout any phrases which│
  201. │                       │                          │you know you don't want  │
  202. │                       │                          │to appear in desirable   │
  203. │                       │                          │messages.                │
  204. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  205. │Lockout Posting Host:  │Configure:Lockout:Posting │Lockout a specific host  │
  206. │                       │Host                      │(i.e. ISP or service     │
  207. │                       │                          │provider) which is       │
  208. │                       │                          │permitting SPAM          │
  209. ├───────────────────────┼──────────────────────────┼─────────────────────────┤
  210. │Complain               │n/a                       │Submit complaints to the │
  211. │                       │                          │the offender's ISP to    │
  212. │                       │                          │stop them. (sometimes it │
  213. │                       │                          │does work, but not       │
  214. │                       │                          │usually)                 │
  215. └───────────────────────┴──────────────────────────┴─────────────────────────┘
  216. -------------------------------------------------------------------------------
  217.  
  218. So how will it end?
  219.  
  220. You have to ask yourself, why are the commercial sites advertising in the 
  221. newsgroups? There can only be one reason: Because it works. Because they are 
  222. actually gaining customers by forcing advertisements down their throats. 
  223. There's a simple solution to this -- do not use the pay sites. There's plenty 
  224. of free stuff on the web -- just look around. The newsgroups are a good example 
  225. -- once you filter out the SPAM, there is a large amount of on-topic material 
  226. left behind. 
  227.  
  228. Maybe the solution is to communicate to the SPAMMERS that there are better ways 
  229. to advertise. Posting 100 off-topic messages only enagages the average user 
  230. into "ignore mode". Flooding the newsgroups with 100 off-topic messages only 
  231. draws people away from the newsgroups. Posting 100 off-topic messages will 
  232. generate complaints. Sooner or later a capable authority will get involved. My 
  233. advice to all the SPAMMERS out there, "If you absolutely have to advertise in 
  234. the newsgroups, post one on-topic advertisement. If people really want to visit 
  235. your site, they'll do it."
  236. -------------------------------------------------------------------------------
  237.  
  238. Closing Notes:
  239.  
  240. This document was originally written for SBNews version 4.8. I will try to keep 
  241. it updated as new versions are released. The above mechanisms and techniques 
  242. are some of the basic building blocks in SBNews and will probably be present 
  243. for all time, in more or less their current format. 
  244.  
  245. You can find the latest version of SBNews at:
  246.  
  247. http://www.newsrobot.com/sbnews/sbnews.html
  248.  
  249.  
  250.  
  251.