İnternetten Veriler Nasıl Çekilmelidir?

Günümüzde aggregator (toplayıcı) sitelerin büyük ilgi görmeye başladığı bu günler internet ortamından programatik bir şekilde ver çekmek son derece önem kazanmaya başladı.

Aslında geliştirilen araçlar sayesinde internetten veri çekmek son derece kolay olmakla birlikte nasıl yapılması gerektiği konusundaki eksiklikler nedeniyle sorunlar meydana gelmektedir.

Veri çekmek istediğiniz hedef sitelerini belirledikten sonra işlerini uygun bir şekilde yapabilecek bir Crawler ve HTML (XML) parser seçmeniz gerekmektedir. Bu araçları seçtikten sonra veri çekmeye hazır konuma geliyorsunuz demektir. Ancak üçüncü parti sitelerden veri çektiğiniz için mümkün olduğu kadar onları yormadan (Yorarsanız sizi engellerler) bu işlemleri yapamalısınız.

Karşı tarafı yormamak için Crawler konfigürasyonu yaparken dikkat etmeniz gereken bir kaç parametre var. Bunlarla ilgili detaylıca yazıp kodcu.com’da paylaştığım yazıyı inceleyebilirsiniz.

 

 

 

CevaTube Yayın Hayatına Başladı

Merhabalar CevaTube 02.03.2013 tarihi itibari ile yayın hayatına başladı.

Nedir CevaTube?

CevaTube video yayını yapan siteleri bir araya getiren bir sistem aslında. Video yayını yapan popüler sitelere girip tek tek arama yapmak yerine, tek bir sayfadan arama yapıyorsunuz ilgili sitelerin arama sonuçları tek bir sayfada listeleniyor ve tıklayıp izleyebiliyor ya da dinleyebiliyorsunuz.

Şuan CevaTube’ye dahil edilmiş siteler:

  • YouTube
  • Vimeo
  • DailyMotion
  • SoundCloud
  • MySpace
  • MetaCefa

Bir günlük bir çalışmanın sonucunda hemen hayata geçirilmiş olan bu proje ilerleyen günlerde biraz daha profesyonel hazırlanıp yeni eklentilerle kullanıcıların karşısına çıkacaktır.

Artık tek tek tüm siteleri gezmek yerine tek bir siteden arama yapıp yüzlerce video’yu listelemeniz mümkün.

Siteyi http://www.cevatube.com adresinden ziyaret edebilirsiniz. . .

Yığın Veri İle Uğraşırken Multi-Threaded Yapı & Daha Az Veritabanı Bağlantısı & Daha Hızlı İşlem

Yazdığımız uygulamalarda eğer yığın veri ile uğraşıyorsak, biraz standartların dışına çıkıp farklı yolları denememiz gerekiyor. Çünkü daha çok veri demek, daha çok işlem, daha çok veritabanı bağlantısı demektir genellikle. Yığın veri ile uğraşırken, uygulamaları Multi-Threaded (çok kanallı) yapar ve veri tabanı bağlantısını minimize edecek yöntemler geliştirirsek, işlemlerimizi çok daha hızlı ve sistemlerimizi yormadan yapabiliriz.

Bu yöntemlerden birini kodcu.com sitesinde detaylı bir şekilde anlamaya çalıştım. Buraya tıklayarak yazının detayını okuyabilir, geliştirilen uygulamanın kodlarını indirebilir ve kendiniz deneyebilirsiniz.

UPGRADING ATLASSIAN JIRA

This post describes the standard, recommended procedure for upgrading to JIRA 4.3.x from JIRA version 4.0.0 or later.
Atlassian’s own web site describe the standards to upgrade Jira. The link given below shows how to upgrade Jira.
Upgrading operation consists of a few basic steps. The steps are;
1. Backing Up
  • Back up your database:
    • Backup your external database and verify that your backup was created correctly.
  • Back up your JIRA Home directory:
    • In the WEB-INF/classes directory of your Jira installation directory, there is a jira-application.properties file, in the file, the location of home directory is available.
  • Back up your attachments directory if located outside your JIRA Home directory:
    • If your attachments directory is located outside of Jira home directory, it should be backed up.
  • Back up your JIRA Installation directory:
    • It is the directory that the Jira application files and libraries were extracted when Jira was installed.
2. Performing the Upgrade
  • Install the new version of JIRA:
    • Download Jira to install with the version that you want. And install Jira. Be aware of that install the new Jira version to a new location. Do not overwrite your existing Jira installation.
  • Migrate your existing JIRA configurations over to your new JIRA installation:
    • For each file that you have modified in your existing Jira installation, you need manually edit each equivalent in your new Jira version installation and re-apply your modification.
  • Connect your new JIRA to your existing database:
    • You should configure your new Jira version installation to connect your existing data base. Manually you can edit server.xml (in your new Jira version installation directory) to connect database. Also you can use Jira Configuration tool to configure your new Jira installation to connect your existing database.
  • Point your new JIRA to your existing JIRA Home directory:
    • Edit jira-application.properties (in new Jira installation directory) file. Find jira-home property and update the property to the path of your existing Jira home directory that you backed up in the steps above.
  • Start your new version of JIRA:
    • Shut down old Jira installation.
    • Start up new version of Jira.
    • Visit Jira in your web browser, log in by using user name and password from your old Jira installation. Without seeing the setup wizard, you should be able to log in.
To see detailed information for each step, visit the atlassian page that given on the top of the first page.
I hope to be useful.